llama.cppのCohere対応が、テキスト生成から視覚へと広がりました。視覚エンコーダ(画像などの入力を受け取る部品)がllama.cppに加わったのが今回の進展です。North Mini Codeのローカル実行も視野に入りました。ただし実測の速度や電力データはまだありません。
CohereのNick氏はReddit r/LocalLLaMAで、Command A+のローンチやNorth Mini Codeのベータテストを振り返りました。コミュニティのフィードバックが、モデルと提供品質を大きく改善したといいます[1]。そして、この場で最も大きかった要望がllama.cpp対応だったと明かしています[1]。約束を果たせるまで投稿したくないと書き、進捗を報告しました[1]。コミュニティとの距離感が、進展の背景にあります。
その要望への回答として、North Micro Vision Instructの視覚エンコーダがllama.cppにマージ(本体への取り込み)されたと報告されました[1]。LLM側はNorth Mini CodeやCommand A+と同じアーキテクチャで、以前から対応済みだったと説明されています[1]。つまり今回は、視覚情報を扱う部品が加わった点が新しい動きです[1]。Cohereは、最新モデルアーキテクチャがすべてllama.cppと互換になったと述べています[1]。North Micro Visionは複数の新リリースの基盤として使われています。そのため視覚エンコーダ対応は、今後のモデル展開に直結する動きです[1]。画像を扱う予定がある人には、待ち望まれた一歩です。ただし素材は、画像入力から出力まで一通りの実測値は示していません[1]。視覚エンコーダの対応は、モデル全体が完璧に動く保証ではないようです[1]。
技術的な中心はcohere2-MoEです。llama.cppはcohere2-MoEのアーキテクチャ対応を追加し、North Mini Code 1.0をローカルで動かす道を開きました[2]。MoEは、全部の神経回路を毎回使うのではなく、必要な部分だけ動かす仕組みです。このモデルは総パラメータ30B、アクティブ3Bです[2]。重み全体は30Bあっても、一度に動くのは3B分です。それでもメモリ設計は単純ではなさそうです。コンテキスト長256K、最大出力64Kも示されています[2]。コンテキスト長は、一度に扱えるテキストの量です。
バージョンb9637では、Cohere2MoEがネイティブ対応として扱われたと報じられています[4]。ネイティブ対応とは、llama.cppがその仕組みを直接扱える状態です。対応の差が縮まったと伝えられています[4]。GitHubのPull requests一覧は対応の入口を示しますが、実測値までは追えません[3]。AGI Huntは、Cohereの対応マージと最新モデル群の対応を短くまとめています[6]。Web記事はr/localllamaを情報源に挙げています[2]。情報源が複数あることで、対応の広がりがうかがえます。
この対応が意味するのは、エージェント向けのコード生成モデルを、APIに依存せず自分のマシンで試せる可能性です[2]。North Mini CodeはCohere Labs開発のopen-weights(学習済みの重みが公開された形式)で、標準的なハードウェアでの実行が想定されています[2]。ただし素材には、GPU枚数やVRAM、RAM分担などの具体構成はありません。256Kコンテキストと64K出力は、長いコードやエージェントの履歴を扱う用途を意識した数値と思われます。とはいえ、どのマシンで何トークン出るかは、素材からは判断できません。
重要なのは、対応したからといって速いとは限らない点です。素材にはTPSや消費電力の実測値はありません。TPSは1秒あたりの生成トークン数です。llamabenchやllama-benchy、Qualcomm向けllama.cppのベンチ評価など、測定環境の整備は話題です[5][6][6]。しかしCohere対応について、具体的な速度差や電力差は示されていません[5][6][6]。対応の「有無」と、使える「速さ」は別物です。転換点は、ベンチマーク結果です。
セットアップでは、llama.cppを再コンパイルし、GGUF重みを試す案内が出ています[2]。GGUFはllama.cppで使う重みファイル形式です。試す重みは量子化されたものです。量子化は重みを圧縮してメモリを節約する手法です。今後の追跡では、b9637以降の安定性、視覚入力の精度、MoEのメモリ効率、ベンチマーク実測値が鍵になります。実測値が公開されるまで、対応のニュースと性能のニュースは分けて読むべきです。
引用ソース
- Reddit Reddit r/LocalLLaMA: llama.cpp support for Cohere models — https://www.reddit.com/r/LocalLLaMA/comments/1xa0cyz/llamacpp_support_for_cohere_models/
llama.cpp support for Cohere models
- Web記事 記事全文: llama.cpp Adds Support for Cohere's cohere2-MoE Architecture — https://tools4all.ai/trends/llamacpp-adds-support-for-coheres-cohere2-moe-architecture
TL;DR: Llama.cpp has added architectural support for cohere2-MoE, enabling developers to run Cohere’s new North Mini Code 30B MoE model locally with high efficiency.
Summary: A new pull request in llama.cpp introduces ar - Web記事 記事全文: Pull requests · ggml-org/llama.cpp · GitHub — https://github.com/ggml-org/llama.cpp/pulls
You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your sess
- Web記事 Web検索: llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap … — https://thetesserapress.com/articles/ggerganovllamacpp-b9637
llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap …
- Web記事 Web検索: GitHub – llamasearchai/llamabench: A comprehensive benchmarking … — https://github.com/llamasearchai/llamabench
GitHub – llamasearchai/llamabench: A comprehensive benchmarking …
- Web記事 Web検索: Benchmarking and Evaluation Tools | qualcomm/llama.cpp | DeepWiki — https://deepwiki.com/qualcomm/llama.cpp/7.2-benchmarking-and-evaluation-tools
Benchmarking and Evaluation Tools | qualcomm/llama.cpp | DeepWiki
- Web記事 Web検索: GitHub – eugr/llama-benchy: llama-benchy – llama-bench style … — https://github.com/eugr/llama-benchy
GitHub – eugr/llama-benchy: llama-benchy – llama-bench style …
- Web記事 Web検索: Cohere merges llama.cpp support, all its latest… · AGI Hunt — https://agihunt.info/en/p/1a154d934d7d879c2a65fde84e7
Cohere merges llama.cpp support, all its latest… · AGI Hunt
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS