📌 エグゼクティブサマリー
llama.cppのCohere対応が、LLMから視覚エンコーダへ進みました。North Mini Codeは総30B、アクティブ3B、256Kコンテキストが示されていますが、実測TPSや電力は素材にありません。続報では対応の先の課題が見えます。
「まだ対応していない」と言われ続けていたCohereのモデルが、ローカル実行の入口に近づきました。前回はllama.cppがCohere対応を進めた、という話でした。今回は、その先が見えてきたようです。前回の続報として、今回は数値と制約に注目します。
CohereのNick氏はReddit r/LocalLLaMAで、Command A+のローンチやNorth Mini Codeのベータテストで、コミュニティのフィードバックがモデルと提供品質を大きく改善したと振り返りました[1]。そして、この場で最も大きかった要望がllama.cpp対応だったと明かしています[1]。彼は、約束を果たせるまで投稿したくないと書き、進捗を報告しました[1]。コミュニティとの距離感が、今回の進展の背景にあります。
その要望への回答として、North Micro Vision Instructの視覚エンコーダがllama.cppにマージされたと報告されました[1]。LLM側はNorth Mini CodeやCommand A+と同じアーキテクチャで、以前から対応済みだったと説明されています[1]。つまり今回は、テキスト生成だけでなく、視覚情報を扱うための部品が加わった点が新しい動きです[1]。Cohereは、最新モデルアーキテクチャがすべてllama.cppと互換になったと述べています[1]。
North Micro Visionは複数の新リリースの基盤として使われているため、視覚エンコーダの対応は、今後のモデル展開に直結する動きです[1]。視覚エンコーダは、画像などの入力を受け取るための部品です。これが動くようになったことで、視覚情報を含むローカル実行への道が一段見えたようです。画像を扱う予定がある人にとっては、待ち望まれた一歩です。ただし、素材は視覚エンコーダの対応を述べており、画像入力から出力まで一通りの実測値は示していません[1]。
技術的な中心はcohere2-MoEです。llama.cppはcohere2-MoEのアーキテクチャ対応を追加し、North Mini Code 1.0をローカルで動かす道を開きました[2]。このモデルは総パラメータ30B、アクティブ3BのMoEです[2]。コンテキスト長256K、最大出力64Kも示されています[2]。MoEは全部の神経回路を毎回使うのではなく、必要な部分だけ動かす仕組みです。アクティブ3Bは軽い計算に見えますが、重み全体は30B分あるため、メモリ設計は単純ではなさそうです。この数値は、軽量性と大容量の両立を示しているようです。
バージョンb9637では、Cohere2MoEがネイティブ対応として扱われたと報じられています[4]。ネイティブ対応は、llama.cppがその仕組みを直接扱える状態です。対応の差が縮まったと伝えられています[4]。GitHubのPull requests一覧は、対応の入口を示していますが、実測値までは追えません[3]。AGI Huntも、Cohereのllama.cpp対応マージと、最新モデル群の対応を短くまとめています[6]。Web記事はr/localllamaを情報源に挙げています[2]。b9637という具体的なバージョンが示されたことで、対応が実験的な記述から、ビルドで確認できる段階へ進んだようです[4]。情報源が複数あることで、対応の広がりがうかがえます。
この対応が意味するのは、エージェント向けのコード生成モデルを、APIに依存せず自分のマシンで試せる可能性です[2]。Cohere Labsが開発したNorth Mini Codeは、open-weightsで、標準的なハードウェアでの実行が想定されています[2]。ただし素材には、GPU枚数、VRAM、RAM分担、PCIe分担などの具体構成はありません。256Kコンテキストと64K出力は、長いコードやエージェントの履歴を扱う用途を意識した数値と思われます。とはいえ、実際にどのマシンで何トークン出るかは、素材からは判断できません。標準的という言葉だけでは、必要な環境は分かりません。
ここで重要なのは、対応したからといって、すぐに速いとは限らない点です。素材にはTPSや消費電力の実測値は見つかりませんでした。TPSは1秒あたりの生成トークン数です。llamabenchやllama-benchy、Qualcomm向けllama.cppのベンチ評価など、測定環境の整備は話題です[5][6][6]。しかし今回のCohere対応について、具体的な速度差や電力差は示されていません[5][6][6]。ベンチマークの道具が揃っていても、Cohere2MoE向けの結果が公開されていなければ、実運用の判断はできません。対応の「有無」と、使える「速さ」は別物です。転換点は、ベンチマーク結果です。
hackerやflash、aiといった語が好きな読者には、mainの進歩より、オープンの環境で何が動くかが気になるはずです。セットアップでは、llama.cppを再コンパイルし、量子化されたGGUF重みを試す案内が出ています[2]。GGUFは、llama.cppで使うための重みファイル形式です。量子化はモデルの重みを圧縮し、メモリを節約する手法です。今後の追跡では、b9637以降の安定性、視覚入力の精度、MoEのメモリ効率、そしてベンチマークの実測値が鍵になります。ローカル推論の価値は、APIに依存しない点にあります。ただし視覚エンコーダの対応は、モデル全体が完璧に動く保証にはならないようです[1]。実測値が公開されるまでは、対応のニュースと性能のニュースを分けて読むべきです。
引用ソース
- [1] Reddit Reddit r/LocalLLaMA: llama.cpp support for Cohere models — https://www.reddit.com/r/LocalLLaMA/comments/1xa0cyz/llamacpp_support_for_cohere_models/
llama.cpp support for Cohere models
- [2] Web記事 記事全文: llama.cpp Adds Support for Cohere's cohere2-MoE Architecture — https://tools4all.ai/trends/llamacpp-adds-support-for-coheres-cohere2-moe-architecture
TL;DR: Llama.cpp has added architectural support for cohere2-MoE, enabling developers to run Cohere’s new North Mini Code 30B MoE model locally with high efficiency.
Summary: A new pull request in llama.cpp introduces ar - [3] Web記事 記事全文: Pull requests · ggml-org/llama.cpp · GitHub — https://github.com/ggml-org/llama.cpp/pulls
You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your sess
- [4] Web記事 Web検索: llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap … — https://thetesserapress.com/articles/ggerganovllamacpp-b9637
llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap …
- [5] Web記事 Web検索: GitHub – llamasearchai/llamabench: A comprehensive benchmarking … — https://github.com/llamasearchai/llamabench
GitHub – llamasearchai/llamabench: A comprehensive benchmarking …
- [6] Web記事 Web検索: Benchmarking and Evaluation Tools | qualcomm/llama.cpp | DeepWiki — https://deepwiki.com/qualcomm/llama.cpp/7.2-benchmarking-and-evaluation-tools
Benchmarking and Evaluation Tools | qualcomm/llama.cpp | DeepWiki
- [7] Web記事 Web検索: GitHub – eugr/llama-benchy: llama-benchy – llama-bench style … — https://github.com/eugr/llama-benchy
GitHub – eugr/llama-benchy: llama-benchy – llama-bench style …
- [8] Web記事 Web検索: Cohere merges llama.cpp support, all its latest… · AGI Hunt — https://agihunt.info/en/p/1a154d934d7d879c2a65fde84e7
Cohere merges llama.cpp support, all its latest… · AGI Hunt
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS