📌 エグゼクティブサマリー
llama.cppがCohereのcohere2-MoEをb9626/b9637で対応し、North Mini Code 30Bのローカル推論に近づきました。実測値は素材にありませんが、対応の進み方が見えます。
ai（人工知能）の話題で、hackerな読者やflashのような速さを求める人にも、今回の話は刺さります。llama.cppは、ローカルでAIモデルを動かすための推論エンジンです。ローカル推論のセットアップは、バージョンの差で結果が変わった、という話でした。以前は「llama.cppがCohere対応を進めた」という記事でした。今回はその後です。「待っていた」という空気も伝わります。aiの話題は、モデル名よりエンジン対応で決まることもあります。hackerな読者は、ソースと変更提案の動きを追います。flashのような語は、速さの期待を象徴します。今回の続報は、単なる対応表ではなく、実装の中身が見える話です。CohereのNickさんがRedditで、コミュニティの要望に応える形で進展を報告しました [1]。
最大の要望はllama.cpp対応でした。CohereはCommand A+やNorth Mini Codeのベータで、このコミュニティの反応を大きく受けました [1]。Cohere側も、コミュニティの声を製品改善に活かしたと述べています [1]。そこでチームはNorth Micro Vision Instructの視覚エンコーダの対応をマージしました [1]。視覚エンコーダは、画像をモデルに渡す部品です。視覚部分まで対応したことで、マルチモーダルな構成にも近づくようです [1]。LLM（文章生成モデル）側はCommand A+と同じ構成で、すでに動く状態でした [1]。North Micro Visionは、複数の新リリースの土台にもなると書かれています [1]。North Micro Visionが土台になるなら、llama.cpp対応の価値は広がりそうです [1]。Cohereの投稿は、約束を果たしてから報告した点も印象的です [1]。
GitHubのリリース情報では、b9626でCohereの次世代MoEモデルのアーキテクチャ対応が入ったと報じられています [2]。Pull Request #24260がcohere2moeを追加し、ggmlに組み込みました [2]。ggmlは、llama.cppが使う計算の土台です。cohere2moeという名前が追加されたことは、単なる互換ではなく、専用構造の追加です [2]。ggmlに組み込まれたことで、量子化や推論の土台に乗ります [2]。ここが今回の核心です。単に動くだけでなく、企業向けの新しい構造に、llama.cppが速く追いついた点が注目されます [2]。リリースノートでは、企業向けの新しい構造に素早く適応する姿勢が強調されています [2]。消費者向けPCやエッジデバイス（小型の端末）でも、構造が公開された直後に動かせる可能性が示されています [2]。検索結果でも、この対応が確認できます 。この速さは、llama.cppが新しいアーキテクチャを拾い上げる力を見せています [2]。
tensorはモデルの重みの単位です。tensorの読み込みでは、lm_head.weightが無くても、token_embd.weightへ戻る処理を入れました [2]。これは埋め込みと出力を共有する構成で、メモリを節約する狙いです [2]。量子化や枝刈りのチェックポイントで、読み込み失敗を防ぎます [2]。tensor修正時の冗長なチェックも減らしました [2]。tensorの型や名前が変わっても、読み込みが止まりにくくなります [2]。チェックポイントの作り込みが浅い段階でも、試せる余地が広がるようです [2]。lm_head.weightとtoken_embd.weightの関係を、llama.cppが自然に扱えるようになりました [2]。これは、モデルの作り方の違いに強くなる変更です [2]。読み込みが通らなければ、推論の速度以前に試せません [2]。
MoEは、専門家と呼ばれる複数のネットワークを役割分担させる構造です [2]。MoEでは、共有専門家とルートの平均が重要です。このリリースでは、(routed+shared)*0.5と決めています [2]。共有専門家は全トークンを扱い、ルート専門家は得意な役割に寄ります [2]。この平均は計算に敏感で、扱いを間違えると精度や速度に影響します [2]。llama.cpp側でこの計算を扱うことで、複雑なMoEをローカルで動かしやすくなります [2]。MoEは専門家を増やせる反面、ルーティングの計算が増えます [2]。共有専門家とルート専門家の出力を、単純に足すだけでは済みません [2]。平均の係数が決まっていることで、実装のばらつきが減るようです [2]。MoEの構造をローカルに下ろすには、こうした細部が欠かせません [2]。
モデル側の数字も見えます。North Mini Codeは30Bパラメータで、アクティブは3Bです [3]。コード生成とエージェント型の開発作業向けに最適化された、オープンウェイトのMoEです [3]。3Bアクティブという数字は、総パラメータより実効的な負担を示します [3]。コンテキストは256K、出力は64Kまで対応すると報じられています [3]。256Kの長文コンテキストは、コードベースの追跡に向く可能性があります [3]。開発者はllama.cppを再コンパイルし、量子化GGUFを試せます [3]。GGUFは、llama.cppで使う重みファイルの形式です。量子化は、重みを圧縮する手法です。専用API（外部サービス）に頼らず、標準的なハードウェアで動かす道が見えます [3]。30Bでもアクティブ3Bなら、ローカル実行の現実味が出ます [3]。ただし、素材には速度の実測値はありません。
b9637ではCohere2MoEのネイティブ対応が進み、差が縮まったと報じられています [4]。b9637の続報は、b9626で終わりではないことを示します [4]。さらにTINY_AYA向けの語彙対応も追加されました [4]。TINY_AYA向けの語彙対応は、Cohere2MoEの周辺モデルを広げる一歩のようです [4]。TINY_AYAの語彙対応は、モデルの顔ぶれが増えるサインです [4]。周辺の話も重要です。Command R+のローカルセットアップでは、RAGやツール利用のガイドが出ています [6]。RAGは、検索した情報をモデルに与える仕組みです。Command R+のガイドは、RAGやツール利用を想定した構成を示しています [6]。Command Rは本番規模のRAGを掲げるモデルです [4]。その流れが、ローカル対応の背景にも見えます [4]。同じCohereの系譜でも、用途によって入口が変わります。ローカルセットアップの話題は、API利用から一歩進んだ関心を示します。
ただし、素材には実測TPS（毎秒の生成数）や消費電力は見つかりませんでした。GPU別の比較数値もありません。hacker向けに「速い」と断定はできません。実測値がない以上、速さの断定は避けます。代わりに、対応の進み方と制約がはっきり見えます。それでも、セットアップの入口は広がりました。バージョンの差で読み込みが左右されるため、注意が必要です。セットアップの難しさは、バージョン管理と量子化の選択に集まります。aiのローカル推論は、モデルの公開よりエンジン対応が速いほど面白くなります。aiのローカル推論は、対応表の更新速度が体験を左右します。Cohereとllama.cppの距離は、続報でさらに縮みそうです。続報では、量子化の選択肢やGPU別の報告が増えるかもしれません。続報では、対応範囲と実測値が一緒に語られると嬉しいです。
引用ソース
- [1] Reddit Reddit r/LocalLLaMA: llama.cpp support for Cohere models — https://www.reddit.com/r/LocalLLaMA/comments/1xa0cyz/llamacpp_support_for_cohere_models/
llama.cpp support for Cohere models
- [2] Web記事 記事全文: llama.cpp Release b9626 Integrates Native Architecture Support for … — https://pseedr.com/stack/llamacpp-release-b9626-integrates-native-architecture-support-for-cohere2-moe
According to the project’s latest release notes on GitHub, the open-source inference engine llama.cpp has officially integrated native architecture support for Cohere’s next-generation Mixture-of-Experts (MoE) models in
- [3] Web記事 記事全文: llama.cpp Adds Support for Cohere's cohere2-MoE Architecture — https://tools4all.ai/trends/llamacpp-adds-support-for-coheres-cohere2-moe-architecture
TL;DR: Llama.cpp has added architectural support for cohere2-MoE, enabling developers to run Cohere’s new North Mini Code 30B MoE model locally with high efficiency.
Summary: A new pull request in llama.cpp introduces ar - [4] Web記事 Web検索: llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap … — https://thetesserapress.com/articles/ggerganovllamacpp-b9637
llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap …
- [5] Web記事 Web検索: Llama.cpp update adds Cohere2MoE vocabulary support for TINY_AYA — https://tools4all.ai/trends/llamacpp-update-adds-cohere2moe-vocabulary-support-for-tiny-aya
Llama.cpp update adds Cohere2MoE vocabulary support for TINY_AYA
- [6] Web記事 Web検索: Cohere Command R+ Local Setup: RAG and Tool-Use Guide — https://localaimaster.com/blog/command-r-plus-local-setup
Cohere Command R+ Local Setup: RAG and Tool-Use Guide
- [7] Web記事 Web検索: Command R: RAG at Production Scale – Cohere — https://cohere.com/blog/command-r
Command R: RAG at Production Scale – Cohere
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS