「動かない」が「動く」に変わりました。Cohereのモデルが、llama.cppで動くようになったのです。中心は、CohereのMoE向け専用パーサの追加です。パーサは、モデルの構造を読み解く部品です。MoEは、複数の専門家ネットワークから一部を選んで計算する仕組みです。これでNorth Mini Codeの総30B・アクティブ3Bや、256Kコンテキストをローカルで狙えます。画像を読み込む部品(ビジョンエンコーダ)の対応も進みました。ただし速度の実測値はまだなく、続報として追跡します。
以前は、Cohereモデルをローカルで動かす入口が狭く、hacker的な試行錯誤が求められていました。CohereのNickさんはRedditで、llama.cpp対応を望む声に応えたと報告しました。Command A+やNorth Mini Codeのベータで得たフィードバックが、モデルと提供方法の改善に役立ったと述べています。あわせて、North Micro Vision Instructのビジョンエンコーダが統合されました。最新アーキテクチャがllama.cppで使えるようになった、という報告です。LLM部分はNorth Mini CodeやCommand A+と同じ構成で、すでに支えられていた点も重要です。[1] North Micro Visionは、いくつかの新リリースの基盤として使われているとも書かれています。コミュニティの要望が、実装の優先順位を変えた形です。約束を果たすまで投稿を控えていた、という姿勢も伝わります。
技術の中心は、Cohere2MoE向けの専用パーサです。llama.cppのb9637で、North Codeとも呼ばれるCohere2MoEの解析が追加されました。Pull request #24615でマージされた、狭い修正です。しかし従来の汎用MoEパーサでは、Cohereの形に合わなかったと説明されています。[2] では、何が違うのでしょう。Mixtral型のMoEでは、8つの専門家から2つを選ぶtop-kが想定されていました。top-kは、上位の専門家を選ぶ方式です。一方Cohereは、どの専門家を使うかを学習で決めるゲート機構を採り、専門家数も違います。そのため重みを読み込むと、静かな失敗や性能低下、クラッシュが起きていました。[2] 専用パーサにより、変換層を介さずCohereの形のまま読み込めるようになりました。狭い修正が、大きな壁を小さく削った形です。
対応モデルの数値も目を引きます。North Mini Codeは総パラメータ30B、アクティブ3BのMoEです。アクティブとは、実際に動くパラメータの量です。コンテキストは256K、最大出力は64Kです。コンテキストは、一度に扱える文章の長さです。開発者は再コンパイルし、量子化されたGGUF重みを試すよう案内されています。GGUFは、llama.cpp向けの重みファイル形式です。量子化は、重みを圧縮してメモリを節約する仕組みです。[3] このセットで、エージェント型コーディングをローカルで狙う構想が見えます。256Kの長い文脈は、コードベース全体を扱う場面で魅力です。
周辺も動いています。検索結果では、b9626でCohere2MoEのネイティブアーキテクチャ対応が示され、b9637でパーサ統合が追跡されています。[4][5] バージョンの差は、段階的な統合を示します。cohere2-MoEの概要記事も複数あり、TINY_AYAの語彙対応も確認できます。[6] 語彙対応は、トークン化のズレを減らす地味ですが重要な一歩です。「llama.cpp support for Cohere models」というまとめ記事も出ています。[7]
CohereはAPIも提供しますが、重みはpermissive(比較的緩い)ライセンスで公開されています。North Codeは、DeepSeek CoderやCode Llamaと競う開発者向けコーディング助手として紹介されています。b9637以前は、パッチや劣化の受け入れが必要でした。[2] 今回の対応は、単なる追加ではなく、ローカル利用の前提条件を変える修正です。APIに頼らず、重みを自分で動かせる点が狙いです。
ただし、速さの証拠はまだ薄いです。素材にTPSや消費電力の実測値は見当たりません。TPSは、1秒あたりに生成できる語数の目安です。Apple SiliconやIntel、CUDAなど22プラットフォーム向けバイナリは出ていますが、比較数値はありません。[2] UbuntuのROCm 7.2、WindowsのCUDA 12と13も含まれます。KleidiAI対応ビルドの話題もありますが、性能差を示す数値はありません。「動く」ことと「速い」ことは、まだ別の話です。
それでも、この続報の意味は小さくありません。Cohereのモデルが、llama.cppの標準的な流れに乗る段階に入ったのです。ビジョン、MoE、語彙対応が少しずつ揃い、ローカル推論の選択肢が広がります。hacker的な試行錯誤は、次のベンチマークと安定版で測られるべきでしょう。次の追跡では、実測値と失敗報告が主役になりそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: llama.cpp support for Cohere models — https://www.reddit.com/r/LocalLLaMA/comments/1xa0cyz/llamacpp_support_for_cohere_models/
llama.cpp support for Cohere models
- Web記事 記事全文: llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap … — https://thetesserapress.com/articles/ggerganovllamacpp-b9637
The latest release of llama.cpp, tagged b9637, ships a dedicated parser for Cohere2MoE models, also known as North Code. The change, merged in pull request #24615, is a narrow technical fix. It adds a specialized code pa
- Web記事 記事全文: llama.cpp Adds Support for Cohere's cohere2-MoE Architecture — https://tools4all.ai/trends/llamacpp-adds-support-for-coheres-cohere2-moe-architecture
TL;DR: Llama.cpp has added architectural support for cohere2-MoE, enabling developers to run Cohere’s new North Mini Code 30B MoE model locally with high efficiency.
Summary: A new pull request in llama.cpp introduces ar - Web記事 Web検索: Llama.cpp Release b9637: Cohere2MoE Parser Integration and the Push for … — https://pseedr.com/edge/llamacpp-release-b9637-cohere2moe-parser-integration-and-the-push-for-localized-
Llama.cpp Release b9637: Cohere2MoE Parser Integration and the Push for …
- Web記事 Web検索: llama.cpp Release b9626 Integrates Native Architecture Support for … — https://pseedr.com/stack/llamacpp-release-b9626-integrates-native-architecture-support-for-cohere2-moe
llama.cpp Release b9626 Integrates Native Architecture Support for …
- Web記事 Web検索: Llama.cpp update adds Cohere2MoE vocabulary support for TINY_AYA — https://tools4all.ai/trends/llamacpp-update-adds-cohere2moe-vocabulary-support-for-tiny-aya
Llama.cpp update adds Cohere2MoE vocabulary support for TINY_AYA
- Web記事 Web検索: llama.cpp support for Cohere models – bittide.aicompass.dev — https://bittide.aicompass.dev/article/9caf2afb-f83a-4997-a222-ee129a92d6d7
llama.cpp support for Cohere models – bittide.aicompass.dev
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS