llama.cppは、AIモデルを手元の環境で動かすための推論エンジンです。今回、Cohereの次世代MoEモデル「Cohere2MoE」への対応が進みました。CohereのNickさんがRedditで、コミュニティの要望に応える形で進展を報告しています[1]。最大の要望はllama.cpp対応でした。CohereはCommand A+やNorth Mini Codeのベータ公開で、コミュニティから大きな反応を受けました[1]。Cohere側は、その声を製品改善に活かしたと述べています[1]。
チームはNorth Micro Vision Instructの視覚エンコーダ対応をマージしました[1]。視覚エンコーダとは、画像をモデルに渡す部品です。視覚部分まで対応したことで、画像も扱える構成に近づきました[1]。一方、文章生成モデル(LLM)側はCommand A+と同じ構成で、すでに動く状態でした[1]。North Micro Visionは、複数の新リリースの土台になると書かれています[1]。土台になるなら、llama.cpp対応の価値は広がります[1]。Cohereの投稿は、約束を果たしてから報告した点も印象的です[1]。
GitHubのリリース情報では、b9626でCohereの次世代MoEアーキテクチャ対応が入ったと報じられています[2]。Pull Request #24260がcohere2moeを追加し、ggmlに組み込みました[2]。ggmlは、llama.cppが使う計算の土台です。専用の名前で追加されたのは、単なる互換ではなく専用構造の追加です[2]。これで量子化や推論の土台に乗ります[2]。量子化は、重みを圧縮してメモリを節約する仕組みです。リリースノートでは、企業向けの新しい構造への素早い適応が強調されています[2]。消費者向けPCやエッジデバイス(小型の端末)でも、構造公開の直後に動かせる可能性が示されています[2]。
tensorは、モデルの重みの単位です。今回の実装では、出力用の重みがファイルに無くても、入力側の埋め込み用重みへ戻る処理が加わりました[2]。埋め込みと出力の重みを共有する構成で、メモリを節約する狙いです[2]。量子化や枝刈りを経たチェックポイントでも、読み込み失敗を防げます[2]。枝刈りは、重みを間引いてモデルを軽くする手法です。tensorの型や名前が変わっても、読み込みが止まりにくくなりました[2]。読み込みが通らなければ、推論速度以前に試せません[2]。作り込みが浅いチェックポイントでも、試せる余地が広がります[2]。
MoEは、専門家と呼ばれる複数のネットワークを役割分担させる構造です[2]。共有専門家は全トークンを扱い、ルート専門家は得意な役割に寄ります[2]。今回のリリースでは、両者の出力を半分ずつ混ぜる計算に決めました[2]。この平均は計算に敏感で、扱いを間違えると精度や速度に影響します[2]。MoEは専門家を増やせる反面、振り分けの計算が増えます[2]。係数が決まっていることで、実装のばらつきが減ります[2]。llama.cpp側でこの計算を扱うことで、複雑なMoEをローカルで動かしやすくなります[2]。ローカルに下ろすには、こうした細部が欠かせません[2]。
モデル側の数字も見えます。North Mini Codeは30Bパラメータで、アクティブは3Bです[3]。アクティブとは、一度の計算で実際に動くパラメータの量です。3Bアクティブなら、総量より実効的な負担が軽いことを示します[3]。コード生成とエージェント型の開発作業向けに最適化された、重みが公開されているオープンウェイトのMoEです[3]。コンテキストは256K、出力は64Kまで対応と報じられています[3]。256Kの長文コンテキストは、コードベースの追跡に向く可能性があります[3]。開発者はllama.cppを再コンパイルし、量子化GGUFを試せます[3]。GGUFは、llama.cppで使う重みファイルの形式です。専用API(外部サービス)に頼らず、標準的なハードウェアで動かす道が見えます[3]。30Bでもアクティブ3Bなら、ローカル実行の現実味が出ます[3]。
b9637ではCohere2MoEのネイティブ対応が進み、差が縮まったと報じられています[4]。b9626で終わりではないことを示す続報です[4]。TINY_AYA向けの語彙対応も追加されました[4]。Cohere2MoEの周辺モデルが広がる一歩です[4]。周辺の話も重要です。Command R+のローカルセットアップでは、RAGやツール利用のガイドが出ています[6]。RAGは、検索した情報をモデルに与える仕組みです。Command Rは本番規模のRAGを掲げるモデルです[4]。その流れが、ローカル対応の背景にも見えます[4]。ローカルセットアップの話題は、API利用から一歩進んだ関心を示します。
ただし、素材には実測TPSや消費電力は見つかりませんでした。GPU別の比較数値もありません。速さの断定は避けるべきです。それでも、対応の進み方と制約ははっきり見えます。バージョンの差で読み込みが左右される点は、セットアップ時の注意です。難しさは、バージョン管理と量子化の選択に集まります。ローカル推論では、エンジン対応の速さが体験を左右します。Cohereとllama.cppの距離は、続報でさらに縮みそうです。続報では、量子化の選択肢やGPU別の実測報告が増えると嬉しいところです。
引用ソース
- Reddit Reddit r/LocalLLaMA: llama.cpp support for Cohere models — https://www.reddit.com/r/LocalLLaMA/comments/1xa0cyz/llamacpp_support_for_cohere_models/
llama.cpp support for Cohere models
- Web記事 記事全文: llama.cpp Release b9626 Integrates Native Architecture Support for … — https://pseedr.com/stack/llamacpp-release-b9626-integrates-native-architecture-support-for-cohere2-moe
According to the project’s latest release notes on GitHub, the open-source inference engine llama.cpp has officially integrated native architecture support for Cohere’s next-generation Mixture-of-Experts (MoE) models in
- Web記事 記事全文: llama.cpp Adds Support for Cohere's cohere2-MoE Architecture — https://tools4all.ai/trends/llamacpp-adds-support-for-coheres-cohere2-moe-architecture
TL;DR: Llama.cpp has added architectural support for cohere2-MoE, enabling developers to run Cohere’s new North Mini Code 30B MoE model locally with high efficiency.
Summary: A new pull request in llama.cpp introduces ar - Web記事 Web検索: llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap … — https://thetesserapress.com/articles/ggerganovllamacpp-b9637
llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap …
- Web記事 Web検索: Llama.cpp update adds Cohere2MoE vocabulary support for TINY_AYA — https://tools4all.ai/trends/llamacpp-update-adds-cohere2moe-vocabulary-support-for-tiny-aya
Llama.cpp update adds Cohere2MoE vocabulary support for TINY_AYA
- Web記事 Web検索: Cohere Command R+ Local Setup: RAG and Tool-Use Guide — https://localaimaster.com/blog/command-r-plus-local-setup
Cohere Command R+ Local Setup: RAG and Tool-Use Guide
- Web記事 Web検索: Command R: RAG at Production Scale – Cohere — https://cohere.com/blog/command-r
Command R: RAG at Production Scale – Cohere
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS