Let's take a drive.

続報です。Cohereがllama.cpp対応をさらに進めています。今回は視覚部品とモデル構造の両方が揃いました。ローカル推論の入口が一段広がっています。対応の速さと数値の明示も、追跡しやすい材料です。

CohereのNick氏がRedditで報告しています。North Micro Vision Instructの視覚エンコーダが、llama.cppにマージされたというのです[1]。視覚エンコーダとは、画像を読み取って言語モデルに渡す部品です。これで同社の最新アーキテクチャが、llama.cppで扱える状態になりました[1]。言語モデル側はすでにサポート済みです。North Mini CodeやCommand A+と同じ構成だといいます[1]。実現の背景には、コミュニティからの強い要望があったといいます[1]。

背景には、ローカル実行ユーザーの声がありました。Web記事は、PR #30062でllama.cpp対応が発表されたと伝えています[2]。PRは、変更提案を管理する番号です。後押しになったのは、Command A+公開やNorth Mini Codeベータテストで集まった声です[2]。単なる機能追加ではなく、コミュニティとの往復で形になった対応です。North Micro Visionは、いくつかの新リリースの基盤として使われています[1]。フィードバックがモデルと提供を良くした、という説明もあります[1]。

今回の中心は、cohere2-MoEという構成です。MoEは、全部の部品を毎回使わず、必要な部分だけ動かす仕組みです。あるWeb記事は、North Mini Codeが総パラメータ30Bで、実際に動くのは3Bだと説明しています[3]。コンテキストは256K、最大出力は64Kとされています[3]。コンテキストは、一度に扱える情報の長さです。大きな総数でも動く量を抑える設計です。コード生成やエージェント的な作業に向くとされています[3]。open-weights、つまり重みを公開したモデルである点も重要です[3]。

リリース情報も出ています。あるWeb記事は、b9626で対応が統合されたと伝えています[5]。cohere2-MoEを直接扱えるようになったのです。別の記事は、b9637でCohere2MoE対応が進み、差が縮まったと報じています[6]。対応アーキテクチャの一覧記事も、この流れを示しています[7]。ただし、b9626とb9637の差の中身は、素材からは読み切れません[5][6]。それでも、一覧に載ることで対応の所在が分かりやすくなります[7]。対応の記録が積み上がるほど、比較もしやすくなります。

以前から、Cohere系をローカルで試す動きはありました。個人ブログは、Command-R 35Bをllama.cppで試す記録を残しています[4]。多言語対応のLLMとして注目されたモデルです。日本語記事は、Commandにcohere2-MoEが統合されたと伝えています[7]。推論基盤の多様化が進むという見方です。試す際の助言もあります。あるWeb記事は再コンパイルを勧めています。再コンパイルは、プログラムを作り直すことです。その後、量子化GGUFでの動作を勧めています。量子化は、重みを圧縮してメモリを節約する仕組みです。GGUFは、llama.cpp向けのファイル形式です。

一方、落とし穴もあります。llama.cppの再コンパイルが必要です[3]。量子化GGUFを選び、環境に合わせて動かす必要があります[3]。セットアップを誤ると、思った速度は出ません。30B総パラメータでも、VRAMやRAMの分担次第で体感は変わります。VRAMは、GPUが使うメモリです。素材には、具体的なGPU枚数やVRAM構成の記載はありません。RAMとPCIeの分担の数値も見つかりませんでした。PCIeは、部品間をつなぐ接続規格です。実測のTPSや消費電力も、素材にはありませんでした。画像入力の品質についても、素材には記載がありません[1]。失敗報告もまだ見当たりません。再現手順も素材にはなく、環境ごとの比較が難しい状況です[3]。

それでも、Cohere対応は「試せる範囲」を広げています。視覚エンコーダ、MoE、Command系、バージョンの追跡が揃ったためです。ローンチのたびに、ローカル推論の選択肢が増えています。次の注目点は、実測値と安定性です。対応の有無より、環境ごとの実測と再現性が焦点になります。追跡の中心は、対応の広がりから実測へ移りつつあります。

引用ソース

1. Reddit Reddit r/LocalLLaMA: llama.cpp support for Cohere models — https://www.reddit.com/r/LocalLLaMA/comments/1xa0cyz/llamacpp_support_for_cohere_models/
   

   llama.cpp support for Cohere models

2. Web記事 記事全文: Cohere adds llama.cpp support for its models — AIBriefs — https://aibriefs.news/card/1f0247da-8dff-40df-82ed-dd853b5d5af0
   

   Cohere adds llama.cpp support for its models
   Read original source →github.com
   Cohere’s Nick Frosst announced llama.cpp support via PR #30062, following the earlier Command A+ launch and North Mini Code beta. He cited loc

3. Web記事 記事全文: llama.cpp Adds Support for Cohere's cohere2-MoE Architecture — https://tools4all.ai/trends/llamacpp-adds-support-for-coheres-cohere2-moe-architecture
   

   TL;DR: Llama.cpp has added architectural support for cohere2-MoE, enabling developers to run Cohere’s new North Mini Code 30B MoE model locally with high efficiency.
   Summary: A new pull request in llama.cpp introduces ar

4. Web記事 Web検索: llama.cpp で多言語LLMの Cohere Command-R 35B を試す – ローカルLLM自由帳 (Local LLM Diary) — https://sc-bakushu.hatenablog.com/entry/2024/03/17/215344
   

   llama.cpp で多言語LLMの Cohere Command-R 35B を試す – ローカルLLM自由帳 (Local LLM Diary)

5. Web記事 Web検索: llama.cpp Release b9626 Integrates Native Architecture Support for … — https://pseedr.com/stack/llamacpp-release-b9626-integrates-native-architecture-support-for-cohere2-moe
   

   llama.cpp Release b9626 Integrates Native Architecture Support for …

6. Web記事 Web検索: llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap … — https://thetesserapress.com/articles/ggerganovllamacpp-b9637
   

   llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap …

7. Web記事 Web検索: Supported Model Architectures | ggml-org/llama.cpp | DeepWiki — https://deepwiki.com/ggml-org/llama.cpp/3.11-supported-model-architectures
   

   Supported Model Architectures | ggml-org/llama.cpp | DeepWiki

8. Web記事 Web検索: Cohere系AIモデル「Command」に新アーキテクチャ「cohere2-MoE」が統合、推論基盤の多様化が加速 — https://aikeizai.jp/article/model/b9626-launch-details/
   

   Cohere系AIモデル「Command」に新アーキテクチャ「cohere2-MoE」が統合、推論基盤の多様化が加速

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

• Tweet