📌 エグゼクティブサマリー
Cohereがllama.cpp対応を進め、North Micro Visionの視覚エンコーダやcohere2-MoEが対応に。30B総パラメータで3Bアクティブ、256Kコンテキストなど数値が示され、aiのローカル推論の選択肢が広がった状況を追跡します。
続報です。Cohereがllama.cpp対応をさらに進めました。flashやhackerの話題に親しい読者にも、aiの動きは分かりやすい形になってきました。以前は「対応が始まった」段階でした。今回は、視覚部品とアーキテクチャが揃った点が違います。ローカル推論の入口が、一段広くなったようです。対応の速さも、話題の理由です。数値とバージョンが並んだことで、追跡しやすくなりました。対応の幅と、数字の見え方が変わりました。
CohereのNick氏はRedditで、North Micro Vision Instructの視覚エンコーダがllama.cppにマージされたと報告しています[1]。視覚エンコーダとは、画像を読み取って言語モデルに渡す部品です。これにより、同社の最新アーキテクチャはllama.cppで扱える状態になったとしています[1]。LLM側は、North Mini CodeやCommand A+と同じ構成で、すでにサポートされていたとも説明しています[1]。コミュニティの貢献も、その理由として挙げられています[1]。Nick氏は、要望が強かったことを踏まえ、実現後に報告したとしています[1]。North Micro Vision Instructは、画像を使う入口になり得ます[1]。画像を使う流れが、llama.cpp側で整いつつあります[1]。
背景には、ローカル実行ユーザーの要望がありました。Web記事は、PR #30062でllama.cpp対応が発表されたと伝えています[2]。PRは、変更提案の番号です。Command A+の公開やNorth Mini Codeのベータテストで集まった声が後押しになったようです[2]。単なる機能追加ではなく、コミュニティとの往復で形になった対応です。North Micro Visionは、いくつかの新リリースの基盤として使われているとも書かれています[1]。GitHubのPR番号が示されている点も、追跡しやすい材料です[2]。フィードバックがモデルと提供を良くした、という説明もあります[1]。PR番号があることで、変更の追跡がしやすくなります[2]。要望と実装が、PRという形で残っています[2]。
今回の中心は、cohere2-MoEという構成です。MoEは、全部の部品を毎回使わず、必要な部分だけ動かす仕組みです。あるWeb記事は、North Mini Codeが総パラメータ30Bで、アクティブは3Bだと説明しています[3]。コンテキストは256K、最大出力は64Kとされています[3]。コンテキストは、一度に扱える情報の長さです。大きな総数でも、実際に動く量は抑える設計です。コード生成やエージェント的な作業に向くとされています[3]。open-weights、つまり重みを公開したモデルである点も、ローカル実行では重要です[3]。30Bと3Bの差が、MoEの特徴です。総数とアクティブを分けて見る必要があります。
リリース情報も出ています。あるWeb記事は、b9626でcohere2-MoEを直接扱える対応が統合されたと伝えています[5]。別のWeb記事は、b9637でCohere2MoE対応がさらに進み、差が縮まったと報じています[6]。対応アーキテクチャの一覧記事も、この流れを示しています[7]。バージョンの追跡が重要になってきました。b9626とb9637という数字が、対応の進み方を示しています[5][6]。対応アーキテクチャが一覧に載ることは、安定運用への一歩です[7]。対応の記録が積み上がるほど、比較がしやすくなります。b9626とb9637の差は、まだ素材からは読み切れません[5][6]。一覧に載ることで、対応の所在が分かりやすくなります[7]。
以前から、Cohere系をローカルで試す動きはありました。個人ブログでは、多言語LLMのCommand-R 35Bをllama.cppで試す記事が出ています[4]。日本語記事も、Commandにcohere2-MoEが統合され、推論基盤の多様化が進むと伝えています[7]。別のWeb記事は、再コンパイルと量子化GGUFの試用を勧めています。量子化とは、モデルの重みを圧縮して動かす方法です。GGUFは、llama.cpp向けのファイル形式です。Command-R 35Bは多言語対応として注目されていました[4]。個人ブログの記録は、導入前の参考になりそうです[4]。日本語記事は、動向を整理しています[7]。試行の記事が積み上がっています[4][7]。
注目されるのは、標準的なハードウェアで動かせる可能性です。あるWeb記事は、エージェント的な作業向けのコードモデルをローカルで実行できるとしています[3]。APIに依存しない選択肢が増える点は、hacker的な試行にも合いそうです。ただし、素材には具体的なGPU枚数やVRAMの構成は書かれていません。VRAMは、GPUが使うメモリです。RAMとPCIeの分担についても、数値は見つかりませんでした。PCIeは、部品間の接続規格です。実測のTPSや消費電力も、素材には見つかりませんでした。TPSは毎秒の生成速度、消費電力は動作時の電気量です。GPUの世代やVRAM容量による差も、素材にはありません。ローカル実行の可否は、ファイル形式と量子化にも左右されます。速度の断定は、実測値があるまで避けます。
一方、落とし穴もあります。対応が入っても、すぐ楽になるわけではありません。llama.cppの再コンパイルが必要です[3]。再コンパイルは、プログラムを作り直すことです。量子化GGUFを選び、環境に合わせて動かす必要があります[3]。セットアップを誤ると、思った速度は出ません。30B総パラメータでも、VRAMやRAMの分担次第で体感は変わります。MoEは効率が良さそうに見えますが、実測値がなければ安心できません。素材には画像入力の品質も書かれていません[1]。失敗報告も、まだ素材には見当たりません。環境ごとの再現手順も、素材にはありません[3]。再現手順がないと、比較が難しくなります[3]。
それでも、Cohere対応は「試せる範囲」を広げています。視覚エンコーダ、MoE、コマンド系、バージョンの追跡が揃ったからです。ローンチのたびに、ローカル推論の選択肢が増えています。カルチャーとして定着してきたとも言えそうです。次の注目点は、実測値と安定性です。aiの話題に親しい読者にも、flashやhackerの視点にも、追う価値がある続報です。続報として見るべきは、対応の有無より、環境ごとの実測です。セットアップの再現性も、重要です。追跡の中心は、対応の広がりから実測へ移っています。続報では、環境ごとの差が焦点になります。
引用ソース
- [1] Reddit Reddit r/LocalLLaMA: llama.cpp support for Cohere models — https://www.reddit.com/r/LocalLLaMA/comments/1xa0cyz/llamacpp_support_for_cohere_models/
llama.cpp support for Cohere models
- [2] Web記事 記事全文: Cohere adds llama.cpp support for its models — AIBriefs — https://aibriefs.news/card/1f0247da-8dff-40df-82ed-dd853b5d5af0
Cohere adds llama.cpp support for its models
Read original source →github.com
Cohere’s Nick Frosst announced llama.cpp support via PR #30062, following the earlier Command A+ launch and North Mini Code beta. He cited loc - [3] Web記事 記事全文: llama.cpp Adds Support for Cohere's cohere2-MoE Architecture — https://tools4all.ai/trends/llamacpp-adds-support-for-coheres-cohere2-moe-architecture
TL;DR: Llama.cpp has added architectural support for cohere2-MoE, enabling developers to run Cohere’s new North Mini Code 30B MoE model locally with high efficiency.
Summary: A new pull request in llama.cpp introduces ar - [4] Web記事 Web検索: llama.cpp で多言語LLMの Cohere Command-R 35B を試す – ローカルLLM自由帳 (Local LLM Diary) — https://sc-bakushu.hatenablog.com/entry/2024/03/17/215344
llama.cpp で多言語LLMの Cohere Command-R 35B を試す – ローカルLLM自由帳 (Local LLM Diary)
- [5] Web記事 Web検索: llama.cpp Release b9626 Integrates Native Architecture Support for … — https://pseedr.com/stack/llamacpp-release-b9626-integrates-native-architecture-support-for-cohere2-moe
llama.cpp Release b9626 Integrates Native Architecture Support for …
- [6] Web記事 Web検索: llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap … — https://thetesserapress.com/articles/ggerganovllamacpp-b9637
llama.cpp b9637 adds native Cohere2MoE support, shrinking the gap …
- [7] Web記事 Web検索: Supported Model Architectures | ggml-org/llama.cpp | DeepWiki — https://deepwiki.com/ggml-org/llama.cpp/3.11-supported-model-architectures
Supported Model Architectures | ggml-org/llama.cpp | DeepWiki
- [8] Web記事 Web検索: Cohere系AIモデル「Command」に新アーキテクチャ「cohere2-MoE」が統合、推論基盤の多様化が加速 — https://aikeizai.jp/article/model/b9626-launch-details/
Cohere系AIモデル「Command」に新アーキテクチャ「cohere2-MoE」が統合、推論基盤の多様化が加速
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS