「モデルの中身を変えずに、生成を3倍以上速める。」そんな手法の最新版「EAGLE-4」が公開され、ローカルLLMコミュニティで話題になっています[1]。EAGLE-4は、EAGLEファミリーの最新世代です[2]。正式名称は「Extrapolation Algorithm for Greater La […]
タグ: llama
続・llama.cpp MoE追跡、エキスパートをディスクから流す最新段階
30B級のMoEモデルが、16GBのGPUで動くようになっています。さらに、エキスパート(専門家ネットワーク)を事前にメモリへ載せない方向まで進んできました。ローカル推論の定番llama.cppを巡るMoE最適化は、いま「オフロード(GPUに載らない重みをCPU側へ移す方式)」から「ストリーミング」 […]
続報：llama.cpp MoE対応、専門家をディスクから“流す”新段階へ
30BクラスのMoEモデルが、16GBのGPUで動きます。そんな工夫が、ローカルAI推論の定番ツール・llama.cppで現実のものになっています。さらに今は、専門家の重みをディスクから“流し込む”方式まで登場しました[2]。VRAM(GPUのメモリ)節約の設定は以前お伝えしましたが、今回はその先の […]
🔁 続報：llama.cppがCohere対応を深め、視覚とMoEが動く
llama.cppのCohere対応が視覚エンコーダまで広がりました。North Mini Codeは総30B・アクティブ3BのMoEで、ローカル実行の道が開いたと報告されています。ただし速度や電力の実測値はまだありません。
🔁 続・Cohereモデル対応、llama.cppがMoEと画像対応を詰めた
llama.cppがCohereのMoEモデル向け専用パーサを追加しました。North Mini Codeは総30B・アクティブ3B、256Kコンテキストで、ローカル動作が視野に入ります。ただし実測の速度データはまだありません。
🔁 続・llama.cpp MoE、専門家をCPUへ逃がす動きと推論の現在
llama.cppのMoEでは、専門家を実行メモリからCPUへ逃がす仕組みが注目されています。LLaMA-MoEは動くパラメータを3.0〜3.5Bに抑え、専用フレームワークも試せる段階です。ただし実測値は乏しく、オフロード設定の重要性が際立ちます。
🔁 続：llama.cppがCohere2MoEをローカル推論へ
llama.cppがCohereの次世代MoE構造「Cohere2MoE」に対応しました。b9626とb9637の2段階で進み、North Mini Code 30Bのローカル推論に近づいています。実測速度の報告はまだありません。
🔁 続報：llama.cppがCohere対応を深めた最新状況
Cohereがllama.cpp対応を進め、視覚エンコーダとcohere2-MoEが扱えるようになりました。North Mini Codeは総30B・実際に動くのは3B、コンテキスト256Kです。注目は対応の広がりから、環境ごとの実測値へ移っています。
🔁 続・llama.cpp MoE、推論の分岐を数値で追う
llama.cppのMoEをめぐる話題が、モデル構築から推論運用へ移っています。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongは動的なエキスパートオフロードを提案します。ただし実測速度や電力の数値はなく、同じ条件での評価が待たれます。
🔁 続・llama.cpp MoE、複数専門家とオフロードの現在地
llama.cppのMoE改善が動いています。焦点は、複数の専門家を選ぶ設計と動的なオフロードです。LLaMA-MoEは活性パラメータ3.0〜3.5Bを掲げ、llama.moeはllama.cpp上での専門家オフロードを狙いますが、実測TPSや電力のデータはまだありません。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS