30BクラスのMoEモデルが、16GBのGPUで動く。そんな工夫がローカルAI推論の定番ツール・llama.cppで現実のものになっています。しかも今は、専門家の重みをディスクから“流し込む”方式まで登場しました[2]。VRAM節約の設定は以前もお伝えしましたが、今回はその先の話です。 MoE(Mi […]
タグ: llama
🔁 続報：llama.cppがCohere対応を深め、視覚とMoEが動く
🔁 前回の続き: llama.cppがCohere対応を進めた 📌 エグゼクティブサマリーllama.cppのCohere対応が、LLMから視覚エンコーダへ進みました。North Mini Codeは総30B、アクティブ3B、256Kコンテキストが示されていますが、実測TPSや電力は素材にありません […]
🔁 続・Cohereモデル対応、llama.cppがMoEとVisionを詰めた
🔁 前回の続き: llama.cppがCohereモデルをローカル推論へ 📌 エグゼクティブサマリーllama.cppがCohereのMoE向け専用パーサを追加し、North Mini Codeの30B総パラメータ・3Bアクティブや256Kコンテキストをローカルで狙えるようになりました。Vision […]
🔁 続・llama.cpp MoE、専門家オフロードと推論の現在
🔁 前回の続き: llama.cpp MoE、複数専門家とキャッシュの追跡 📌 エグゼクティブサマリーllama.cppのMoEでは、専門家を実行メモリからCPUへ逃がす仕組みが注目されています。LLaMA-MoEは動いているパラメータを3.0〜3.5Bに抑え、専用フレームワークはllama-ser […]
🔁 続：llama.cppがCohere2MoEをローカル推論へ
🔁 前回の続き: llama.cppがCohere対応を進めた 📌 エグゼクティブサマリーllama.cppがCohereのcohere2-MoEをb9626/b9637で対応し、North Mini Code 30Bのローカル推論に近づきました。実測値は素材にありませんが、対応の進み方が見えます。 […]
🔁 続報：llama.cppがCohere対応を深めた最新状況
🔁 前回の続き: llama.cppがCohere対応を進めた 📌 エグゼクティブサマリーCohereがllama.cpp対応を進め、North Micro Visionの視覚エンコーダやcohere2-MoEが対応に。30B総パラメータで3Bアクティブ、256Kコンテキストなど数値が示され、aiの […]
🔁 続・llama.cpp MoE、推論の分岐を数値で追う
🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う 📌 エグゼクティブサマリーllama.cpp MoEの話題は、モデル構築から推論運用へ移った。LLaMA-MoEは活性パラメータ3.0〜3.5Bを掲げ、zilongは動的エキスパートオフロードを提案する。実測TPSや電力 […]
🔁 続・llama.cpp MoE、複数専門家とオフロードの現在地
🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う 📌 エグゼクティブサマリーllama.cppのMoE改善では、複数専門家を選ぶ設計と動的オフロードが焦点です。LLaMA-MoEは活性パラメータ3.0〜3.5Bを掲げ、llama.moeはllama.cpp上で専門家オフ […]
🔁 llama.cpp MoE、複数専門家とキャッシュの追跡
🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う 📌 エグゼクティブサマリーllama.cpp MoEの話題が、専門家選択から動的オフロード、ホット専門家キャッシュへ移っています。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongはllama.cpp基盤で […]
🔁 追跡：llama.cpp MoEは運用設計へ
🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う 📌 エグゼクティブサマリーllama.cpp MoEの話題が、モデル構築から推論オフロードへ進んだことを追跡します。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongはllama-server互換で動的オフ […]
RECENT COMMENTS