llama.cppでMoEを動かす話題が、専門家の選び方とキャッシュ設計へ移っています。構築側はLLaMA-MoE、実行側はオフロードとキャッシュ最適化が中心です。実測速度の数値はまだ示されていません。
タグ: llama
🔁 追跡：llama.cpp MoEは運用設計へ
llama.cppのMoE対応が、モデル構築から推論のオフロード設計へ進んだことを追跡します。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongはllama-server互換で動的オフロードを狙います。実測TPSはまだなく、設定設計が中心の話題です。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS