🔁 続・llama.cpp MoE、専門家をCPUへ逃がす動きと推論の現在

llama.cppのMoEでは、専門家を実行メモリからCPUへ逃がす仕組みが注目されています。LLaMA-MoEは動くパラメータを3.0〜3.5Bに抑え、専用フレームワークも試せる段階です。ただし実測値は乏しく、オフロード設定の重要性が際立ちます。

🔁 続・llama.cpp MoE、推論の分岐を数値で追う

llama.cppのMoEをめぐる話題が、モデル構築から推論運用へ移っています。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongは動的なエキスパートオフロードを提案します。ただし実測速度や電力の数値はなく、同じ条件での評価が待たれます。

llama.cppでMoEを動かす話題が、専門家の選び方とキャッシュ設計へ移っています。構築側はLLaMA-MoE、実行側はオフロードとキャッシュ最適化が中心です。実測速度の数値はまだ示されていません。

llama.cppのMoE対応が、モデル構築から推論のオフロード設計へ進んだことを追跡します。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongはllama-server互換で動的オフロードを狙います。実測TPSはまだなく、設定設計が中心の話題です。