🔁 前回の続き: llama.cpp MoE、複数専門家とキャッシュの追跡 📌 エグゼクティブサマリーllama.cppのMoEでは、専門家を実行メモリからCPUへ逃がす仕組みが注目されています。LLaMA-MoEは動いているパラメータを3.0〜3.5Bに抑え、専用フレームワークはllama-ser […]
タグ: zilong
🔁 続・llama.cpp MoE、推論の分岐を数値で追う
🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う 📌 エグゼクティブサマリーllama.cpp MoEの話題は、モデル構築から推論運用へ移った。LLaMA-MoEは活性パラメータ3.0〜3.5Bを掲げ、zilongは動的エキスパートオフロードを提案する。実測TPSや電力 […]
🔁 llama.cpp MoE、複数専門家とキャッシュの追跡
🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う 📌 エグゼクティブサマリーllama.cpp MoEの話題が、専門家選択から動的オフロード、ホット専門家キャッシュへ移っています。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongはllama.cpp基盤で […]
🔁 追跡：llama.cpp MoEは運用設計へ
🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う 📌 エグゼクティブサマリーllama.cpp MoEの話題が、モデル構築から推論オフロードへ進んだことを追跡します。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongはllama-server互換で動的オフ […]
RECENT COMMENTS