llama.cppのMoE対応が、モデル作りから動かし方へ進んでいます。MoEは、全部の部品を動かさず、必要な専門家だけを使う仕組みです。[5] オフロードは、重い部品を別の場所に置くことです。[3] 今回は、その後の運用設計を追いました。Hacker Newsでは1ポイント、コメント0件と静かです。[1] それでも、実装の断片は集まっています。[1] 派手な発表ではありませんが、動きは見えます。[1]
まずモデル側です。LLaMA-MoEは、LLaMAのFFN(モデル内部の主要な計算層)を専門家に分けます。専門家は疎、つまり一部だけが動く形です。[2] 各層にはtop-Kゲート(上位いくつかの専門家を選ぶ仕組み)を挿入します。[2] 活性パラメータ(実際に動く部分の数)は3.0〜3.5Bです。[2] 小さいモデルとして、研究とデプロイを狙います。[2] FlashAttention-v2(注目計算を速める仕組み)も組み込まれています。[2] 3.0〜3.5Bという数字は、展開のしやすさを示します。[2]
構築の試みは、単なる変換ではありません。[2] 専門家の分け方は複数あります。ランダム、クラスタリング、勾配、共活性グラフ(一緒に使われる部分をまとめる方法)などです。[2] ゲートも2種類を扱います。TopK Noisy GateとSwitch Gatingです。[2] 監視項目にはgate load(各専門家がどれだけ使われたか)があります。balance loss(使用バランスを測る指標)も並びます。生成の速さを測るTGSも見ます。計算効率の目安であるMFUも加わります。学習の質を数字で見る姿勢です。[2] データ側も工夫されています。SlimPajamaという学習データから選別します。Sheared LLaMAの動的バッチ読み込み(データをまとめて読む量を調整する仕組み)も採用します。[2] 単発の改造ではなく、継続学習を前提にしています。[2]
READMEには動かし方の例があります。[2] Python 3.10以上が前提です。モデル名はLLaMA-MoE-v1-3_5B-2_8です。バージョン名も手がかりになります。[2] 生成は長さ50の短い出力で確認する例です。[2] 温度0.0は、ばらつきを抑える設定です。出力の揺れを減らすためです。[2] ここでは、モデルが動くこと自体を確かめています。性能の比較ではありません。[2] それでも、小さなMoEを扱う入口として重要です。研究と実装の距離を縮める例です。[2]
次に推論側です。llama.moeは、llama.cppの上に立つ軽量な枠組みです。[3] 動的な専門家オフロード(必要に応じて置き場所を変える方式)を売りにします。[3] CUDA(GPUを動かすための基盤)が必要です。ビルドにはcmakeやninja-buildなどの道具を使い、手順も決まっています。[3] 使い方はllama-serverと同じです。llama-serverをzilongに置き換えるだけです。[3] ここが今回の新しい角度です。既存の運用を壊さず、MoEを試す道です。[3] 依存関係は重めです。それでも、既存のサーバー運用に寄せられます。[3]
ローカル実行の狙いもはっきりしています。[4] CPU推論にGPU加速を組み合わせる道です。[4] llama.cppでは、専門家のどれをCPUに置き、どれをGPUに置くかを決める指定が鍵になります(–n-cpu-moe)。[5] ストリーミング(生成を少しずつ送る方式)の説明も出ています。[5] 重みをどう扱うかという話です。大きなMoEを、メモリに全部載せないで動かす工夫です。[5] DeepWikiでは、llama.cpp内のMoE設計も整理されています。[5] どの層で専門家を使うかが見えます。[5] GPUだけを見るのではなく、CPUとGPUの役割分担を見ます。[4][5] 環境ごとの分担も、運用の一部です。[4][5]
ただし、数字の比較はまだ薄いです。[4] TPSは、1秒あたりの生成数です。[4] 実測TPSや消費電力は、素材には見つかりませんでした。[4][5] HNの反応も1ポイント、0コメントです。[1] 派手な結論は出ていません。[1] 一方で、構築と推論の道具は増えています。[2][3][5] ここに温度差があります。[1][2][3] 大きなMoEを跨ぐガイドもあります。でも、環境ごとの差は示されていません。[5] ガイドは手順を並べるだけで、同じ環境の数字を揃えていません。[5] 比較の土台が弱いままです。[5]
意外なことに、主役はモデルより設定です。[3][5] 設定が速さと載せ方を決め、扱えるMoEの大きさも変わります。[3][5] LLaMA-MoEの例では、活性3.0〜3.5Bが目安です。[2] でもllama.moeやzilongは、モデルの大きさを直接示していません。速さの断定はできません。[3] 必要なのは、環境と設定項目の組み合わせです。設定の指定は、載せられるモデルに関わります。[5] 速さの前に、動く構成を作ります。[5] 今後の見通しは、地味な運用にありそうです。[4][5] MoEの対応は、モデルを作る話から動かす話へ進みました。[2][3][5] llama.cppのMoEは、CPUとGPUの分担設計が中心です。[4][5] Hacker Newsの静けさは、まだ途中であることを示します。[1] ローカルで試す人は、構成と設定を丁寧に追うのが良さそうです。[3][4][5] AI推論の入口は、派手な数字より再現できる手順にあります。[2][3][5] 次の一手は、TPSや電力の公開かもしれません。数字が揃えば、ローカル実行は一段進みます。[4][5]
引用ソース
- Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/
If llama.cpp enables MoE to activate multiple experts
- Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe
📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
– Partition LLaMA’s FFN - Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe
A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
sudo apt update
sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu - Web記事 Web検索: Performant local mixture-of-experts CPU inference with GPU acceleration … — https://huggingface.co/blog/Doctor-Shotgun/llamacpp-moe-offload-guide
Performant local mixture-of-experts CPU inference with GPU acceleration …
- Web記事 Web検索: llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained — https://www.shawnmayzes.com/ai-engineering/llama-cpp-moe-expert-offload-explained/
llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained
- Web記事 Web検索: Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki — https://deepwiki.com/alesha-pro/llama.cpp/5.2-mixture-of-experts-(moe)-architectures
Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki
- Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0
Guide to optimizing inference performance of large MoE models across …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS