🔁 続・llama.cpp MoE、複数専門家とオフロードの現在地

🔁 前回の続き: 続・llama.cpp MoE、構築とオフロードの分岐を追う

📌 エグゼクティブサマリー
llama.cppのMoE改善では、複数専門家を選ぶ設計と動的オフロードが焦点です。LLaMA-MoEは活性パラメータ3.0〜3.5Bを掲げ、llama.moeはllama.cpp上で専門家オフロードを想定します。素材には実測TPSや電力は見つかりませんでした。

AI（ai）モデルのローカル推論で、MoE改善がまた動き出しました。hacker newsに、小さなスレッドが立ちました。llama.cppがMoEで複数の専門家を選ぶ方向を、とらえたようです。スレッドは1ポイント、コメント0件です[1]。MoEは、専門家と呼ばれる部品を一部だけ使う仕組みです。全部の部品を動かさないため、軽い運用に向くとされています。今回の話題は、その専門家選びを、llama.cppでどう扱うかです。

注目したいのは、構築側の設計です。LLaMA-MoEは、LLaMAのFFNを疎な専門家に分割し、層ごとにtop-Kゲートを挿入します。FFNは、ニューラルネットの中間層です。top-Kゲートは、トークンの入力ごとに使う専門家を選ぶ部品です。GitHubと論文に、その手順が載っています[2][5]。専門家には、FFNを分割したものと、ニューロンを共有するものがあります。この設定は、層ごとに変わります。

LLaMA-MoEは、活性パラメータを3.0〜3.5Bに抑えると掲げます[2][5]。モデル名には3_5B-2_8が見えます。bfloat16でcuda:0に載せるモデル設定の例も示されています。TPSは、1秒あたりのトークン生成数です。実測TPSや消費電力は、素材には見つかりませんでした。つまり、軽い設計は示されていますが、速度の実証は別の話です。ここが、今回の素材の弱いところです。

ゲートの作り方も複数あります。TopK Noisy GateとSwitch Gatingが挙げられます[2][5]。専門家の作り方も、ランダム、クラスタリング、共起グラフ、勾配などがあります。推論セッションでは、ニューロンの共有型も示されています。ゲート方式を替えると、専門家選びの癖が変わります。ただ、その差を示す数値は、素材にはありません。

監視項目も細かいです。ゲート負荷、ゲート重要度、ステップ損失、トークン損失、バランス損失の推移が載っています[2]。TGSとMFUも確認できます。TGSはGPUごとのトークン処理数、MFUは演算効率です。構築時にこれらを並べると、どの層で専門家へ負荷が偏るかを見られます。ただし、公開されているのは項目の列挙です。実際のグラフや数値は、この素材には見えません。

構築の速さも工夫されています。FlashAttention-v2（flash attention v2）の統合と、高速なストリーミングデータ読み込みが書かれています[2]。Sheared LLaMA由来の動的データ重み付けも使えます。静的な重み設定と、動的バッチ読み込みの両方が示されています。データ選びと演算の速さを、同時に扱おうとしています。ここは、単なる量子化の話とは少し違います。

推論側では、llama.cppを土台にした試みがあります。llama.moeは、llama.cppの上に立ち、動的専門家オフロードを掲げます[3]。推論セッションでは、使い方がllama-serverと同じで、zilongに置き換える形です。ビルドにはCUDAやcmake、ninja-buildが必要です。つまり、llama.cppの運用に近い形で、専門家オフロードを試そうとしています。ただし、READMEは依存関係と使い方が中心です。性能表は、この素材には載っていません。

CPUとGPUの役割分担も話題です。Hugging Faceのブログは、ローカルMoEのCPU推論をGPU加速で扱うと説明します[4]。別のガイドも、推論セッションの最適化を扱います[5]。DeepWikiは、alesha-pro/llama.cppのMoEアーキテクチャを整理しています[5]。つまり、専門家選択とオフロードは、llama.cpp側の構造と結びつきます。ここで重要なのは、どの部品をGPUに置き、どこをCPUで回すかです。しかし、具体的なGPU枚数、VRAM、量子化、実測TPSは、この素材には見つかりませんでした。

ただし、まだ弱い点もあります。hacker newsのスレッドは1ポイント、コメント0件です[1]。llama.moeのREADMEも、使い方と依存関係が中心で、性能表は見えません[3]。複数専門家を選ぶことが、そのまま速度向上になるとは限りません。オフロードが増えると、読み込みや同期の負担が増える可能性があります。素材には、その負担を示す数値がありません。ここは、推測で埋めたくないところです。

結局、今回の素材から見えるのは、設計と運用の接続です。LLaMA-MoEは、top-Kゲートと監視項目で構築を具体化します[2][5]。llama.moeは、llama.cpp互換の置き換えでオフロードを試します[3]。ガイドは、CPUとGPUの分担を示唆します[4][5]。アーキテクチャ整理も、その接続を後押しします[5]。次に見たいのは、実測です。同じ量子化設定で、GPUとCPUの分担を変えたTPSや電力が欲しいところです。素材には、その数値が見つかりませんでした。AI（ai）のローカル推論は、まだ設定と検証のセットが重要です。

引用ソース

[1] Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/

If llama.cpp enables MoE to activate multiple experts
[2] Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe

📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
– Partition LLaMA’s FFN
[3] Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe

A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
sudo apt update
sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu
[4] Web記事 Web検索: Performant local mixture-of-experts CPU inference with GPU acceleration … — https://huggingface.co/blog/Doctor-Shotgun/llamacpp-moe-offload-guide

Performant local mixture-of-experts CPU inference with GPU acceleration …
[5] Web記事 Web検索: Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki — https://deepwiki.com/alesha-pro/llama.cpp/5.2-mixture-of-experts-(moe)-architectures

Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki
[6] Web記事 Web検索: LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre … — https://arxiv.org/pdf/2406.16554

LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre …
[7] Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0

Guide to optimizing inference performance of large MoE models across …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。