AIモデルのローカル推論で、MoE改善がまた動き出しました。Hacker Newsに小さなスレッドが立ちました。1ポイント、コメント0件です[1]。MoEは、専門家と呼ばれる部品を一部だけ使う仕組みです。全部を動かさない分、軽い運用に向くとされます。今回の焦点は二つです。複数の専門家を選ぶ設計と、動的オフロードです。オフロードは、処理やデータをGPUとCPUの間で振り分けることです。llama.cppでこの二つをどう扱うかが、話題の中心です。
まず構築側の設計です。LLaMA-MoEは、LLaMAのFFNを専門家に分割します。そして層ごとに、top-Kゲートを挿入します。FFNは、ニューラルネットの中間層です。top-Kゲートは、トークンの入力ごとに使う専門家を選ぶ部品です。手順はGitHubと論文に載っています[2][5]。専門家には、FFNを分割したものと、ニューロンを共有するものがあります。この設定は、層ごとに変わります。活性パラメータは3.0〜3.5Bに抑えると掲げます[2][5]。活性パラメータは、実際に計算に使うパラメータです。モデル名には3_5B-2_8が見えます。bfloat16でGPUに載せる設定例もあります。bfloat16は、メモリを節約する数値形式です。ただし、実測TPSや消費電力は素材にありません。軽い設計は示せても、速度の実証は別の話です。
ゲートの作り方も複数あります。TopK Noisy GateとSwitch Gatingが挙げられます[2][5]。専門家の作り方は、ランダム、クラスタリング、共起グラフ、勾配などです。共起グラフは、一緒に使われる関係から作る方式です。勾配は、誤差から学習の向きを決める手法です。推論セッションでは、ニューロンの共有型も示されました。ゲート方式を替えると、専門家選びの癖が変わります。ただ、差を示す数値は素材にありません。
監視項目も細かいです。ゲート負荷、ゲート重要度、ステップ損失、トークン損失、バランス損失の推移が載っています[2]。TGSとMFUも確認できます。TGSはGPUごとのトークン処理数です。MFUは演算効率です。構築時にこれらを並べると、どの層で専門家に負荷が偏るかが見えます。ただし公開は項目の列挙のみで、実際のグラフや数値は見えません。
構築の速さも工夫されています。FlashAttention-v2の統合と、高速なストリーミングデータ読み込みです[2]。FlashAttention-v2は、アテンション計算を速くする実装です。Sheared LLaMA由来の動的データ重み付けも使えます。学習データに重要度を付けて選ぶ手法です。静的な重み設定と、動的なバッチ読み込みの両方が示されています。データ選びと演算の速さを、同時に扱おうとしています。ここは量子化の話とは少し違います。量子化は、重みを圧縮してメモリを節約する仕組みです。
推論側では、llama.cppを土台にした試みがあります。llama.moeは、動的専門家オフロードを掲げます[3]。使い方はllama-serverと同じで、名前をzilongに置き換える形です。ビルドにはCUDAなど、開発用の道具が必要です。llama.cppの運用に近い形で、専門家オフロードを試せます。ただしREADMEは依存関係と使い方が中心です。性能表は、この素材には載っていません。
CPUとGPUの役割分担も話題です。Hugging Faceのブログは、ローカルMoEのCPU推論をGPU加速で扱うと説明します[4]。別のガイドは推論セッションの最適化を扱います[5]。DeepWikiは、alesha-pro/llama.cppのMoE構造を整理しています[5]。専門家選択とオフロードは、llama.cpp側の構造と結びつきます。重要なのは、どの部品をGPUに置き、どこをCPUで回すかです。ただし具体的なGPU枚数、VRAM、量子化、実測TPSは素材にありません。
弱い点もはっきりしています。スレッドは1ポイント、コメント0件です[1]。llama.moeのREADMEも性能表が見えません[3]。複数専門家を選ぶことが、そのまま速度向上になるとは限りません。オフロードが増えると、読み込みや同期の負担が増える可能性があります。その負担を示す数値は、素材にはありません。推測で埋めたくないところです。結局、見えるのは設計と運用の接続です。LLaMA-MoEはtop-Kゲートと監視項目で構築を具体化します[2][5]。llama.moeはllama.cpp互換の置き換えでオフロードを試します[3]。ガイドはCPUとGPUの分担を示唆します[4][5]。次に見たいのは実測です。同じ量子化設定で、GPUとCPUの分担を変えたTPSや電力が欲しいところです。素材にはその数値がなく、ローカル推論はまだ設定と検証のセットが重要です。
引用ソース
- Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/
If llama.cpp enables MoE to activate multiple experts
- Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe
📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
– Partition LLaMA’s FFN - Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe
A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
sudo apt update
sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu - Web記事 Web検索: Performant local mixture-of-experts CPU inference with GPU acceleration … — https://huggingface.co/blog/Doctor-Shotgun/llamacpp-moe-offload-guide
Performant local mixture-of-experts CPU inference with GPU acceleration …
- Web記事 Web検索: Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki — https://deepwiki.com/alesha-pro/llama.cpp/5.2-mixture-of-experts-(moe)-architectures
Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki
- Web記事 Web検索: LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre … — https://arxiv.org/pdf/2406.16554
LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre …
- Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0
Guide to optimizing inference performance of large MoE models across …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS