📌 エグゼクティブサマリー
llama.cpp MoEの話題は、モデル構築から推論運用へ移った。LLaMA-MoEは活性パラメータ3.0〜3.5Bを掲げ、zilongは動的エキスパートオフロードを提案する。実測TPSや電力は素材になく、追うべきは同じ条件での評価です。
Hacker Newsに、llama.cppがMoEで複数のエキスパートを活性化するかどうかを問う投稿がありました[1]。注目度は1ポイント、コメント0件と高くなかったようです。MoEは、入力ごとに一部の専門家だけを使う仕組みです。ただ、AI推論の現場ではMoEが注目されています。llama.cppでMoEを扱う話題は、モデルの作り込みから、推論の運用へ移ったように見えます。この問いは、単なる機能確認ではなく、推論の形そのものに関わると思われます。
その一端をLLaMA-MoEの公開情報が見せます[2]。このプロジェクトはLLaMAのFFNを疎なエキスパートに分け、各層にtop-Kゲートを挿入したと説明されています。継続事前学習にはSheared LLaMAのデータサンプリングとSlimPajamaのフィルタ済みデータを使ったとあります。活性パラメータ数は3.0〜3.5Bとされ、展開や研究利用に優しいとされています。モデル名にはLLaMA-MoE-v1-3_5B-2_8が挙げられています。
構築面では、FlashAttention-v2を組み込んだ高速な継続事前学習、ゲート負荷やバランス損失などの監視項目、動的な重みサンプリングも並んでいます[2]。Neuron-IndependentやNeuron-Sharingといったエキスパート作成法、TopK Noisy GateやSwitch Gatingといったゲート戦略も示されています。ここには推論の速さそのものより、MoEをどう作るかという設計図が濃く出ています。公開コードでは、モデルディレクトリを指定し、トークナイザとモデルを読み込み、temperature 0.0で生成する例も載っています。生成例では、Suzhou is famous ofという入力に対し、庭園に関する文章が返っています。
監視項目には、loss on steps、loss on tokens、balance loss、TGS、MFUも並びます[2]。TGSはtokens/GPU/second、MFUはmodel FLOPs utilizationを示す項目です。ゲート負荷やゲート重要度も監視対象です。数値そのものは素材にありませんが、学習の健康状態を見る枠組みが用意されています。データ読み込みも、静的な重み付けと動的バッチ読み込みの両方を想定しています。可視化ユーティリティも挙げられています。ここには、MoEを育てるためのオプションが細かく並んでいます。
一方、llama.cppの側では、MoE推論向けの軽量フレームワークとしてzilongが紹介されています[3]。これはllama.cppの上に立ち、動的エキスパートオフロードを扱うと説明されています。動的オフロードは、推論中に使う部品を切り替える仕組みです。使い方はllama-serverと同じで、コマンドをzilongに置き換えるだけです。セットアップにはCUDAが必要で、ビルドツールやninja-build、libcurl4-openssl-devなども挙げられています。uv syncで依存関係を揃える流れも示されています。run_zilong.shという実行例もあり、既存のllama.cpp運用に近い形を保とうとしています。
ただし、この素材には実測TPSや消費電力、GPU枚数やVRAMの具体的な構成はありません。TPSは1秒あたりのトークン数です。prefillは入力処理、decodeは生成処理です。prefillとdecodeの速度差も、5060Tiや5090などの比較も、素材には見つかりませんでした。AMDやARMの比較データも、この素材にはありません。性能カルテとしては、まだ数値が足りません。オフロードを扱う以上、計算より転送が重くなる可能性はありますが、ここでは断定できません。セットアップの要求がCUDAに寄っている点も、環境選びでは重要です。
周辺資料も、推論の分岐を補強しています。DeepWikiにはalesha-pro/llama.cppのMoEアーキテクチャ解説があり、am17an/llama.cppにはベンチマークと評価の項目があります[4][7]。さらに、大規模MoEの推論性能最適化ガイドや、Hugging Face上のエキスパート活性化の設定・管理方法も出ています[4][4]。ここから見えるのは、MoEが単体のモデル名ではなく、ゲート設定、オフロード、評価を束ねる運用セットとして扱われているようです。
ここで重要なのは、活性パラメータと総パラメータの差です。LLaMA-MoEは活性パラメータ3.0〜3.5Bを掲げますが、総パラメータやメモリ使用量の具体的な数値は素材にありません[2]。モデル名の3_5B-2_8から何かを推測したくなりますが、素材の説明にない値は使えません。ベンチマークの項目が別資料にあることも、評価がまだ部品ごとに散っているようです。評価を同じ条件で並べなければ、オフロードの利点も欠点も見えにくいと思われます。
転換点は、Hacker Newsの問いが示すように、llama.cppが複数のエキスパートをどう活性化するかにあります[1]。LLaMA-MoEは3.0〜3.5Bという活性パラメータを提示し、zilongは動的オフロードで推論の形を変えようとします[2][3]。しかし、実測値が揃わなければ、どの構成が速いのかは判断できません。次に追うべきは、ゲート設定、オフロード先、ベンチマーク結果が同じ条件で並ぶかどうかです。AI推論のMoEは、まだ性能カルテを埋める段階にあると思われます。
引用ソース
- [1] Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/
If llama.cpp enables MoE to activate multiple experts
- [2] Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe
📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
– Partition LLaMA’s FFN - [3] Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe
A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
sudo apt update
sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu - [4] Web記事 Web検索: Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki — https://deepwiki.com/alesha-pro/llama.cpp/5.2-mixture-of-experts-(moe)-architectures
Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki
- [5] Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0
Guide to optimizing inference performance of large MoE models across …
- [6] Web記事 Web検索: How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts — https://huggingface.co/DavidAU/How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts/blob/main/README.md
How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts
- [7] Web記事 Web検索: Benchmarking and Evaluation | am17an/llama.cpp | DeepWiki — https://deepwiki.com/am17an/llama.cpp/7.3-benchmarking-and-evaluation
Benchmarking and Evaluation | am17an/llama.cpp | DeepWiki
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS