Hacker Newsに、llama.cppがMoEで複数のエキスパートを活性化するのかを問う投稿がありました[1]。注目度は1ポイント、コメント0件と、あまり目立ってはいません。MoEは、入力ごとに一部の専門家だけを使って計算する仕組みです。それでもAI推論の現場では注目が集まっています。llama.cppをめぐる話題は、モデルの作り込みから推論の運用へ移りつつあります。この問いは、推論の形そのものに関わります。
構築側の動きを示すのがLLaMA-MoEです[2]。LLaMAのFFN(入力を変換する層の一部)を、疎なエキスパートに分割しました。各層にはtop-Kゲートを挿入しています。top-Kゲートは、入力ごとに上位K個の専門家を選ぶ仕組みです。継続事前学習には、Sheared LLaMAのデータサンプリングとSlimPajamaのフィルタ済みデータを使いました。活性パラメータ数は3.0〜3.5Bとされ、展開や研究利用に優しいとされています。モデル名はLLaMA-MoE-v1-3_5B-2_8が挙げられています。
設計の選択肢も細かく並びます[2]。FlashAttention-v2(アテンション計算を速くする実装)を組み込んだ、高速な継続事前学習が示されています。動的な重みサンプリングも添えられています。エキスパートの作り方には、Neuron-IndependentやNeuron-Sharingがあります。ゲート戦略には、TopK Noisy GateやSwitch Gatingが挙げられます。ここには推論の速さより、MoEをどう作るかという設計図が濃く出ています。公開コードでは、モデルを読み込み、temperature 0.0(揺らぎのない生成設定)で生成する例も載っています。入力「Suzhou is famous of」には、庭園に関する文章が返りました。
学習の健康状態を見る枠組みも用意されています[2]。監視項目には、loss on steps、loss on tokens、balance loss、TGS、MFUが並びます。TGSはtokens/GPU/second、MFUはmodel FLOPs utilizationの略です。ゲート負荷やゲート重要度も監視対象です。データ読み込みは、静的な重み付けと動的バッチの両方を想定しています。可視化ユーティリティも挙げられています。ただし、数値そのものは素材にありません。
推論側では、zilongという軽量フレームワークが紹介されています[3]。llama.cppの上に立ち、動的エキスパートオフロードを扱います。動的オフロードは、推論中に使う部品を切り替える仕組みです。使い方はllama-serverと同じで、コマンドをzilongに置き換えるだけです。セットアップにはCUDA(NVIDIA製GPUで動かすための基盤)が必要で、ビルド用のツール類も求められます。uv syncで依存関係を揃える流れも示されています。実行例run_zilong.shもあり、既存のllama.cpp運用に近い形を保ちます。
ただし、性能の数値はまだ足りません。実測TPSや消費電力、GPU枚数やVRAMの構成は素材にありません。TPSは1秒あたりのトークン数です。prefill(入力処理)とdecode(生成処理)の速度差も見えません。5060Tiや5090などの比較、AMDやARMのデータもありません。オフロードを扱う以上、計算より転送が重くなる可能性はありますが、断定はできません。セットアップがCUDAに寄っている点も、環境選びでは重要です。
周辺資料も、推論の分岐を補強しています。DeepWikiにはalesha-pro/llama.cppのMoEアーキテクチャ解説があり、am17an/llama.cppにはベンチマークと評価の項目があります[4][7]。大規模MoEの推論性能最適化ガイドや、Hugging Face上のエキスパート活性化の設定・管理方法も出ています[4][4]。MoEは単体のモデル名ではなく、ゲート設定、オフロード、評価を束ねる運用セットとして扱われつつあります。
重要なのは、活性パラメータと総パラメータの差です。LLaMA-MoEは活性3.0〜3.5Bを提示し、zilongは動的オフロードで推論の形を変えようとします[2][3]。しかし、総パラメータやメモリ使用量の数値は素材にありません[2]。モデル名の3_5B-2_8から推測したくなりますが、素材にない値は使えません。評価が部品ごとに散っていれば、オフロードの利点も欠点も見えません。次に追うべきは、ゲート設定、オフロード先、ベンチマーク結果が同じ条件で並ぶかどうかです。AI推論のMoEは、まだ性能カルテを埋める段階にあります。
引用ソース
- Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/
If llama.cpp enables MoE to activate multiple experts
- Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe
📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
– Partition LLaMA’s FFN - Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe
A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
sudo apt update
sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu - Web記事 Web検索: Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki — https://deepwiki.com/alesha-pro/llama.cpp/5.2-mixture-of-experts-(moe)-architectures
Mixture-of-Experts (MoE) Architectures | alesha-pro/llama.cpp | DeepWiki
- Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0
Guide to optimizing inference performance of large MoE models across …
- Web記事 Web検索: How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts — https://huggingface.co/DavidAU/How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts/blob/main/README.md
How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts
- Web記事 Web検索: Benchmarking and Evaluation | am17an/llama.cpp | DeepWiki — https://deepwiki.com/am17an/llama.cpp/7.3-benchmarking-and-evaluation
Benchmarking and Evaluation | am17an/llama.cpp | DeepWiki
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS