📌 エグゼクティブサマリー
llama.cpp MoEの話題が、専門家選択から動的オフロード、ホット専門家キャッシュへ移っています。LLaMA-MoEは活性パラメータ3.0〜3.5B、zilongはllama.cpp基盤でCUDA前提です。実測TPSは素材にありません。
「もしllama.cppがMoEで複数の専門家を活かしたら」。hacker newsには、そんな問いかけが小さく流れていました[1]。1ポイント、コメント0と反響は控えめです。しかし話題の中心は、モデルを大きくするより、推論時にどの専門家を選ぶかへ移ったようです。AIのローカル実行で、カルト的な人気を誇るllama.cppが、MoEの専門家選択とメモリ分担の入口になりつつあります。
まず構築面を見ると、LLaMA-MoEはLLaMAのFFNを疎な専門家へ分割し、各層にtop-Kゲートを挿入する方針です[2]。Sheared LLaMAの動的バッチ読み込みやSlimPajamaのデータで継続事前学習し、flash attention-v2も組み込みます[2]。注目すべきは、活性パラメータが3.0〜3.5Bに抑えられている点です[2]。総パラメータではなく、実際に動く部分の重さを示しています。
構築の作り方も細かく開かれています。専門家分割はRandom、Clustering、Co-activation Graph、GradientといったNeuron-Independentな方法と、Inner、Inter residualといったNeuron-Sharingな方法が並んでいます[2]。ゲートもTopK Noisy GateとSwitch Gatingを使い分け、gate loadやgate importance、loss on steps、loss on tokens、balance loss、TGS、MFUといった監視項目も用意されています[2]。これは単に動くモデルを配っただけでなく、試行錯誤の計器を揃えた設計です。
リポジトリの検索結果にも同じLLaMA-MoEが並び、構築側の話題が繰り返されています。READMEにはpython>=3.10、torch、AutoTokenizer、AutoModelForCausalLM、trust_remote_code=Trueといった読み込み手順が載っています[2]。モデル名はLLaMA-MoE-v1-3_5B-2_8で、bfloat16でCUDAへ送る例が示されています[2]。生成例では「Suzhou is famous of」から庭園の話へ続く文章が出ており、MoEが動くことの確認に留まっています[2]。
推論側では、llama.cppを土台にMoE向け最適化を積む動きがはっきりしています。jklincn/llama.moeは、llama.cppの上に動的専門家オフロードを載せた軽量フレームワークです[3]。使い方はllama-serverと同じで、zilongに置き換えるだけと説明されています[3]。ビルドにはbuild-essential、cmake、ccache、libcurl4-openssl-dev、ninja-build、CUDAが必要で、uv syncやscripts/run_zilong.shも出てきます[3]。検索結果にも同じGitHubが並び、注目度を示しています。
Hugging Faceの解説記事は、ローカルMoEをCPU推論で回しつつ、GPU加速で性能を確保する道筋を示しています[4]。ただし、抜粋だけでは具体的な速度差は読み取れません。さらにshawnmayzesの解説では、llama.cppのMoE専門家オフロードで–n-cpu-moeとストリーミングが説明されています[5]。これは、専門家重みをCPUに置き、GPUへ流す単位を制御する話と思われます。DocShotgunのgistも、大規模MoEを跨いだ推論性能最適化の指針をまとめています[5]。
ここで面白いのは、オフロードが単純なCPU/GPU分担で終わらない点です。moe-hotcacheは、MoEのホット専門家適応キャッシュを掲げています[5]。よく使われる専門家だけを速い場所に置き、使われない専門家へはアクセスを絞る発想です。トークンの内容によって専門家選択が変わるMoEでは、キャッシュの当たり外れが推論速度に直結します。この種のオプション設計が、実運用の安定性を左右しそうです。
ただし、素材には実測TPSやprefill速度、消費電力の数値は見つかりませんでした。LLaMA-MoEの3.0〜3.5Bという数字は、あくまで活性パラメータです[2]。zilongがCUDA前提であることも、ローカル環境の制約になります[3]。hnの議論は1ポイントで、まだ結論が出ていないようです[1]。この点は、hnの小さなスレッドより、実装リポジトリの細かな項目を試した結果から読み取れます。つまり「MoEが軽い」は、専門家選択とキャッシュ設計が整って初めて効く話です。
結局、llama.cpp MoEの現在地は「モデルを載せる」から「専門家を選ぶ」へ移ったように見えます。LLaMA-MoEが構築の型を示し、zilongがllama.cpp互換の入口を作り、hotcacheが実行時の賢さを探っています[2][3][5]。オフロードの–n-cpu-moeやストリーミングも、そのための調整弁です[5]。次の注目点は、どの環境で何トークン/秒出るかではなく、どの専門家キャッシュ戦略が安定するかでしょう。その答えは、llama.cpp本体と周辺リポジトリの差分に現れそうです。
引用ソース
- [1] Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/
If llama.cpp enables MoE to activate multiple experts
- [2] Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe
📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
– Partition LLaMA’s FFN - [3] Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe
A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
sudo apt update
sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu - [4] Web記事 Web検索: Performant local mixture-of-experts CPU inference with GPU acceleration … — https://huggingface.co/blog/Doctor-Shotgun/llamacpp-moe-offload-guide
Performant local mixture-of-experts CPU inference with GPU acceleration …
- [5] Web記事 Web検索: llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained — https://www.shawnmayzes.com/ai-engineering/llama-cpp-moe-expert-offload-explained/
llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained
- [6] Web記事 Web検索: GitHub – ap03906101/moe-hotcache: Adaptive hot-expert caching for MoE … — https://github.com/ap03906101/moe-hotcache
GitHub – ap03906101/moe-hotcache: Adaptive hot-expert caching for MoE …
- [7] Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0
Guide to optimizing inference performance of large MoE models across …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS