「専門家」を全部動かさない、という発想が広がっています。AIを自分の環境で動かすローカル推論で、llama.cppのMoEが話題になりました。MoEはMixture of Expertsの略です。入力ごとに、一部の「専門家」だけを使う仕組みです。FlashAttentionは、注目箇所の計算を速くする実装です。量子化は、重みを圧縮してメモリを節約する仕組みです。これらの設定やバージョンの差が、実行のしやすさを左右したようです。Hacker Newsには「llama.cppがMoEで複数の専門家を作動させるなら」という投稿がありました [1]。反応は1ポイント、コメント0件です。前回は複数専門家とキャッシュを追いました。今回は、専門家を実行メモリから逃がす仕組みと、試せる形に近づいた点を見ます。
注目されているのは、専門家の「オフロード」です。専門家を実行メモリに常駐させず、CPUへ逃がす操作を指します。解説記事では、専門家をCPU側に置く割合を決める設定(–n-cpu-moe)が鍵だと説明されています [4]。もう一つの鍵は、ストリーミング読み込みです。モデル全体を一度に読み込まず、必要な部分から順に流し込む方式です。実装ガイドも、効率と性能の両立の観点から、専門家選択とメモリ配置を整理しています [6]。ポイントは、全パラメータをGPUに載せなくても動く設計です。
LLaMA-MoEは、LLaMAのFFN(データを変換する中間の層)を分割して、疎な専門家を作ったモデルです [2]。疎とは、全部ではなく一部だけを使うことです。各層には、上位K個の専門家を選ぶtop-Kゲートが挿入されました [2]。学習は、既存の重みとデータを引き継ぐ継続事前学習です。重みはSheared LLaMA、データはSlimPajamaが使われ、FlashAttention-v2で高速化しています [2]。動いているパラメータは3.0〜3.5Bで、デプロイや研究に向くとされています [2]。論文では、この構築手順と評価が整理されています [4]。GitHubの検索結果でも、同じプロジェクトが確認できます [4]。MoEの利点は、「総パラメータは大きく、使う量は小さい」ことです。それをLLaMA系で再現しています。
専門家の作り方にも、いくつかの方法があります。ランダム、クラスタリング、共活性グラフ、勾配を使う方式です [2]。共活性グラフは、一緒に使われやすいニューロン同士のつながりを見る手法です。ゲートは、TopK Noisy GateとSwitch Gatingが用意されています [2]。学習時には、ゲートの負荷や重要度、損失に加え、速度や効率の指標も監視できます [2]。ゲートが偏ると、一部の専門家だけ忙しくなります。だからこそ、監視項目が重要です。READMEには、動かすための短い例もあります。モデルはbfloat16という数値形式で読み込み、外部コードの実行を許可します [2]。入力文は「Suzhou is famous of」で、生成のランダムさを0に抑える設定です [2]。生成結果は「Suzhou is famous of its beautiful gardens.」と続きます [2]。この例は、MoEモデルが通常のLLMと同じように推論できることを示します。ただし、動作例であり、速度の保証ではありません。
llama.cppを土台にした専用フレームワークも現れています。llama.moeは、MoE推論向けに動的な専門家オフロードを組み込んだ軽量基盤です [3]。ビルドにはCUDA(GPU向けの開発環境)と、いくつかの関連ツールが必要です [3]。セットアップは、専用リポジトリを取得し、llama.cppを構築してから整える流れです [3]。使い方はllama-serverと同じで、起動コマンドを置き換えるだけです [3]。実行例のスクリプトも示されています [3]。検索結果にも同じGitHubが挙がっており、注目度が見えます。
専門家を選ぶ仕組みは、モデル側にもあります。Hugging Faceには、MoEでどの専門家を動かすかを管理する方法をまとめた資料があります [4]。どの専門家を選ぶか、重みをどう分配するかは、推論の速さと品質に直結します。llama.cpp側のオフロード設定と、モデル側のゲート設計が噛み合って、ローカル実行が現実的になります。実装ガイドでは、効率と性能を両立する設計が、アーキテクチャの話として整理されています [6]。ゲートの重み付けが崩れると、品質が落ちる恐れもあります。
ただし、具体的なTPSや消費電力の実測値は見つかりませんでした。速度はGPU枚数、VRAM、量子化、RAMの分担に大きく依存します。HNの反応が小さいことも、検証が薄いことをうかがわせます。オフロードの設定値を大きくすれば、GPUメモリは節約できます。しかし、CPUとGPUの往復が増えると、待ち時間が生まれる恐れがあります。PCIe(GPUとCPUをつなぐ回路)の帯域やメモリ量も効いてきます。オフロードは、メモリと速度のどちらを優先するかを決める操作です。
それでも、llama.cpp MoEの話題は「動かす」から「どう動かすか」へ変わっています。専門家オフロード、ストリーミング読み込み、動的ゲート、監視項目が揃い、ローカル推論の設計図が見えてきました。LLaMA-MoEの3.0〜3.5Bという数字は、研究と実用の中間をねらったものと思われます。今後は、オフロード設定の具体的な値と、モデルごとの実測差が知りたいところです。設定値と実測値が積み上がれば、MoEの使いどころが見えそうです。
引用ソース
- Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/
If llama.cpp enables MoE to activate multiple experts
- Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe
📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
– Partition LLaMA’s FFN - Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe
A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
sudo apt update
sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu - Web記事 Web検索: llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained — https://www.shawnmayzes.com/ai-engineering/llama-cpp-moe-expert-offload-explained/
llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained
- Web記事 Web検索: How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts — https://huggingface.co/DavidAU/How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts/blob/main/README.md
How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts
- Web記事 Web検索: Mixture of Experts (MoE) 実装ガイド – 効率と性能を両立する次世代LLMアーキテクチャ — https://agenticai-flow.com/posts/mixture-of-experts-implementation-guide/
Mixture of Experts (MoE) 実装ガイド – 効率と性能を両立する次世代LLMアーキテクチャ
- Web記事 Web検索: LLaMA-MoE: Building Mixture-of-Experts – arXiv.org — https://arxiv.org/html/2406.16554v1
LLaMA-MoE: Building Mixture-of-Experts – arXiv.org
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS