Let's take a drive.

📌 エグゼクティブサマリー
llama.cppのMoEでは、専門家を実行メモリからCPUへ逃がす仕組みが注目されています。LLaMA-MoEは動いているパラメータを3.0〜3.5Bに抑え、専用フレームワークはllama-serverを置き換えるだけで試せます。実測値の不足と、オフロード設定の重要性がわかります。

「専門家」を全部動かさない、という発想が広がっています。ai（人工知能）のローカル推論で、hacker（ハッカー）界隈でもllama.cppのMoEが話題になりました。flash attentionや量子化、セットアップのバージョンの差が、実行のしやすさを左右したようです。Hacker Newsには「llama.cppがMoEで複数の専門家を作動させるなら」という投稿があり、反応は1ポイント、コメント0件でした [1]。前回は複数専門家とキャッシュを追いました。今回は、専門家を実行メモリから逃がす仕組みと、試せる形に近づいた点を見ます。

MoEはMixture of Expertsの略で、入力ごとに一部の専門家だけを使う仕組みです。llama.cppでは、この専門家を実行メモリに常駐させず、CPUへ逃がす仕組みが注目されています。解説記事では、–n-cpu-moeという設定と、ストリーミング読み込みが鍵だと説明されています [4]。実装ガイドも、効率と性能の両立という観点から、専門家選択とメモリ配置を整理しています [6]。ここでのポイントは、全パラメータをGPUに載せなくても動く設計です。ストリーミング読み込みは、モデル全体を一度に読み込まず、必要な部分から流し込む発想です。

LLaMA-MoEは、LLaMAのFFNを分割して疎な専門家を作り、各層にtop-Kゲートを挿入したモデルです [2]。継続事前学習にはSheared LLaMAの重み付けとSlimPajamaのデータを使い、FlashAttention-v2で高速化しています [2]。動いているパラメータは3.0〜3.5Bで、デプロイや研究に向くとされています [2]。GitHubの検索結果や論文でも、同じプロジェクトが確認できます [4]。論文では、この構築手順と評価が整理されています [4]。つまり、MoEの利点である「総パラメータは大きく、使う量は小さい」を、LLaMA系で再現しようとしています。

専門家を作る方法は、ニューロン独立型と共有型に分かれます。ランダム、クラスタリング、共活性グラフ、勾配といった方法が並びます [2]。ゲートもTopK Noisy GateとSwitch Gatingが用意されています [2]。学習時にはゲート負荷、ゲート重要度、損失、TGS、MFUなどが監視できます [2]。単に動くだけでなく、どの専門家を使っているかを追える点が実用的です。ゲートが偏ると一部の専門家だけ忙しくなるため、監視項目は重要です。

READMEには、実際に動かすための短い例もあります。モデルはbfloat16で読み込み、trust_remote_codeを有効にします [2]。入力文は「Suzhou is famous of」で、max_lengthは50、temperatureは0.0です [2]。温度0.0は、再現性を高めるための設定です。生成結果は「Suzhou is famous of its beautiful gardens.」の続きになります [2]。この例は、MoEモデルが通常のLLMと同じように推論できることを示しています。ただし、これは動作例であり、速度の保証ではありません。

llama.cppを土台にした専用フレームワークも現れています。llama.moeはMoE推論向けに、動的な専門家オフロードを組み込んだ軽量基盤です [3]。ビルドにはCUDAが必要で、build-essential、cmake、ccache、libcurl4-openssl-dev、ninja-buildも挙げられています [3]。zilongをcloneし、llama.cppを構築してからuv syncで整えます [3]。使い方はllama-serverと同じで、コマンドをzilongに置き換えるだけです [3]。run_zilong.shのような実行例も示されています [3]。検索結果にも同じGitHubが挙がっており、注目度が見えます 。

専門家を作動させる仕組みは、モデル側だけではありません。Hugging Faceには、MoEの専門家活性化を管理する方法をまとめた資料があります [4]。どの専門家を選ぶか、どう重みを分配するかは、推論の速さと品質に直結します。llama.cpp側のオフロード設定と、モデル側のゲート設計が噛み合って初めて、ローカル実行が現実的になるようです。実装ガイドでは、効率と性能を両立させるための設計が、アーキテクチャの話として整理されています [6]。ゲートの重み付けが崩れると、品質が落ちる恐れもあります。

ただし、素材には具体的なTPSや消費電力の実測値は見つかりませんでした。速度はGPU枚数、VRAM、量子化、RAM分担に大きく依存するため、同じ設定でも結果は変わると思われます。HNの反応が小さいことも、まだ検証が薄いことをうかがわせます。–n-cpu-moeの値を大きくすれば、GPUメモリは節約できます。しかし、CPUとGPUの往復が増えると、待ち時間が生まれる可能性があります。ローカル環境では、PCIeの帯域やメモリ量も効いてきます。オフロードは、メモリと速度のどちらを優先するかを決める操作です。

それでも、llama.cpp MoEの話題は「動かす」から「どう動かすか」へ変わっています。専門家オフロード、ストリーミング、動的ゲート、監視項目が揃い、ローカル推論の設計図が見えてきました。LLaMA-MoEの3.0〜3.5Bという数字は、研究と実用の中間をねらったものと思われます。今後の追跡では、–n-cpu-moeの具体的な値と、モデルごとの実測差が知りたいところです。設定値と実測値が積み上がれば、MoEの使いどころが見えそうです。

引用ソース

1. [1] Hacker News Hacker News: If llama.cpp enables MoE to activate multiple experts — https://www.openai-hub.com/news/1924/
   

   If llama.cpp enables MoE to activate multiple experts

2. [2] Web記事 記事全文: GitHub – pjlab-sys4nlp/llama-moe: ⛷️ LLaMA-MoE: Building Mixture-of … — https://github.com/pjlab-sys4nlp/llama-moe
   

   📢 A SMALLER AFFORDABLE MoE MODEL FOR EVERYONE!!
   LLaMA-MoE is a series of open-sourced Mixture-of-Expert (MoE) models based on LLaMA and SlimPajama. We build LLaMA-MoE with the following two steps:
   – Partition LLaMA’s FFN

3. [3] Web記事 記事全文: GitHub – jklincn/llama.moe: Optimized inference of MoE models based on … — https://github.com/jklincn/llama.moe
   

   A lightweight inference framework for Mixture-of-Experts (MoE) models, built on top of llama.cpp with dynamic expert offloading.
   sudo apt update
   sudo apt install build-essential cmake ccache libcurl4-openssl-dev ninja-bu

4. [4] Web記事 Web検索: llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained — https://www.shawnmayzes.com/ai-engineering/llama-cpp-moe-expert-offload-explained/
   

   llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained

5. [5] Web記事 Web検索: How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts — https://huggingface.co/DavidAU/How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts/blob/main/README.md
   

   How-To-Set-and-Manage-MOE-Mix-of-Experts-Model-Activation-of-Experts

6. [6] Web記事 Web検索: Mixture of Experts (MoE) 実装ガイド – 効率と性能を両立する次世代LLMアーキテクチャ — https://agenticai-flow.com/posts/mixture-of-experts-implementation-guide/
   

   Mixture of Experts (MoE) 実装ガイド – 効率と性能を両立する次世代LLMアーキテクチャ

7. [7] Web記事 Web検索: LLaMA-MoE: Building Mixture-of-Experts – arXiv.org — https://arxiv.org/html/2406.16554v1
   

   LLaMA-MoE: Building Mixture-of-Experts – arXiv.org

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

• Tweet