続報：llama.cpp MoE対応、専門家をディスクから“流す”新段階へ

30BクラスのMoEモデルが、16GBのGPUで動きます。そんな工夫が、ローカルAI推論の定番ツール・llama.cppで現実のものになっています。さらに今は、専門家の重みをディスクから“流し込む”方式まで登場しました[2]。VRAM(GPUのメモリ)節約の設定は以前お伝えしましたが、今回はその先の話です。

MoE(Mixture of Experts)は、トークンごとに一部の「専門家」ネットワークだけを動かす仕組みです。ローカルで動かす魅力はここにあります。重みは巨大でも、同時に動く部分は小さくて済むからです。例えばQwen3-Coderの30Bモデルは、一度に活性化するのはわずか3Bです[2]。ところがllama.cppは、使わない専門家も含めて全重みをどこかに置く必要があります。16GBや24GBの環境では、この「置き場所」こそが最大の壁でした[2]。

現時点で使えるのが、専門家の重みをGPUではなくシステムRAMに逃がす指定です。最初のN層分の専門家の重みをRAMに置く「–n-cpu-moe」というオプションで調整します[2]。Nを大きくすればVRAMは節約できる代わりに、CPUの仕事が増えます。小さくすれば専門家がGPUに残り、生成が速くなります。解説記事[2]はこれを「ノブであって最適化ではない」と表現します。層ごとに速度と余裕を交換する、調整の道具だというわけです。

効果は具体的です。attention(トークン間の関係を見る処理)と、トークンごとの活性計算はGPUに残します。専門家の重みの一部だけを、システムRAMへ逃がします。これだけで30BクラスのMoEが16GBのカードでロードできます[2]。専門家の全量をVRAMに載せられない環境では、この値の探り方がそのまま実力を左右します。ただし代償は生成速度(トークン/秒)に直接現れます。適切なNとは「OOM(メモリ不足によるロード失敗)で落ちないギリギリの値」です。それより小さな値は選ばない、と記事は強調します[2]。

ここからが新しい動きです。専門家を事前にRAMへ載せず、ディスクから必要な分だけ読む「ストリーミング」です。機能要望に加え、独立した実装だけでも少なくとも5つが存在します[2]。事前ロードしないぶん、VRAMもRAMも専門家の全量を抱えなくて済むはずです。鍵はタイミングです。専門家を選ぶ「ルーター」(振り分け役)は、必要な先を早めに算出できます。その判定は、現在の層のattention計算が終わる前に済みます。この隙間が先回り読み込み(プリフェッチ)の窓になり、次の層の専門家を計算中にディスクから取得できます。あるプロジェクトの議論では、全量を事前ロードする方式比で処理速度(スループット)が約2倍になると引用されています[2]。

個別の試みも進んでいます。Hacker Newsには「BigMoeOnEdge」というShow HN(Hacker Newsの作品紹介投稿)が現れました。llama.cppの上に層を重ねる構成です。スマホとノートPCで大型MoEのストリーミングを可能にします[1]。手元の小さな機器で大型モデルを流す発想です。GitHubではjklincn氏のllama.moe(zilong)も公開されています。llama.cppベースの軽量推論フレームワークで、専門家を状況に応じてGPUの外へ退避させる「動的オフロード」を組み込んでいます[4]。ビルドにはCUDA(NVIDIA製GPUで動かすための環境)が必要です。使い方はllama-serverと同じで、起動コマンドをzilongに置き換えるだけです。セットアップの手間が小さい点は、試しやすさにつながります。

一方で、この流れはまだ初期段階です。ストリーミングは本家llama.cppに取り込まれた機能ではなく、機能要望と複数の独立実装が並走する状態です[2]。約2倍という数値も、ある一つのプロジェクトの議論から引用されたものです。複数の環境で結果がそろうまでは、楽観しすぎないほうがよさそうです。Hacker Newsでの反応も小さく、BigMoeOnEdgeの投稿は1ポイント・コメント0件でした[1]。複数専門家の活性化をめぐる別の議論も、同様に静かな出足です[3]。実装が乱立する今、どの方式が速くて安定するかの答えは、まだ共有されていません。

そんな中、知見をまとめた資料も増えています。Hugging FaceブログにはGPU支援つきのローカルMoE・CPU推論ガイドが投稿され[6]、VRAMを節約してより大きなモデルを動かすガイド[5]、大規模MoEの推論性能を最適化するガイド[8]も公開されました。llama.cppのフォーク(派生版)を対象にしたMoEアーキテクチャの解説も整備されています[7]。MoEのローカル推論は、もはや「全部VRAMに載せるか諦めるか」の二択ではありません。層ごと、専門家ごとに置き場所を設計する段階に入っています。専門家をRAMへ逃がす指定が16GB環境の扉を開き、ストリーミングが実用化すればディスク速度まで含めた総合設計が問われるでしょう[2]。5つ以上の実装が競う中で、どれが本家に取り込まれるかが次の節目になりそうです。視野はスマホやノートPCまで広がりました。「家で動くモデルの上限」は、まだソフト側の工夫で伸びそうです。