続・MoEスマホストリーミング追跡:エキスパートのディスク読み込みで速度2倍

📌 エグゼクティブサマリー
スマホやノートPCで大型MoEを動かす試みが進み、llama.cpp上の新ツールが登場しました。エキスパートをRAMやディスクから必要な分だけ読む手法が広がり、8GB GPUでも35Bモデルが動き、概ね2倍の速度向上の報告もあります。

スマホ1台で、巨大なMoEモデルをそのまま動かす。そんな試みがまた動き出しています。Hacker Newsには「llama.cppの上に層を重ねて、スマホとラップトップで大型MoEのストリーミングを可能にする」という投稿が上がりました[1]。MoE(混合エキスパート)は、モデル内部に多数の専門家ネットワークを用意し、各トークンの計算で必要な一部だけを動かす仕組みです。前回に引き続き、この流れのその後を追います。

まず、なぜMoEが小型デバイスの希望なのか。MoEモデルは「合計パラメータ」と「同時に動くパラメータ」の2つの数字で語られます[2]。DeepSeek V3は合計671Bパラメータですが、1回の計算で動くのは37Bだけです[2]。Qwen3-Coderの30Bモデルなら、同時に動くのはわずか3Bです[3]。ただし構造を見ると、話は単純ではありません。attention(文脈を読み取る計算)や共有エキスパートなど、毎回必ず使う「常時稼働」部分があります。その一方で、モデルのサイズの大半を占めるのは、トークンごとに選ばれるエキスパートです[2]。使わないエキスパートも、どこかに置いておかねばなりません。

ローカルで巨大MoEを動かす詳細ガイドも公開されています。冒頭は「必要なのは、事前に十分なRAMをダウンロードしておくこと」という冗談です[2]。基本戦略はGPUとCPUの分担です。毎トークンで使う常時稼働部分は最速のGPUに置き、大半を占めるエキスパートはCPU側に置きます[2]。量子化(重みを圧縮してメモリを節約する仕組み)したモデルが、RAMとVRAMの合計に収まることが前提です[2]。そこに、会話履歴を保持するKVキャッシュやOSの分まで余裕を見込んでおく、と解説されています[2]。具体例として、GLM-4.7の量子化モデルに、エキスパートだけをCPUに回す指定を加えた起動コマンドまで示されています[2]。

llama.cpp側の道具も整っています。「最初のN層分のエキスパート重みをシステムRAMに置く」というオプション(–n-cpu-moe)がそれです[3]。Nを増やせばVRAMは節約できる代わりにCPUの仕事が増え、減らせば速くなります。つまりこれは最適化ではなく、速度とメモリ余裕を層ごとに交換する「調整ノブ」です[3]。適切な値は、メモリ不足で起動に失敗しないぎりぎりの水準だとされます[3]。効果は実体験にも表れています。XDAの執筆者は、ラップトップの8GB GPUで設定を1つ変えただけで35Bモデルが動くようになったと報告しています[5]。

さらに新しい流れが「ディスクからのストリーミング」です。エキスパートをRAMに事前読み込みせず、必要になった時点でディスクから直接読みに行く発想です[3]。ポイントはタイミングです。どのエキスパートを使うか決めるルータの判断は、現在の層のattention計算より先に終わります。この隙間を窓として使い、次の層に必要なエキスパートを計算中に読み込んでおけるのです。あるプロジェクトの議論では、この読み込みと計算の重ね合わせで、全部を事前読み込みする方式より概ね2倍のスループット(単位時間あたりの処理量)が示されています[3]。すでに少なくとも5つの独立した実装が動いているようです[3]。RAMが限られるスマホほど、この方式の意味は大きくなると思われます。

しかし、過熱しすぎない見方も必要です。冒頭のShow HN投稿は、執筆時点で1ポイント・コメント0件と、まだほとんど注目を集めていません[1]。2倍という数値も特定プロジェクトの議論によるもので、幅広い環境での検証はこれからです。研究の側では、モバイル上のMoEをスケールさせるという題のMobileMoEが、NeurIPSでポスター発表され、arXivでも公開されるなど、学術的な検討が始まったばかりです[6][5]。MoE推論の最適化を図るllama.moeというライブラリも現れています[4]。

ツール、ガイド、実体験、研究と、一連の動きが示すのはエコシステムの形成です。生成AIのローカル推論は、高性能GPUを持つ人だけの話ではなくなりつつあります。モデル全体をRAMに収めなくてもよくなれば、扱えるモデルの上限が一段引き上がる可能性もあります。セットアップの負担を下げる道具が増えるほど、スマホやノートPCでの実験も広がると思われます。次に注目したいのは、ディスク読み込みの重ね合わせが実用レベルでどこまで速度を出せるか、という点です。