llama.cppのMoEオフロード、8GB GPUで35Bモデルが動き出す

📌 エグゼクティブサマリー
VRAM 8GBのノートGPUで35Bモデルを動かすMoEオフロード手法が注目されています。MoEは推論で動く部分が約3Bと少なく、待機エキスパートをRAMへ置けばVRAMの壁を越えられます。スマホ向けの拡張レイヤー投稿や実践ガイドも出てきました。

「VRAM 8GBのノートPCでは、35Bモデルは無理」——そう思い込んでいた壁を、設定の工夫だけで越えたという報告が相次いでいます。Hacker Newsには、llama.cppの上に層を重ねてスマホやノートPCで巨大なMoEモデルを動かす「BigMoeOnEdge」というプロジェクトが投稿されました[1]。MoE(Mixture-of-Experts、入力に応じて複数の専門家ネットワークのうち一部だけを動かす構造)なら、メモリの少ない機材でも大きなモデルを扱える可能性があります。

グラフ: 同一ワークステーションでのdecode速度の比較(以前取り上げた実測)

わかりやすいのが、XDAのライターによる実験です。著者は8GBのRTX 3070 Mobileを搭載したLenovo Legion 5を使いました。16GBのRTX 4070 Ti Superで動かしているモデルの一部は、このノートPCでは「最初から対象外」と決めつけていたと明かしています[2]。PCの動作はVRAMの容量に左右されがちで、ゲームも動画編集も例外ではない——そう述べた上で、著者はローカルAI推論には回避策があるとしています[2]。環境をOllamaからllama.cppへ移し替えて各機能を試す中で、VRAMの少ないシステムを最適化できることに気づいたといいます[2]。

記事全文: I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B ... — 画像出典: 記事全文: I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B …

デスクトップのRTX 4070 Ti Superでは、Qwen3.6-35B-A3Bがテストした中で最速でした。量子化はIQ4_XSという型(重みを圧縮してメモリを節約する仕組み)で、コンテキストは32Kです。17.7GBのモデルファイルが16GBのVRAMに収まるはずがありません。しかしMoEでは、35Bのうち推論で動くのは約3Bで、残りは待機しています。待機のエキスパート層をシステムRAMへ移し、常時動く部分だけGPUに置けば、数字上の壁を越えられます[2]。

具体的な指定は2段階です。まず全層をGPUへ載せ、その上でエキスパート部分だけを前からN層分RAMへ戻します。この指定が–n-cpu-moeというフラグです[2]。こうした手法の解説も増えています。aliteqはVRAMより大きいローカルAIモデルを動かすオフロードガイドを公開しました[4]。Hugging Faceのブログには、GPUアクセラレーションと組み合わせてMoEのCPU推論を速くするガイドが投稿されています[5]。大規模MoEモデルの推論性能を最適化する手順をまとめたGistもあり[6][7]、llama.cppのMoEアーキテクチャを解説するDeepWikiのページも作られています[8]。

以前取り上げたのは、llama.cppのMoE層でスマホや省スペース機に巨大モデルを載せる試みです。RTX 3060を2枚、Xeon E5-2696 v4、RAM 256GBのワークステーションで実測が行われました。decode(トークンを1つずつ生成する段階)の速度は、DeepSeek V4.1 Flashで約11.1トークン/秒でした。GLM 5.3 Flashでは約55〜60トークン/秒です。prefill(プロンプト全体を一括処理する段階)は約1,100〜1,500トークン/秒を記録しています。prefillの速度は、長いプロンプトやコードベースの取り込みの速さを左右します。また、llama.cpp-moe-streaming-coreというリポジトリが公開されています。そのREADMEは、依存ライブラリなしのC/C++実装やApple silicon向け最適化といったllama.cpp本来の説明を掲げています[3]。llama.cppを土台に拡張を重ねる試みが増えていることがうかがえます。

記事全文: llama.cpp-moe-streaming-core/README.md at main - GitHub — 画像出典: 記事全文: llama.cpp-moe-streaming-core/README.md at main – GitHub

しかし、まだ道半ばです。Hacker Newsの投稿は現時点で1ポイント・コメント0件で、注目はこれからです[1]。どの機材でどの速度を出せたかの実測値も、投稿からは確認できませんでした[1]。XDAの記事も、8GBノートでの動作を「妥当な速度」と表現するにとどまり、具体的な速度の数値は載っていません[2]。RAMに置いた層の扱い次第で速度が変わるため、層の配分などの調整が不可欠のようです。最適化手順を解説するガイドが複数出ていることからも、設定が自明でないことはわかります[5][6]。

MoEの「使う部分だけ動く」性質が、VRAM容量という固定の壁をRAMとの分担で崩しつつあります。専用レイヤー[1]と実践ガイド[4][5]が揃ってきました。エッジデバイスでの大規模モデル実行は、特殊な実験から選択肢の一つになりつつあるようです。スマホでの実測報告が増えるかどうかが、次の注目点になりそうです。