続報・llama.cppのMoE層、スマホで巨大モデルを動かす試みと実測値

📌 エグゼクティブサマリー
llama.cppの上に巨大MoEをスマホでストリーミングする層「BigMoeOnEdge」がHacker Newsに投稿されました。派生Project MayaはRTX 3060×2・RAM 256GBでDeepSeek V4.1 Flashを約11.1トークン/秒で動かしています。ただしHNの反応はコメント0件で、スマホでの実証はこれからです。

RAMに入りきらない巨大MoEモデルを、スマホやノートPCで動かす。そんな挑戦が、Hacker Newsの「Show HN」(自作プロジェクトを披露する投稿形式)に現れました[1]。中身は「BigMoeOnEdge」というプロジェクトで、llama.cppの上に被せる層として実装されています[1]。

MoE(Mixture of Experts)は、多数の「専門家」ネットワークの中から、入力に合う一部だけを選んで計算する構造です。ここに目を付けると、使う専門家の部分だけを都合よく読み込めば、モデル全体をメモリに置く必要がなくなります。BigMoeOnEdgeはこの考え方で、「RAMより大きなMoEモデルをスマホでストリーミングする」と報じられています[6]。

この流れは、単発の投稿では済んでいないようです。土台のllama.cppは「最小のセットアップで幅広いハードウェア上の推論」を掲げ、依存ライブラリなしの素のC/C++実装で、Apple Siliconを第一級として扱ってきました[2]。消費者向けマシンでのAI推論を重視する土台があるからこそ、ローカルで巨大MoEを動かす試みが周辺に集まってきたと思われます。llama.cpp側にも「moe-streaming-core」と名打ったリポジトリが現れ、gpt-ossモデルの新しい量子化形式への対応や、マルチモーダル対応のllama-server、ブラウザで動くWebGPU対応など、本体の進化を下敷きにした内容が説明されています[2]。

ノウハウの整理も進んでいます。MoEの専門家層をCPU側に置いてGPUのVRAMを節約する指定(–n-cpu-moe)の解説[6]をはじめ、CPU推論にGPUで補助するガイド[4]、VRAMを節約してより大きなモデルを動かすガイド[5]、大規模MoEの推論性能を詰めるガイド[6]と、オフロード(モデルの役割分担)の手法が相次いで記事になっています。

具体的な実測値を出しているのがProject Mayaです。これは、llama.cppから派生したStrataのさらなる分岐として生まれたプロジェクトです[3]。DeepSeek V4.1 FlashやGLM 5.3といった巨大MoEを、「本来ならprefill速度やコンテキスト処理で詰まってしまうマシン」で動かすことを目的としています[3]。prefillとは、プロンプト全体を一括処理する段階のことです。テスト機はDell Precision T5810で、RTX 3060を2枚、Xeon E5-2696 v4(22コア/44スレッド)、RAM 256GBという構成です[3]。このマシンでDeepSeek V4.1 Flashが約11.1トークン/秒、GLM 5.3 Flashが約55〜60トークン/秒を出しました[3]。prefillは長いプロンプトやコードベースの取り込み速度を左右しますが、約1,100〜1,500トークン/秒を記録しています[3]。コンテキストはセッションによって最大100万トークンに達したといいます[3]。

比較の材料もあります。同じDeepSeekのチェックポイントを標準llama.cppでUD IQ1Mという1ビット級の量子化(重みを圧縮してメモリを節約する仕組み)で動かすと約250GBになり、同じハードでも出力が明らかに遅いといいます[3]。差の正体は計算能力ではなく、実行の仕組みのほうにある、というのが作者側の見方です[3]。

しかし、盛り上がりには温度差があります。BigMoeOnEdgeのShow HN投稿は、1ポイント・コメント0件と静かな反応にとどまっています[1]。大胆な主張の割に、第三者の検証や議論はまだ見えてきません。実測が出ているProject Mayaも、舞台はRAM 256GBのワークステーションで、「スマホ」と「巨大MoE」の間にはまだ大きな溝があるようです[3]。さらに、こうした試みが本流のllama.cppではなく、派生や上乗せ層の形で進んでいる点も気になります。派生ごとに独自の量子化形式が生まれる構図で、知見が本流に還流するかはまだわかりません[3]。

それでも方向性ははっきりしてきました。MoEの「必要な専門家だけ計算する」構造を、メモリに載らないモデルのストリーミングに活かす発想は、ガイド類の整備[4][5][6][6]と派生プロジェクトの実測[3]で少しずつ具体化しています。次に注目したいのは、スマホでの実証が実際に共有されるか[1][6]、そして派生の工夫が本流に取り込まれるか、の2点です。