Let's take a drive.

RAMに入りきらない巨大MoEモデルを、スマホやノートPCで動かす。そんな挑戦が、Hacker Newsの「Show HN」(自作プロジェクトを披露する投稿形式)に現れました[1]。中身は「BigMoeOnEdge」というプロジェクトで、llama.cppの上に被せる層として実装されています[1]。

MoE(Mixture of Experts)は、多数の「専門家」ネットワークの中から、入力に合う一部だけを選んで計算する構造です。ここに目を付けると、使う専門家の部分だけを都合よく読み込めば、モデル全体をメモリに置く必要がなくなります。BigMoeOnEdgeはこの考え方で、「RAMより大きなMoEモデルをスマホでストリーミングする」と報じられています[6]。

この流れは、単発の投稿では済んでいないようです。土台のllama.cppは「最小のセットアップで幅広いハードウェア上の推論」を掲げ、依存ライブラリなしの素のC/C++実装で、Apple Siliconを第一級として扱ってきました[2]。消費者向けマシンでのAI推論を重視する土台があるからこそ、ローカルで巨大MoEを動かす試みが周辺に集まってきたと思われます。llama.cpp側にも「moe-streaming-core」と名打ったリポジトリが現れ、gpt-ossモデルの新しい量子化形式への対応や、マルチモーダル対応のllama-server、ブラウザで動くWebGPU対応など、本体の進化を下敷きにした内容が説明されています[2]。

ノウハウの整理も進んでいます。MoEの専門家層をCPU側に置いてGPUのVRAMを節約する指定(–n-cpu-moe)の解説[6]をはじめ、CPU推論にGPUで補助するガイド[4]、VRAMを節約してより大きなモデルを動かすガイド[5]、大規模MoEの推論性能を詰めるガイド[6]と、オフロード(モデルの役割分担)の手法が相次いで記事になっています。

具体的な実測値を出しているのがProject Mayaです。これは、llama.cppから派生したStrataのさらなる分岐として生まれたプロジェクトです[3]。DeepSeek V4.1 FlashやGLM 5.3といった巨大MoEを、「本来ならprefill速度やコンテキスト処理で詰まってしまうマシン」で動かすことを目的としています[3]。prefillとは、プロンプト全体を一括処理する段階のことです。テスト機はDell Precision T5810で、RTX 3060を2枚、Xeon E5-2696 v4(22コア/44スレッド)、RAM 256GBという構成です[3]。このマシンでDeepSeek V4.1 Flashが約11.1トークン/秒、GLM 5.3 Flashが約55〜60トークン/秒を出しました[3]。prefillは長いプロンプトやコードベースの取り込み速度を左右しますが、約1,100〜1,500トークン/秒を記録しています[3]。コンテキストはセッションによって最大100万トークンに達したといいます[3]。

比較の材料もあります。同じDeepSeekのチェックポイントを標準llama.cppでUD IQ1Mという1ビット級の量子化(重みを圧縮してメモリを節約する仕組み)で動かすと約250GBになり、同じハードでも出力が明らかに遅いといいます[3]。差の正体は計算能力ではなく、実行の仕組みのほうにある、というのが作者側の見方です[3]。

しかし、盛り上がりには温度差があります。BigMoeOnEdgeのShow HN投稿は、1ポイント・コメント0件と静かな反応にとどまっています[1]。大胆な主張の割に、第三者の検証や議論はまだ見えてきません。実測が出ているProject Mayaも、舞台はRAM 256GBのワークステーションで、「スマホ」と「巨大MoE」の間にはまだ大きな溝があるようです[3]。さらに、こうした試みが本流のllama.cppではなく、派生や上乗せ層の形で進んでいる点も気になります。派生ごとに独自の量子化形式が生まれる構図で、知見が本流に還流するかはまだわかりません[3]。

それでも方向性ははっきりしてきました。MoEの「必要な専門家だけ計算する」構造を、メモリに載らないモデルのストリーミングに活かす発想は、ガイド類の整備[4][5][6][6]と派生プロジェクトの実測[3]で少しずつ具体化しています。次に注目したいのは、スマホでの実証が実際に共有されるか[1][6]、そして派生の工夫が本流に取り込まれるか、の2点です。

引用ソース

1. Hacker News Hacker News: Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop — https://github.com/Helldez/BigMoeOnEdge
   

   Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop

2. Web記事 記事全文: llama.cpp-moe-streaming-core/README.md at main – GitHub — https://github.com/bigA151/llama.cpp-moe-streaming-core/blob/main/README.md
   

   LLM inference in C/C++
   – Hugging Face cache migration: models downloaded with -hf are now stored in the standard Hugging Face cache directory, enabling sharing with other HF tools.
   – guide : using the new WebUI of llama.

3. Web記事 記事全文: Project Maya Explained: The Llama.cpp Fork Running Huge MoE Models at … — https://www.mindstudio.ai/blog/project-maya-fork-strata-llama-cpp
   

   What is Project Maya?
   Project Maya is a fork of Strata, which is itself a hybridized fork of llama.cpp. It’s built specifically to run very large mixture-of-experts (MoE) models, like DeepSeek V4.1 Flash and GLM 5.3, on

4. Web記事 Web検索: Performant local mixture-of-experts CPU inference with GPU acceleration … — https://huggingface.co/blog/Doctor-Shotgun/llamacpp-moe-offload-guide
   

   Performant local mixture-of-experts CPU inference with GPU acceleration …

5. Web記事 Web検索: Run Bigger Local AI Models on Less VRAM: llama.cpp MoE Offloading Guide … — https://aliteq.com/llama-cpp-moe-offloading-run-bigger-models-less-vram
   

   Run Bigger Local AI Models on Less VRAM: llama.cpp MoE Offloading Guide …

6. Web記事 Web検索: llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained — https://www.shawnmayzes.com/ai-engineering/llama-cpp-moe-expert-offload-explained/
   

   llama.cpp's MoE Expert Offload: –n-cpu-moe and Streaming, Explained

7. Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0
   

   Guide to optimizing inference performance of large MoE models across …

8. Web記事 Web検索: BigMoeOnEdge Streams MoE Models Larger Than RAM on Phones — https://letsdatascience.com/news/bigmoeonedge-streams-moe-models-larger-than-ram-on-phones-052a7b6a
   

   BigMoeOnEdge Streams MoE Models Larger Than RAM on Phones

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

• Tweet