スマホで巨大MoEを動かす、llama.cpp上の新レイヤーが登場

スマホのメモリにはとても入りきらないはずの、巨大なMoEモデル。それを必要な部分だけ流し込んで動かす試みが、Hacker Newsに投稿されました。

投稿は、自分の作品を披露する「Show HN」という形式で、内容は「llama.cppの上に層を重ね、スマホとノートPCで大きなMoEのストリーミングを可能にする」というものです[1]。リポジトリ名はBigMoeOnEdgeで、手元の機器(エッジ端末)で巨大モデルを動かす狙いがうかがえます。MoEとは、モデル内部の専門家に当たる部分のうち、その瞬間に必要な一部だけを計算に使う構造です。llama.cppの上に重ねる形なので、既存の最適化をそのまま生かせる点も強みになりそうです。

MoEは、総パラメータは巨大でも、一度に動く部分はごく一部です。そこで「使うときに必要な重みを都度読み込む」方式が工夫されてきました。今回のストリーミングも、その系統の試みと思われます[1]。全体を端末に置かず、必要な部分だけを送り込むことで、大きなモデルでも動くようにする発想です。エッジ端末は、サーバーに比べてメモリも小さく、置けるモデルのサイズが限られます。仕組みの詳細は投稿だけではつかめませんが、スマホとノートPCの両方を対象にしている点が特徴です。

土台となるllama.cppは、依存ライブラリのない純粋なC/C++製のローカル推論エンジンです。幅広いハードウェアで、最小限の準備と高い性能での推論を目指しています[2]。Apple Siliconは第一級の対象として最適化されています[2]。x86向けの拡張命令にも対応し、ブラウザからGPUを使うWebGPU対応まで進んでいます[2]。モデル形式GGUF(モデルを配布するためのファイル形式)も、Hugging Faceの推論エンドポイントでそのまま扱えるようになりました[2]。gpt-ossモデルへの対応や、llama-serverのマルチモーダル(画像なども扱える)対応も加わっています[2]。

記事全文: llama.cpp-moe-streaming-core/README.md at main - GitHub — 画像出典: 記事全文: llama.cpp-moe-streaming-core/README.md at main – GitHub

同じ方向の実体験報告もあります。XDAの筆者は、llama.cppの指定をひとつ変えただけで結果が変わったと報告しています[6]。8GBのノートPC用GPUが、35Bモデルを動かせるようになったといいます。35Bクラスともなると、8GBのGPUに全部は収まりません。変更の内容は、MoEの層をGPUからRAM側へオフロードする指定です。オフロードとは、計算の担当を別のメモリや装置へ移すこと。通常のモデルなら速度は落ちますが、MoEなら一度に使う層が限られるため、影響が小さいと考えられます。筆者はこの経験を「8GB GPUが小さすぎると思うのはやめた」と題して伝えています。RAM側へ層を逃がす方法を知ったことで、GPU容量の心配が減った、という趣旨です。

研究の側でも、小さいハードウェアでMoEを動かす工夫が積み重なっています。費用対効果の高いMoE推論を目的としたPyTorchライブラリ「MoE-Infinity」[4]。コンシューマー向けGPUでの効率的なMoE推論を示す「MoBiLE」[6]。精度を状況に応じて変える推論システム「MoE-APEX」[6]。大規模MoEモデルの推論性能を最適化するガイドも公開されています[5]。いずれも、限られたメモリでMoEをどう回すかという共通の課題に向かっているようです。

ただし、今回の投稿そのものへの評価は、まだ始まったばかりです。Hacker Newsでのスコアは1ポイント、コメントは0件です[1]。どのモデルを、どの端末で、どの速度で動くのかも、現時点では読み取れません[1]。ツール紹介サイトの情報も薄く、料金は未確認のままで、レビューもまだ付いていません[3]。挙がっている機能も「AIアシスタント」「自然言語インターフェース」といった一般的なラベルにとどまります[3]。さらに、今回の素材には実測のTPS(1秒あたりの生成トークン数)などの数値は見つかりませんでした。動くかどうかと、快適に動くかは別問題です。

画像出典: 記事全文: A layer on top llama.cpp enabling big MoE streaming on phone and laptop

それでも、方向性ははっきりしてきました。MoEの「必要な部分だけ計算する」構造は、メモリの小さい端末と相性がよくあります。だからこそ、研究から個人の試みまでが同じ方向を向いているのです。今回のレイヤーが実測の数値を示せるかが、次の関門になりそうです。実測の報告が増えれば、スマホでも大きなモデルが現実的な選択肢になるかもしれません。

引用ソース

Hacker News Hacker News: Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop — https://github.com/Helldez/BigMoeOnEdge

Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop
Web記事 記事全文: llama.cpp-moe-streaming-core/README.md at main – GitHub — https://github.com/bigA151/llama.cpp-moe-streaming-core/blob/main/README.md

LLM inference in C/C++
– Hugging Face cache migration: models downloaded with -hf are now stored in the standard Hugging Face cache directory, enabling sharing with other HF tools.
– guide : using the new WebUI of llama.
Web記事 記事全文: A layer on top llama.cpp enabling big MoE streaming on phone and laptop — https://www.toolcenter.ai/en/tools/a-layer-on-top-llama-cpp-enabling-big-moe-streamin

Pricing
Detailed plans have not been confirmed in our catalog. Check the official website for current limits and billing terms.
Visit Website
Prices and limits may change. Confirm the currency, billing period, seat minim
Web記事 Web検索: GitHub – EfficientMoE/MoE-Infinity: PyTorch library for cost-effective … — https://github.com/EfficientMoE/MoE-Infinity/

GitHub – EfficientMoE/MoE-Infinity: PyTorch library for cost-effective …
Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0

Guide to optimizing inference performance of large MoE models across …
Web記事 Web検索: MoBiLE: Efficient Mixture-of-Experts Inference on Consumer GPU with … — https://arxiv.org/pdf/2510.12357

MoBiLE: Efficient Mixture-of-Experts Inference on Consumer GPU with …
Web記事 Web検索: MoE-APEX: An Efficient MoE Inference System with Adaptive Precision … — https://dl.acm.org/doi/10.1145/3779212.3790187

MoE-APEX: An Efficient MoE Inference System with Adaptive Precision …
Web記事 Web検索: I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B … — https://www.xda-developers.com/i-stopped-thinking-my-8gb-gpu-was-too-small-after-learning-to-offload-moe-llm-layers-to-ram/

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。