RAMが12GBのスマホで、284BのAIモデルが動き出しました。生成速度は毎秒0.94トークン。速くはありませんが、CPUだけでの実行です[4]。きっかけは、Hacker Newsに投稿された「BigMoeOnEdge」です。llama.cpp(ローカルAI実行で定番のオープンソースエンジン)の上に層を重ね、スマホやノートPCで巨大なMoEモデルを動かそうという試みです。モデル全体をメモリに載せず、必要な部分だけをその都度読み込む「ストリーミング」方式を取ります。作者が自作を披露する「Show HN」の投稿でした[1]。
なぜストリーミングで動くのか。MoE(専門家混合)モデルは、総パラメータと一度に使うパラメータが別だからです。DeepSeek V3は総数671B、推論時に活性化するのは37Bと説明されています[2]。構成は、Attention、任意のDense FFN、任意の共有エキスパート、そしてルーティング(振り分け)されるエキスパートです[2]。Dense FFNは、全トークンを一律に処理する通常の層です。最初の三つは毎トークン必ず使う「常時活性」です。一方、大半のサイズを占めるルーティングされるエキスパートは、その都度ごく一部しか呼ばれません[2]。BigMoeOnEdgeは、生成に必要な分だけをメモリに置き、残りのエキスパート重みをフラッシュストレージから必要時に読み込みます。RAMの数倍のモデルが素のllama.cppのまま動き、出力は全重みをメモリに載せた場合と同一だとREADMEは説明します[4]。この284Bという規模は、Mediumの記事がDeepSeek V4 Flashのパラメータ数として挙げているものです[4]。
注目は自動計画です。プランナーがまず、メモリ容量、ストレージ速度、CPU・GPU・NPU(AI処理向けチップ)を測ります。その結果をもとに、何を常駐させ、何をストリーミングするかを決めます。プロンプト読みと回答生成をどのチップが担うかも計画し、選択理由まで表示するといいます。フラグやチューニングは不要とのこと[4]。ローカルでOpenAI互換サーバーとして振る舞う点も実用的です[4]。llama.cppをフォーク(独自改変)せず、公開APIとの契約で実装する設計で、ピン留めしたサブモジュール(外部コード)の更新手順まで文書化されています[4]。自動計画の有効化、キャッシュ容量の自動設定、先読み量の指定、使わない専門家を減らす設定といったオプションが用意されています[4]。Apache-2.0のC++プロジェクトで、取得時点で約640スター、451コミットという観測値もあります[4]。
一方、マニュアルで設定を突き詰めるやり方もあります。llama.cppのチューニングガイドでは、GPUに置く層とCPUに置く層を分ける-ot指定が解説されています[2]。常時活性のパラメータはGPUへ、エキスパートはCPUへ、という振り分けです。例はGLM-4.7の量子化モデルです。量子化は、重みを圧縮してメモリを節約する仕組みです。コンテキスト(一度に扱える文章量)は32768です。層をGPUへ移す指定や、メモリの読み書きを減らして高速化するフラッシュアテンションの有効化も組み合わせます[2]。その上で、ブロック0〜30をCUDA0(GPU)へ、エキスパートをCPUへ振り分ける正規表現(文字列パターン)を渡します[2]。メモリ不足の切り分けには、自動フィット(自動調整)を切る指定が勧められています[2]。なお、このガイドの範囲には実測速度の数値は含まれていませんでした。
このほか、関連素材が一気に並びました。エキスパートをCPUに置く指定とストリーミングを解説する記事[7]、VRAM(GPUのメモリ)を節約するオフロード(処理の移し替え)ガイド[5]、実機での実測を掲げるベンチリポジトリ、混合精度(精度の違う計算を混ぜる手法)オフロードの研究HOBBIT[8]、最適化推論を狙うllama.moe[6]です。
しかし、壁もはっきりしています。まず速度です。0.94トークン/秒は、1文字ずつじわじわ出てくる水準です[4]。次に品質の落とし穴です。「フラッシュの節約になる場所だけ品質を落とす」と説明される、損失ありの設定(–drop-cold-experts F)があります[4]。一方で、先読みの設計は、この損失ありの設定を切っていれば出力を変えないと明記されています[4]。速度と品質の線引きが、設計の核心です。反応もまだ小さく、Hacker Newsの投稿は1ポイント・コメント0件です[1]。なお、Xの日本のトレンドには「ClaudeDuet」という語が上がりましたが[3]、素材からはこの話題とのつながりは読み取れません。
エッジ端末で巨大モデルを動かす流れは、二輪で進んでいます。自動計画が参入の壁を下げ、手動チューニングの知見が上限を引き上げます。速度の現在地は0.94トークン/秒[4]。実機ベンチや混合精度研究[8]の蓄積が、この数字をどこまで押し上げるか。そこが次の見どころです。
RECENT COMMENTS