GPUを1枚も積んでいない、3万円ちょっとのミニPC。そんなマシンでAIモデルをローカル推論させ、読み込みで秒間315トークンをたたき出した投稿が、Redditのr/LocalLLaMAで話題になっています[1]。舞台はLenovoのSnapdragon搭載ミニPC「IdeaCentre Mini」。1台299.99ポンドという価格でありながら、手元でAIを動かす実用速度に迫る結果が報告されました。
構成を見ると、CPUはSnapdragon X X1-26-100。8コアのOryonコアにHexagon NPU(AI専用プロセッサ)を備えますが、Adreno GPUは使っていません。メモリは32GBのLPDDR5で、モデルは標準の512GB NVMe SSDから読み込みます。OSはWindows 11です[1]。さらに投稿者は同型機をもう1台そろえ、USB4ケーブル1本でつないだ2台計600ポンドの体制で実験しています。価格は変動するものの、eBayやAmazonでも400ポンド未満で入手しやすいとのこと[1]。GPUレスという制約の中で、どこまで速度を出せるかが焦点です。
鍵はソフトウェア側にありました。投稿者はまずllama.cppで試し、その後Janasというエンジンへ移行。ARM向けに移植して改良を重ね、NEONカーネル(ARMチップの並列計算を担う処理部分)やWindows on ARMビルド、キャッシュのバグ修正として本体へ還元したといいます[1]。さらに独自エンジン「ToRc」を開発中で、今回の数値はこの未公開エンジンによるものです。実測はQ4量子化(重みを4ビットに圧縮してメモリを節約する仕組み)のモデルで、A3bでは読み込み315トークン/秒・生成43トークン/秒。Flash Nextでは読み込み46トークン/秒・生成20トークン/秒でした[1]。
この流れはllama.cpp側からも裏付けが取れます。公式の議論では、Qualcommのエンジニア自身が開発に参加し、Windows on ARM64対応やスレッド性能の改善を進めていると報告されています[4]。現世代のSnapdragon CPU(8 Gen3、X Elite、8 Elite)ではQ4_0_4_8という4ビット量子化の配置が最も速く、Adreno GPU向けのOpenCL(GPUを汎用計算に使う標準規格)バックエンドも準備中です。一方のNPU対応は「工数が大きい」とされ、時期は示されていません[4]。
しかし、NPUがあれば速いという単純な話ではないようです。Snapdragon X Elite/X2 Eliteのベンチマークを公開するリポジトリでは、Qwen 2.5 7B Instructを4ビットに圧縮して動かし、NPUとCPUの分担を検証しました[2]。結果、NPUは長いプロンプトの読み込み(prefill)が得意で、CPUの約2.4〜4.6倍。最初の応答が出るまでの時間を左右する場面で威力を発揮します。一方、応答を1トークンずつ生み出す生成(decode)では、どの文脈長でもCPUが優位でした。差は文脈長64で約1.6倍、8192では約1.25倍まで縮みますが、逆転はしなかったといいます[2]。X2 EliteではCPU・NPUの双方で数値が伸びており、次の一手としては「NPUで読み込み、CPUで生成する」ハイブリッド実行が計画されています。KVキャッシュ(会話の文脈を保持する計算データ)の受け渡しについて、NPUとCPUで形状とデータ型が一致しているため、実現は機械的に可能との見込みです[2]。
周辺の話題も広がっています。次世代のX Elite Gen 2は85 TOPS(NPUの演算性能の指標)という数値が報じられ[6]、Qwen3の量子化を実証的に調べた論文[7]やQ4/Q6/Q8の比較記事[8]、NPUのAI性能とLLM互換性をまとめたページ[5]なども公開されています。なお、日本のXでは「ClaudeDuet」という語がトレンドに浮上しました[3]。詳細は素材からは確認できませんが、AI関連の語がトレンドに並ぶ様子は、この分野への関心の高さをうかがわせます。
3万円ミニPC2台でここまでの速度を出せたのは、チップの性能だけでなく、NEONカーネルやキャッシュ修正といった地道なソフト改良の積み重ねが大きいと思われます[1]。NPUはまだ「読み込み要員」で、生成はCPUが担う[2]——役割分担の最適化が今後の課題です。ハイブリッド実行やNPU対応が成熟すれば、同じ構成でもさらに速くなる可能性があります[2]。それでも、GPUなし600ポンドでローカル推論が成立しつつある事実は、エントリ価格のARM機でもAIを「動かして学べる」時代が近づいていることを示しているのではないでしょうか。
RECENT COMMENTS