続報:3万円ミニPCのFlash Next推論、自作エンジンで速度更新

📌 エグゼクティブサマリー
3万円のSnapdragonミニPC実験に続報です。投稿者が自作エンジンToRcへ移行し、Flash Nextで46トークン/秒、A3bで315トークン/秒の読み出し速度を報告。一方、NPUはdecodeでCPUに及ばない実測も示され、NPUとCPUの使い分けが鍵となっています。

3万円のミニPCでAI推論はどこまで速くなるのか。前回記事で紹介した£300 SnapdragonミニPC実験に、続報が届きました。Redditのr/LocalLLaMAで投稿者が、llama.cppから自作エンジンへ移行した結果を報告し、速度が大きく更新されたのです[1]。しかも1台(£300)だけでなく、2台をUSB4ケーブルでつないだ£600のセッティングまで登場しています。

まず機材を整理しましょう。使ったのはLenovo IdeaCentre Miniで、CPUはSnapdragon X X1-26-100。8基のOryonコアに加え、Hexagon NPU(AI処理に特化したプロセッサ)も搭載しています。メモリは32GB LPDDR5で、モデルは標準の512GB NVMe(SSD)からストリーミング読み込み。OSはWindows 11です[1]。価格は1台£299.99で、eBayやAmazonでも400ポンド未満で入手しやすいとのこと[1]。

このセッティングで出た数字が核心です。4ビット量子化(重みを圧縮してメモリを節約する仕組み)のFlash Nextでは、読み出し46・生成20トークン/秒。A3bでは読み出し315・生成43トークン/秒(いずれもread/gen表記)でした[1]。GPUは一切使わず、自作エンジンToRcがCPUコアだけを動かしています[1]。Flash Nextが32GBメモリの小型機で回るのは、MoE(モデルの一部だけを動かして計算を減らす構造)だからこそと思われます。

投稿者の歩みも、ローカルLLMカルチャーらしいハッカー精神の見本です。最初はllama.cppで試し、すぐにJanasというエンジンへ移行。ARM向けに移植した成果を、NEONカーネル(ARMのCPUを高速化する演算処理)やWindows on ARMビルド、キャッシュのバグ修正としてPR(改善コードの提案)で還元しました[1]。その経験を土台に、現在は自作エンジンToRcを開発中です。まだ未公開ながら「YET」と強調するあたり、続きも期待できそうです[1]。

ところが、ここに意外な視点があります。AI PCの主役のはずのHexagon NPUが、報告では活躍していないように見えるのです[1]。別の検証でも同じ皮肉が浮かびます。Snapdragon X2 EliteでQwen 2.5 7B Instruct int4を測ったベンチマークでは、NPUはprefill(プロンプト全体を一括処理する段階)でCPUの2.4〜4.6倍速い一方です。しかしdecode(トークンを1つずつ生成する段階)になると、全コンテキスト長でCPUが上回りました。差はコンテキスト長(一度に扱える文章の長さ)64で約1.6倍、8192でも約1.25倍と縮まる一方です[2]。X2 EliteではCPUもNPUも数値が上がり、「どちらに何を任せるか」の判断がより重要になったとまとめられています[2]。検証はWindows 11 ARM64専用で、x86_64やLinux、macOSでは動かないという縛りもあります[2]。

この流れはllama.cpp側の動きとも重なります。Qualcommのエンジニアが開発に参加しており、これまではCPU中心(Windows on ARM64ビルド、スレッド性能、X EliteのCPUクラスタ活用)で取り組んできました。その結果、8 Gen3、X Elite、8 Eliteといった現行世代ではQ4_0_4_8という量子化レイアウトが最速と報告されています[4]。Qualcomm側も独自の量子化レイアウトを用意していましたが、Arm陣営に先を越された経緯も明かされています[4]。Adreno GPU向けのOpenCLバックエンド(GPUを活用する仕組み)はPR準備中ですが、NPU対応は「より多くの工数が必要で、時期の目途は立っていない」とのこと[4]。NPU=速い、という単純図式はまだ通用しないようです。

次の一手は、すでに示されています。NPUでprefillし、decodeをCPUに切り替えるハイブリッド実行の検討で、KVキャッシュ(会話の文脈を保持する計算結果)の受け渡しが仕組み上は実現可能と評価されています[2]。周辺も動いています。Hexagon NPUの45 TOPSという演算性能を解説する資料[5]や、ベンチマーク手法をまとめたリポジトリ[6]、X Eliteでのローカル推論を実測した解説[7]、トークン/秒の比較まとめ[8]が公開され、検証の土台が厚くなっています。そしてXでは「パーソナルAIエージェント」という言葉がトレンドに浮上[3]。端末側でAIを完結させる流れを考えると、3万円ミニPCでの推論挑戦は、遊び以上の意味を持ち始めているように思えます。