続報:3万円ミニPCのFlash Next推論、自作エンジンで速度更新

3万円のミニPCでAI推論はどこまで速くなるのか。前回記事で紹介した£300 SnapdragonミニPC実験に、続報が届きました。Redditのr/LocalLLaMAで投稿者が、llama.cppから自作エンジンへ移行した結果を報告し、速度が大きく更新されたのです[1]。しかも1台(£300)だけでなく、2台をUSB4ケーブルでつないだ£600のセッティングまで登場しています。

まず機材を整理しましょう。使ったのはLenovo IdeaCentre Miniで、CPUはSnapdragon X X1-26-100。8基のOryonコアに加え、Hexagon NPU(AI処理に特化したプロセッサ)も搭載しています。メモリは32GB LPDDR5で、モデルは標準の512GB NVMe(SSD)からストリーミング読み込み。OSはWindows 11です[1]。価格は1台£299.99で、eBayやAmazonでも400ポンド未満で入手しやすいとのこと[1]。

このセッティングで出た数字が核心です。4ビット量子化(重みを圧縮してメモリを節約する仕組み)のFlash Nextでは、読み出し46・生成20トークン/秒。A3bでは読み出し315・生成43トークン/秒(いずれもread/gen表記)でした[1]。GPUは一切使わず、自作エンジンToRcがCPUコアだけを動かしています[1]。Flash Nextが32GBメモリの小型機で回るのは、MoE(モデルの一部だけを動かして計算を減らす構造)だからこそと思われます。

投稿者の歩みも、ローカルLLMカルチャーらしいハッカー精神の見本です。最初はllama.cppで試し、すぐにJanasというエンジンへ移行。ARM向けに移植した成果を、NEONカーネル(ARMのCPUを高速化する演算処理)やWindows on ARMビルド、キャッシュのバグ修正としてPR(改善コードの提案)で還元しました[1]。その経験を土台に、現在は自作エンジンToRcを開発中です。まだ未公開ながら「YET」と強調するあたり、続きも期待できそうです[1]。

ところが、ここに意外な視点があります。AI PCの主役のはずのHexagon NPUが、報告では活躍していないように見えるのです[1]。別の検証でも同じ皮肉が浮かびます。Snapdragon X2 EliteでQwen 2.5 7B Instruct int4を測ったベンチマークでは、NPUはprefill(プロンプト全体を一括処理する段階)でCPUの2.4〜4.6倍速い一方です。しかしdecode(トークンを1つずつ生成する段階)になると、全コンテキスト長でCPUが上回りました。差はコンテキスト長(一度に扱える文章の長さ)64で約1.6倍、8192でも約1.25倍と縮まる一方です[2]。X2 EliteではCPUもNPUも数値が上がり、「どちらに何を任せるか」の判断がより重要になったとまとめられています[2]。検証はWindows 11 ARM64専用で、x86_64やLinux、macOSでは動かないという縛りもあります[2]。

記事全文: Snapdragon X Elite / X2 Elite LLM Benchmarks - GitHub — 画像出典: 記事全文: Snapdragon X Elite / X2 Elite LLM Benchmarks – GitHub

この流れはllama.cpp側の動きとも重なります。Qualcommのエンジニアが開発に参加しており、これまではCPU中心(Windows on ARM64ビルド、スレッド性能、X EliteのCPUクラスタ活用)で取り組んできました。その結果、8 Gen3、X Elite、8 Eliteといった現行世代ではQ4_0_4_8という量子化レイアウトが最速と報告されています[4]。Qualcomm側も独自の量子化レイアウトを用意していましたが、Arm陣営に先を越された経緯も明かされています[4]。Adreno GPU向けのOpenCLバックエンド(GPUを活用する仕組み)はPR準備中ですが、NPU対応は「より多くの工数が必要で、時期の目途は立っていない」とのこと[4]。NPU=速い、という単純図式はまだ通用しないようです。

記事全文: Performance of llama.cpp on Snapdragon X Elite/Plus - GitHub — 画像出典: 記事全文: Performance of llama.cpp on Snapdragon X Elite/Plus – GitHub

次の一手は、すでに示されています。NPUでprefillし、decodeをCPUに切り替えるハイブリッド実行の検討で、KVキャッシュ(会話の文脈を保持する計算結果)の受け渡しが仕組み上は実現可能と評価されています[2]。周辺も動いています。Hexagon NPUの45 TOPSという演算性能を解説する資料[5]や、ベンチマーク手法をまとめたリポジトリ[6]、X Eliteでのローカル推論を実測した解説[7]、トークン/秒の比較まとめ[8]が公開され、検証の土台が厚くなっています。そしてXでは「パーソナルAIエージェント」という言葉がトレンドに浮上[3]。端末側でAIを完結させる流れを考えると、3万円ミニPCでの推論挑戦は、遊び以上の意味を持ち始めているように思えます。

引用ソース

Reddit Reddit r/LocalLLaMA: Q4 flash next for £300/600 👀 – snapdragon mini PC results update – 315/43 Tok/s A3b, 46/20 Tok/s Flash Next (read/gen) 💥 — https://www.reddit.com/r/LocalLLaMA/comments/1xcmioz/q4_flash_next_for_300600_snapdragon_mini_pc/

Q4 flash next for £300/600 👀 – snapdragon mini PC results update – 315/43 Tok/s A3b, 46/20 Tok/s Flash Next (read/gen) 💥
Web記事 記事全文: Snapdragon X Elite / X2 Elite LLM Benchmarks – GitHub — https://github.com/dakehero/snapdragon-xelite-llm-example

Running and benchmarking int4 LLM inference on Qualcomm Snapdragon NPU via ONNX Runtime QNN Execution Provider on Windows ARM64.
Platform: Windows 11 ARM64 on Snapdragon X Elite / X2 Elite + Python 3.14. Not compatible w
X Xトレンド: パーソナルAIエージェント — https://trends24.in/japan/

パーソナルAIエージェント
Web記事 記事全文: Performance of llama.cpp on Snapdragon X Elite/Plus – GitHub — https://github.com/ggml-org/llama.cpp/discussions/8273

Replies: 19 comments 119 replies
Apologies for the delayed response to this thread.
Qualcomm engineers have been participating in llama.cpp development for some time now 😉
Keen observers would have noticed that our ( @
Web記事 Web検索: Snapdragon X Elite Hexagon NPU Architecture in 2026: 45 TOPS Execution … — https://edgesiliconlab.com/snapdragon-x-elite-hexagon-npu-architecture-onnx-benchmarks-2026/

Snapdragon X Elite Hexagon NPU Architecture in 2026: 45 TOPS Execution …
Web記事 Web検索: GitHub – kaushall13/local-llm-benchmark: Efficient benchmarking … — https://github.com/kaushall13/local-llm-benchmark

GitHub – kaushall13/local-llm-benchmark: Efficient benchmarking …
Web記事 Web検索: Snapdragon X Elite AI PC Local Inference Benchmark: Complete … — https://www.holysheep.cn/articles/en-gaotong-snapdragon-x-elite-ai-pc-bendituilipingce-2026-04-22-0030.html

Snapdragon X Elite AI PC Local Inference Benchmark: Complete …
Web記事 Web検索: Local LLM Tokens-per-Second Benchmarks 2026 – Presenc AI — https://presenc.ai/research/local-llm-tokens-per-second-benchmarks-2026

Local LLM Tokens-per-Second Benchmarks 2026 – Presenc AI

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。