£300のSnapdragonミニPC、GPUなしでMoEモデルを高速推論

£300のSnapdragon搭載ミニPCで、GPUを使わずローカルLLMを動かす試みが話題です。Q4量子化したMoEモデルで読み込み315トークン/秒・生成43トークン/秒を記録。NPUは読み込み、CPUは生成が得意という役割分担の知見も得られています。

3万円ミニPCでFlash Next推論、GPUなしSnapdragonの実力

3万円台のSnapdragonミニPCでGPUなしのローカル推論を試す検証が話題です。Q4量子化モデルで読み込み315トークン/秒などの実測を報告し、2台600ポンド構成も公開。NPUは読み込みが得意で生成はCPUが優位など、安価なARM機での推論の現在地がわかります。