3万円のSnapdragonミニPC実験に続報です。投稿者が自作エンジンToRcへ移行し、Flash Nextで46トークン/秒、A3bで315トークン/秒の読み出し速度を報告。一方、NPUはdecodeでCPUに及ばない実測も示され、NPUとCPUの使い分けが鍵となっています。

続きを読む →

£300のSnapdragon搭載ミニPCで、GPUを使わずローカルLLMを動かす試みが話題です。Q4量子化したMoEモデルで読み込み315トークン/秒・生成43トークン/秒を記録。NPUは読み込み、CPUは生成が得意という役割分担の知見も得られています。

続きを読む →

3万円台のSnapdragonミニPCでGPUなしのローカル推論を試す検証が話題です。Q4量子化モデルで読み込み315トークン/秒などの実測を報告し、2台600ポンド構成も公開。NPUは読み込みが得意で生成はCPUが優位など、安価なARM機での推論の現在地がわかります。

続きを読む →