£300のSnapdragon搭載ミニPCで、GPUを使わずローカルLLMを動かす試みが話題です。Q4量子化したMoEモデルで読み込み315トークン/秒・生成43トークン/秒を記録。NPUは読み込み、CPUは生成が得意という役割分担の知見も得られています。
£300のSnapdragon搭載ミニPCで、GPUを使わずローカルLLMを動かす試みが話題です。Q4量子化したMoEモデルで読み込み315トークン/秒・生成43トークン/秒を記録。NPUは読み込み、CPUは生成が得意という役割分担の知見も得られています。
RECENT COMMENTS