Macノート1台で、270億パラメータ級のAIモデルが毎秒65トークンで動いた。こんな実測報告が、ローカルLLMコミュニティで話題になっています。しかも舞台は最新フラッグシップではなく、数年前のMacです。前回の記事ではQwen3.8 27BをSSDから読み出す推論と、精度回復の工夫を追いました。そ […]
タグ: Qwen3
🔁 続：Qwen3.8 Flashのai推論とローカル速度
🔁 前回の続き: 続：Qwen3.8 27Bの推論設定と速度のその後 📌 エグゼクティブサマリーQwen3.8 Flash Nextは、ai推論で速度と精度の両立が話題です。hacker newsでのローカル報告では27Bが2枚のTesla p100sで約60tok/s、ベンチでは53tok/sです […]
🔁 続：Qwen3.8 27Bの推論設定と速度のその後
🔁 前回の続き: 続：Qwen3.8 27Bの量子化とローカル推論の最新追跡 📌 エグゼクティブサマリーQwen3.8 27Bは、agenticな推論で伸びましたが、広い知識では frontier と差が出ます。2x P100で約60tps、Cerebrasで1500tok/sの報告があります。ai […]
RECENT COMMENTS