旧型GPU 2枚でQwen3.8-27Bを約60tpsで動かした報告の詳細が判明。構成はTesla P100 2枚・q6_k量子化・Linux Mintでした。さらにQwen3-32Bでは層ごとに精度を使い分ける超低ビット量子化が公開され、1ビット相当でperplexityを43.9%改善しています。
タグ: P100
続・Qwen3.8-27B追跡：古いTesla GPU 2枚で60tpsのローカル推論
Hacker Newsで、古いTesla P100を2枚使いQwen3.8-27Bを約60tpsで動かした報告が話題に。V100向けにはソフト復号のNVFP4版も登場し、17.6GBの重みを2枚に分割して動きます。旧GPUで新モデルを動かすローカル推論の実例を整理しました。
RECENT POST
-
2026.11.13
AIチャットは性能差より監視と推論設計が分かれ目 -
2026.11.12
AIエージェントは業務の入口で試されている -
2026.11.12
Fireworks AIが2回目の侵害を通知、推論基盤の被害が拡大
RECENT COMMENTS