RTX 5090の話題が品薄からローカルAI推論へ移りました。Basalt 0.2.0は5090と5060 TiでQwen 3.8 Flash Nextを動かし、prefill 10K t/sと高速を示す一方、量子化で品質差が出ました。速度と品質、入手性が焦点です。
タグ: Basalt
続Strata:5080で275TPS、Xトレンドも連動
Strata/Basaltの最適化で、Qwen3.8 Flash Nextの125B MoEがRTX 5080で動くという報告です。prefill(一括処理)約5500TPS、decode(生成)ピーク275TPSとされ、実用性が一段上がりました。RAMや量子化の制約も扱います。





RECENT COMMENTS