vLLM周辺で、27Bクラスを1枚のGPUで動かす試みが進んでいます。Qwen3.6-27Bは量子化とDFlashの草案検証で、256トークン出力・1〜4同時ストリームを合計33.7秒で処理。一方でVRAMだけでは速度は決まらず、次期Qwen4のKVキャッシュも減らないようです。

続きを読む →