Qwen3.8-27Bのローカル実行で、量子化の精度とVRAMの差が注目されています。KLD平均0.0002で重み18.8GiBという報告や、8bit浮動小数点版より39%低い検証などが出ました。圧縮の進み方と、重みの中に計算機を埋める実験の広がりもわかります。

続きを読む →

長文推論向けキャッシュ技術「Strata」を実機で動かすレポートが登場。Qwen3.8-Flash-Nextを5ビット量子化・128GB RAMで79 tok/sで動かしたと報告されています。一方、組み込みが進む新量子化GyroにはEXL3超えの公開証拠がなく、Strata論文はOSDI 26に掲載されました。

続きを読む →

長文LLMの推論を支えるキャッシュ基盤Strataが、vLLM+LMCache比でTTFT最大5分の1、TensorRT-LLM比3.75倍の高速化を報告。一方、ローカルエンジンStrataで人気のGyro量子化にはEXL3を上回る公開証拠がなく、同名のQ-Strata論文との混同にも注意が必要です。

続きを読む →