長文推論向けキャッシュ技術「Strata」を実機で動かすレポートが登場。Qwen3.8-Flash-Nextを5ビット量子化・128GB RAMで79 tok/sで動かしたと報告されています。一方、組み込みが進む新量子化GyroにはEXL3超えの公開証拠がなく、Strata論文はOSDI 26に掲載されました。

続きを読む →

長文LLMの推論を支えるキャッシュ基盤Strataが、vLLM+LMCache比でTTFT最大5分の1、TensorRT-LLM比3.75倍の高速化を報告。一方、ローカルエンジンStrataで人気のGyro量子化にはEXL3を上回る公開証拠がなく、同名のQ-Strata論文との混同にも注意が必要です。

続きを読む →