長文LLMの推論を支えるキャッシュ基盤Strataが、vLLM+LMCache比でTTFT最大5分の1、TensorRT-LLM比3.75倍の高速化を報告。一方、ローカルエンジンStrataで人気のGyro量子化にはEXL3を上回る公開証拠がなく、同名のQ-Strata論文との混同にも注意が必要です。
RECENT POST
-
2026.10.24
続報・llama.cppのMoE、エキスパート先読みで2倍のめど -
2026.10.24
続報・llama.cppのMoE拡張、ディスクからエキスパートを流す新方式 -
2026.10.24
話題の「Strata」は実は3つ?長文推論の高速化と量子化をめぐる動き
RECENT COMMENTS