ローカルLLM推論技術Strataの論文がOSDI 26に採択され、詳細が公開されました。長文処理でvLLM+LMCache比最大5倍のTTFT短縮、TensorRT-LLM比3.75倍の高速化を達成しています。一方Redditでは、エンジンのデータ扱いへの不安の声も上がっています。

続きを読む →