続・Strata追跡：長文推論を最大5倍速くした論文の中身とセキュリティ不安

📌 エグゼクティブサマリー
ローカルLLM推論技術Strataの論文がOSDI 26に採択され、詳細が公開されました。長文処理でvLLM+LMCache比最大5倍のTTFT短縮、TensorRT-LLM比3.75倍の高速化を達成しています。一方Redditでは、エンジンのデータ扱いへの不安の声も上がっています。

「Strataは私のデータを全部盗んでくるの?」——ローカルLLM好きが集まるRedditのr/LocalLLaMAに、こんな率直な不安の書き込みが投稿されました[1]。話題のStrataは、長い文脈を扱うLLM推論を速くするキャッシュ技術です。前回の記事では、GPUの役割分担と125Bクラスモデルのローカル実行の実使用感を追いました。その後、技術の中身を示す論文が本格的に公開され、性能の数字と「安全性」の議論が同時に動き出しています。

Strataの正体は、論文「Strata: Hierarchical Context Caching for Long Context Language Model Serving」です[3]。2025年8月にarXivで公開されたもので、著者はZhiqiang Xie氏をはじめとする8名です[2]。共著者のMichael Garland氏の論文リストにも、この研究が記載されています[6]。さらに、システム研究で知られる国際会議OSDI 26に採択され[8]、USENIXのサイトでも論文PDFが公開されています[5]。うたい文句ではなく、査読を通った形で技術が裏付けられたことになります。

何を解決する技術なのでしょう。LLMが長い文書や長いセッションを処理するとき、計算の途中結果を「KVキャッシュ」として保存します。これは「一度読んだ部分の計算メモ」のようなもので、再利用できれば同じ文章を何度も計算せずに済みます。しかし文脈が長くなると、このキャッシュがGPUメモリに収まらなくなります。そこでCPU側のメモリにあふれた分を置く「階層キャッシュ」が使われます。ところが今度は、キャッシュをGPUへ戻す転送がボトルネックになります。ページ化された配置のせいでI/Oが細切れになり、帯域を使い切れないのです。既存のスケジューラは、prefill(プロンプト全体を一括処理して最初のトークンを出すまでの段階)でのキャッシュ転送の遅延を考慮していません。そのため計算ではなく、転送待ちでシステムが止まってしまうと論文は指摘します[3]。

Strataはここに3つの工夫を入れました。1つ目は、GPU側でI/Oの断片化を抑える「GPU支援I/O」です。2つ目は、GPUとCPUのメモリ配置を分離する設計です。3つ目は、prefill中のキャッシュ転送待ち時間を他の計算で埋めるスケジューリングです[3]。結果は数字で明快です。最初のトークンが出るまでの時間(TTFT)は、vLLM+LMCacheの組み合わせと比べて最大5分の1。長文ベンチマークではNVIDIA TensorRT-LLMに対して3.75倍の高速化を記録しました[3]。しかも短文の性能は落としていません。エンジンはSGLangベースで、すでに本番環境に導入されているとのことです[3]。

一方、一般ユーザー向けの顔もあります。公式サイトは「12GB VRAMの消費者向けGPUで125B超のMoEモデルを動かす」とうたっています[4]。ドキュメントやセットアップ手順も公開されています。前回取り上げたローカル実行の話題とつながる部分です。ただし、今回確認できた素材からは、実測のTPS(1秒あたりのトークン数)や消費電力の数値は見つかりませんでした。この点は、今後の報告に待つことになりそうです。

しかし、盛り上がりの中で浮上したのが冒頭の不安です。投稿者は「実装エンジンのセキュリティを心配する人はいないか」と問いかけました[1]。その上で「Strataがデータを盗むのでは」と懸念を示しています。ローカル推論は「自分のPCの中で完結するから安全」というのが大きな魅力のはずです。それだけに、エンジンそのものへの信頼が問われるのは皮肉な状況です。心配の種は、エンジンがコードとして何を実行しているのか、一般ユーザーには見えにくい点にあるようです。素材の範囲では、この投稿への回答や開発者からの応答までは確認できませんでした。また、紛らわしいことに「STRATA」という名前の別プロジェクトも存在します。こちらはLLMを使った脆弱性修復を支援する、セキュリティ向けのフレームワークです[7]。名前だけ見ると、まったくの別物であることに注意が必要です。

論文の公開とOSDI採択により、Strataは「話題の名前」から「検証できる技術」へと一歩進んだと言えます。最大5倍というTTFTの改善は、長文処理のコスト感を変える可能性を秘めています。一方で、それを動かすユーザーには、エンジンが何を外部に送っているのか確認できる透明性が求められます。性能と信頼の両方を満たせるかどうか。それが、次に注目したいポイントです。