128GBのRAMで、大規模MoEモデルが毎秒79トークン動いた——そんな実機レポートが、話題の推論エンジン「Strata」で出ています。前回、Strataをめぐる論文と量子化の動きを追いましたが、その後は個人の環境で試す段階に入ったようです。
そもそもStrataは、KVキャッシュ(会話の文脈を覚えておく計算途中データ)をGPUメモリの外に階層的に置く仕組みです[2]。長い文脈ほどキャッシュは膨らみ、GPUメモリだけでは収まらなくなります。従来は、キャッシュの配置が断片化して帯域を使い切れませんでした。スケジューラもキャッシュ読み出しの遅れを考慮しないため、計算ではなく読み出し待ちで止まっていました[2]。StrataはGPUとCPUのメモリ配置を分け、GPU自身に入出力を手伝わせてこれを避けます[2]。SGLangというエンジンの上に作られ、本番環境でも動いています[2]。
実機レポートの中身を見てみましょう。DEV Communityの記事では、Qwen3.8-Flash-NextをStrataと5ビット量子化で動かしています。量子化は重みを圧縮してメモリを節約する仕組みで、5ビットはその細かさの指定です。結果は79 tok/s(1秒あたりの生成トークン数)。動かすのに使ったのは128GBのRAMです[2]。ただし素材には、GPUの枚数やVRAM、RAMとの分担といった詳細は載っていませんでした。prefill(プロンプト全体を一括処理する段階)とdecode(トークンを1つずつ生成する段階)の内訳も確認できません。
Strataで動かすモデルの量子化タイプを比べる記事も出ています。IQ2_XS、IQ3_XXS、IQ3_Sといった圧縮率の段階ごとに、速度と品質を見るものです[2]。素材からは具体的な数値を読み取れませんでした。それでも検証記事が出てくること自体、実用段階に入った証拠のように思えます。また、GGUF、MLX、EXL3、GPTQ、AWQという主要フォーマットを横並びで比べる解説もあり[4]、量子化選びはローカル実行の定番の悩みどころになっているようです。
Reddit r/LocalLLaMAでは、Strataに組み込まれて人気を集める新量子化「Gyro」が議論になりました。さまざまなエンジンへの搭載が進み、特に最近人気のStrataで注目されているといいます[1]。投稿者がコードを掘り、既存のEXL3と比較しました。両者はQTIP/トレリス符号化量子化という同じ系統です。Hadamard回転(値を行列で混ぜ合わせる処理)も共通です。違いは細かい部分にあります。トレリス状態サイズはGyroが15ビット、EXL3は16ビット。符号化の単位は128重みブロック対256重みタイル。コードブック(圧縮に使う辞書)は、Gyroが2,048点の対応表、EXL3は手続き的に生成する方式です[1]。
しかし、投稿者が見つけられなかったのは、GyroがEXL3より優れているという公開された証拠です。decodeの速度でも、perplexity(予測のあいまいさを示す指標で、低いほどよい)でも、優位を示す公表資料は確認できなかったといいます[1]。投稿者は「EXL3の別フレーバーに見える」とも述べています。さらにGyroは作り方のレシピが当面クローズドソースで、EXL3との相互運用も示されていません。エンジンへの搭載が先行し、実力の検証が追いついていない状態のようです。
一方、Strata本体のほうは評価が進んでいます。前回取り上げた実測は、vLLM + LMCache比でTTFTを最大5分の1、NVIDIA TensorRT-LLM比で最大3.75倍の高速化でした。その論文が、OSDI 26(米USENIXのシステム系国際会議)の議事録に掲載されています[4]。TTFTは最初のトークンが出るまでの時間です。量子化側にも動きがあります。「Q-Strata」という研究は、混合精度量子化(層ごとに違うビット数を割り振る圧縮)でビットを階層的に配分するもので、EMNLP 2026の主要セッションに採録されています[2]。前回「Strataは実は3つ?」として取り上げた名前の混在は、そのまま続いています。
Strataをめぐる動きは、論文の実測から個人のPCでの検証へと広がっています。ただし、新量子化Gyroには優位性の公開証拠がなく、実機レポートの詳細な構成も見えないままです。エンジンの速さと量子化の実力、両方を自分の条件で確かめる材料が、ようやくそろい始めた段階と言えそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: Gyro quants looks like EXL3 but kinda closed source. please explain why we need this. — https://www.reddit.com/r/LocalLLaMA/comments/1xe41qe/gyro_quants_looks_like_exl3_but_kinda_closed/
Gyro quants looks like EXL3 but kinda closed source. please explain why we need this.
- Web記事 記事全文: [2508.18572] Strata: Hierarchical Context Caching for Long Context … — https://arxiv.org/abs/2508.18572
Computer Science > Distributed, Parallel, and Cluster Computing
Title:Strata: Hierarchical Context Caching for Long Context Language Model Serving
View PDF HTML (experimental)
Abstract:Large Language Models ( - Web記事 Web検索: PDF Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization … — https://aclanthology.org/2026.emnlp-main.2414.pdf
PDF Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization …
- Web記事 Web検索: PDF Strata: Hierarchical Context Caching for Long Context Language Model … — https://www.usenix.org/system/files/osdi26-xie-zhiqiang.pdf
PDF Strata: Hierarchical Context Caching for Long Context Language Model …
- Web記事 Web検索: Run Qwen3.8-Flash-Next at 79 tok/s with Strata and a 5 … – DEV Community — https://dev.to/seppegadeyne/run-qwen38-flash-next-at-79-toks-with-strata-and-a-5-bit-quant-on-128-gb-of-ram-4a81
Run Qwen3.8-Flash-Next at 79 tok/s with Strata and a 5 … – DEV Community
- Web記事 Web検索: LLM Quantization Formats Compared: GGUF vs MLX vs EXL3 vs GPTQ vs AWQ … — https://d-central.tech/llm-quantization-formats/
LLM Quantization Formats Compared: GGUF vs MLX vs EXL3 vs GPTQ vs AWQ …
- Web記事 Web検索: Strata Model Benchmarks: IQ2_XS, IQ3_XXS and IQ3_S Speed, Quality and … — https://eth-lab.com/en/2026/10/strata-model-benchmarks-en/
Strata Model Benchmarks: IQ2_XS, IQ3_XXS and IQ3_S Speed, Quality and …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS