12GBのゲーミングGPUで125Bモデルを動かせる専用推論エンジン、それがStrataです。その速さに対抗する動きが、今度はllama.cpp側から出てきました。Redditのr/LocalLLaMAには、R9700でStrataのdecode性能を上回ると題するllama.cppのPRが紹介されています[1]。decodeとは、トークンを1つずつ生成する処理のことです。
Strataは、Qwen3.8-Flash-Nextという1つのモデルファミリー専用に作られたオープンソースの推論エンジンです。10月4日にはハッカーニュースのフロントページに「RTX 4090で125Bモデルを100トークン/秒で動かす」として登場し、大きな話題になりました[3]。1つのモデルに絞り込むことで、汎用エンジンでは出せない速度を引き出すのが狙いのようです。
その実力を、安価な環境で確かめた検証が参考になります。動画で7.5倍のprefill高速化を報告していたCodacusの主張を、RTX 3060 12GB、PCIe 3.0、Core i7-7700、メモリ32GBという手頃な構成で追試したのです[2]。プロンプト(入力)を読み込むprefillの速度は、標準のllama.cppがどの長さでも158トークン/秒。一方Strataは933〜1,094トークン/秒で、差は5.9〜6.9倍でした。32Kトークンのプロンプトで最初のトークンが出るまでの時間は、標準が208秒、Strataが30秒です。llama.cppも読み込み単位に関する2つの設定を変えるだけで80秒まで短縮できますが、それでもStrataには及びません[2]。3090での比較でも、Strataが78トークン/秒、llama.cppが18トークン/秒という報告があります[7]。
速度だけでなく、精度への影響も確かめられています。モデルはllama.cppでも動く標準的なGGUF形式です。同じIQ2_XSという量子化タイプ(重みを圧縮してメモリを節約する仕組み)のファイルを両エンジンで動かしたところ、GSM8Kは280/300対279/300、HumanEvalは両者とも157/164で、スコアの差は出ませんでした[3]。ハッカーニュースでは「答えの質が落ちる」という声や、画像の指差し精度が3倍悪いという報告もありました。しかし100枚のCOCO画像での検証では、ミスの中央値が37.6ピクセル対37.7ピクセルと、この差は再現しなかったのです[3]。検証者いわく、スコアや再現性の結果は環境が変わっても通用しますが、速度の数値は環境依存だといいます[3]。
一方で、GPUのメモリを約12GiBに制限すると、速度差はさらに広がります。decodeはStrataが62.9トークン/秒、llama.cppが23.4トークン/秒。29Kトークンのプロンプト読み込みは2,726対275トークン/秒でした[3]。ただし、ここで思わぬ落とし穴が見つかっています。ランダム性をゼロにした設定で同じ質問を3回繰り返したところ、Strataは30問中12問しか完全に同じ答えを出せなかったのです。llama.cppは30問すべてで同一でした。Strata側もこの挙動をドキュメントに記載し、設定で解消できますが、その代償はdecode速度の約4分の1だといいます[3]。速さと安定性のトレードオフが、実用では効いてくるようです。
そんな中で登場したのが、冒頭のPRです。AMDのRadeon AI PRO R9700を使い、llama.cppでStrataを上回るdecode性能を目指す試みで、VulkanというAPI経由でR9700を動かすllama.cppの構成をまとめたリポジトリも公開されています[1][6]。残念ながら、今回の素材からはPR自体の具体的な速度数値を読み取ることはできませんでした。とはいえ、llama.cpp側の追い上げは複数の形で進んでいます。StrataのGitHubリポジトリには、llama.cppの#30553がRTXでのIQ3_S(量子化タイプの1つ)のスループットを改善したというベンチマーク報告がissueとして上がっています[4]。Strata自身もv0.1.42で、RTX 4090の16Kトークンprefillで5,200トークン/秒、decodeで164トークン/秒を記録しました[5]。
専用エンジンの登場が、汎用エンジンの最適化を促す好循環が生まれているようです。Strataが速さの基準を示し、llama.cppがPRで追いかける。その競争のたびに、ローカル推論の到達点が上がっています。数値は構成や設定で大きく変わるため、自分のGPUで両方を動かして比べてみるのが、いま一番実用的な一歩だといえそうです。
RECENT COMMENTS