R9700でStrata超え?llama.cpp性能改善PRが話題

ローカルでAIモデルを動かす愛好者の間で、AMDのGPU「Radeon AI PRO R9700」と推論エンジンllama.cppの組み合わせを極める動きが盛り上がっています。Redditのr/LocalLLaMAに投稿されたのは、「R9700でStrataのdecode性能を上回る」というllama.cppのPRです[1]。decodeとは、AIが答えを1トークン(単語の断片のような単位)ずつ生成する処理のこと。その速度でStrataという別エンジンを追い越したというのが話題の核です。海外のAIニュースサイトAGI HuntもこのPRを取り上げました[8]。

背景にあるのは、AMD環境の実測情報の少なさです。R9700を2枚使うローカルLLMマシンを自作した人物が、実用的なベンチマークがほとんどないと明かし、テスト結果を公開しました[2]。環境はROCm(AMDのGPU向け計算基盤)+llama.cppです。ローカル推論の話はNVIDIA製や旧世代のAMD製、クラウドGPUが中心で、新しめのAMDカードの情報は手薄だったようです。結果は明快でした。GPUの2枚目が効くのは、長い文脈の入力を一気に読む処理(prefill)です。一方、対話セッションのような1本ずつの生成では1枚と同じか、やや遅くなることもあったといいます[2]。

モデル選びの数字も出ています。全パラメータを使う密なモデルでは、量子化(重みを圧縮してメモリを節約する仕組み)を施したQwen3.6 27BがGemma 4 31Bより速かったといいます[2]。MoE(一部のパラメータだけを動かして高速化する構造)系のGemma 4 26B A4BやQwen3.6 35B A3Bははるかに高いスループットを示しました。ただし構造が違うため、密なモデルとの単純比較はできないと注意も添えられています[2]。

さらに踏み込んだのが、llama.cppの議論スレッド「RDNA4 Llama Experiments」です[4]。ここで共有された最適化は2つあります。ひとつは、一度にまとめて処理する量を決める設定を大きくする方法(例:-ub 2048)で、prefillが29%向上しました。もうひとつは、グラフィックス用の処理経路の利用を許可する環境変数(例:GGML_VK_ALLOW_GRAPHICS_QUEUE=1)です。この2つにより、Qwen3 122Bの生成速度が15 t/sから48 t/sに跳ね上がったと報告されています。設定1つだけでも40 t/sに届きました。2台のマシンをまたぐ分散構成(RPC)でも効果が出ています[4]。環境は1台目がR9700を2枚挿し、2台目がRTX 3090です[4]。ほかのMoEモデル(Qwen 3 Next 80など)でも大幅な改善があった一方、密なモデルではまだ効果が確認されていないようです[4]。

しかし、この実験から思わぬ落とし穴も見つかりました。注意機構と別方式の記憶機構を組み合わせたハイブリッド構造のQwen3.6 27Bでは、まとめ処理量を65〜256の帯域に設定するとスループットが崩壊するのです。64から65に変えただけでprefillが28倍変わり、decodeでも12倍の差が出ます[4]。対照的な非ハイブリッドのgpt-oss-20bは設定値に沿って滑らかに伸びており、ドライバやカードではなくモデル構造固有の問題のようです[4]。さらに、ベンチマークツールの標準的な測り方までこの帯域に引っかかることが判明。128トークンの生成に60.7秒かかるのに対し、512トークンなら20.2秒と、多く生成したほうが速いという逆転が起きます[4]。

投稿者自身のR9700は、PCIeスロットではなくUSB4接続のドックに置かれていました。そのためdecodeは26 t/sと、スロット直挿しの29〜48 t/sに届かず、制約も正直に明かされています[4]。ほかにも、入力文から次のトークンの候補を引き当てる手法(プロンプトルックアップドラフティング)で42倍の高速化を報告する体験談[5]や、NVIDIAの16GB環境でprefill/decodeを5.8倍高速化した報告[5]、llama.cppのチューニングをまとめた指南[5]など、推論速度を追い込む試みが各地で動いています。Xの日本のトレンドにも「OpenAIのAI」[3]や「ClaudeDuet」が並び、生成AIへの関心の高さがうかがえます。

この一連の話題が示すのは、ローカル推論の速さはGPUの枚数や新しさだけでは決まらないということです。生成速度がボトルネックなら1枚、長文の入力処理やスループット重視なら2枚という使い分けが現実的な一方[2]、設定を変えただけで速度が3倍以上に跳ね上がった例もあります[4]。「ROCmは動くが、ソフトウェアスタックが重要だ」という報告者の言葉[2]が、いまのAMDローカル推論を一言で表していると思われます。現場からのフィールドノートが増えるほど、誰でも再現できるチューニングが進んでいきそうです。