R9700で推論速度3倍、llama.cpp改善の実測が示すこと

AMDのGPU「Radeon AI PRO R9700」で、AIの文章生成速度を大きく引き上げるllama.cppの改善が話題です。Redditのr/LocalLLaMAでは「R9700でstrataのデコード性能を上回る」というPRが取り上げられ[1]、まとめサイトでもすぐに紹介されました[8]。デコードは、AIが回答を1トークンずつ書き出す処理のことです。strataは別の推論エンジンと思われますが、詳細は今回の情報源からはうかがえません。それでも「上回った」の一言だけで、ローカル推論ファンの関心を強く引いたようです。

出発点は、llama.cppのGitHub議論「RDNA4 Llama Experiments」です[4]。投稿者はR9700を2枚挿したUbuntuマシンで、RADV Vulkanというオープンソースのドライバー経由でllama.cppを動かし、速度を絞り出す方法を探りました。いわばハッカー的な試行錯誤です。効果が大きかったのは設定の見直し2点。1つは、一度に処理するトークンのかたまりのサイズを2048まで大きくする指定(例:-ub 2048)です。これだけでQwen3 122Bの生成速度が15トークン/秒から40トークン/秒に跳ね上がりました。MoE 35Bのモデルではprefillが29%向上したという数値も併記されています。もう1つは、グラフィックス用の処理系を計算にも解放する環境変数(GGML_VK_ALLOW_GRAPHICS_QUEUE=1)です。2つ合わせると48トークン/秒に到達します。約3.2倍です。しかもこの改善は、2台のマシンを繋ぐRPC構成でも有効でした。もう1台のノードにはRTX 3090が使われています[4]。

ハードウェア側の実測レポートも役立ちます。R9700を2枚挿したデスクトップでROCm版llama.cppを試したところ、2枚目が活きるのは長い文脈のプロンプト処理(prefill)でした[2]。ROCmは動作するものの、ソフトウェアスタックの選択が結果を左右するとも述べられています。RAGや長文ドキュメントの取り込みでは2枚目に意味があります。一方、対話セッションのような1ストリームの生成は、1枚と同じかやや遅くなることもあったと報告されています[2]。denseモデル(全パラメータを毎回使う通常のモデル)では、量子化(重みを圧縮してメモリを節約する仕組み)をQ5_K_Mという中間の粗さで施したQwen3.6 27Bが、同じ条件のGemma 4 31B itより速く動きました。Gemma 4 26B A4BやQwen3.6 35B A3BといったMoE系はさらに高いスループットを示しますが、構造が違うためdenseとの直接比較はできないとしています[2]。

しかし、このチューニングには思いがけない落とし穴がありました。同じスレッドの参加者が、R9700での奇妙な現象を報告したのです[4]。検証はフラッシュアテンション(アテンション計算を効率化する手法)を有効にした環境で、llama.cppのバージョンb10107によるものです。Qwen3.6-27Bというハイブリッド構造のモデル(GatedDeltaNetと通常のアテンションを組み合わせたもの)で、一度に処理する量を65から256の間に設定すると、スループットが崩落します。prefillでは28〜40倍、decodeでは12倍の差が開きました。同じカードのgpt-oss-20bは、設定を64から512へ上げると1323から3674トークン/秒まで滑らかに伸びます。ドライバーでもカードでもなく、ハイブリッド構造特有の問題のようです[4]。

さらに厄介なのは、公式のベンチマークツールがこの罠に引っかかる点です。llama-benchは生成トークン数が少ないと、処理量の設定を生成数に合わせてしまいます。その結果、128トークンの計測だけで死の帯に入ってしまうのです。実際に128トークンの生成に60.7秒かかったのに対し、512トークンでは20.2秒。生成数が少ないほうが3倍遅いという逆転です[4]。この発見者自身の環境も参考になります。R9700はUSB4経由の外付けドックに接続されており、decodeは26トークン/秒。PCIeスロット直挿しのカードが29〜48トークン/秒を出す中で、接続方式が足かせになったと述べています[4]。

周辺の情報も増えてきました。最適化パッチを公開するリポジトリ[5]や、2026年版としてllama.cppの速度を最大限引き出す方法をまとめたガイド[5]、最適化と新しいQwopus3.5-9BのGGUFモデルを扱う記事[5]などが検索でヒットします。Xの日本のトレンドでは「OpenAIのAI」[3]や「ClaudeDuet」が目立ちました。大手AIの話題が席巻する中でも、ローカル推論の速度を詰める試行は静かに続いています。

今回の流れが示すのは、同じR9700でも設定と計測方法次第で、生成速度が15トークン/秒から48トークン/秒まで変わるという事実です。ハードの新しさだけで語れない、実測カルチャーの面白さが凝縮した話題と言えそうです。ただし死の帯のように、計測の作り方次第で結論が逆転する例もありました。数値は自分の構成と接続方式で確かめること。それがR9700世代のローカル推論における、いちばん確実な最適化になりそうです。