中古RTX 3090を2枚で48GBにする構成が、ローカルAIの定番として続いています。既定設定ではPCIeがGen3に落ち、P2PがCPU経由になり、2048トークン超で出力が乱れる報告もあります。48GBを1.5〜2倍に活かすPCIe設定とR9700比較を追います。
タグ: R9700
R9700で推論速度3倍、llama.cpp改善の実測が示すこと
llama.cppでAMD Radeon AI PRO R9700の推論を速める試行が話題です。処理量とグラフィックス処理系の設定見直しで、Qwen3 122Bが15トークン/秒から48トークン/秒に向上しました。一方で特定の設定帯で速度が崩れる落とし穴も見つかり、実測の大切さが浮かぶ内容です。
R9700でStrata超え?llama.cpp性能改善PRが話題
AMDのGPU「Radeon AI PRO R9700」でllama.cppの性能を引き出す動きが話題です。まとめ処理の設定見直しだけでQwen3 122Bが15 t/sから40 t/s、2つの工夫で48 t/sに向上。一方、特定設定では逆に速度が落ちる落とし穴も判明しました。
RECENT POST
-
2026.11.11
続・RTX 3090、2026年の中古で24GBとNVLinkが再評価される -
2026.11.11
続・Qwen4、4種とFlashが示すローカル実行の行方 -
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵
RECENT COMMENTS