Let's take a drive.

「手元のGPUには、まだ眠っている力がありました。」Redditのr/LocalLLaMAで、NVIDIAのRTX 30/40シリーズの性能制限を解除するツールが大きな話題になっています。LLM推論のprefill(プロンプト全体を一括処理する段階)が最大2倍に速くなるという報告です。スレッドのタイトルには、すでに「価格も高騰している」という一言が添えられていました[1]。

中心になっているのは、GitHubユーザーZagittaが公開したオープンソースプロジェクト「GPU Unlock」です。RTX 30シリーズ(Ampere)には、プロ向け製品と比べて抑えられた計算性能がありました。このツールは、ドライバの改造もVBIOSのフラッシュ(書き換え)もせずに、その制限を解除します[3]。狙いは、FP16/BF16という16ビット計算でのTensor Core(AI計算をまとめて処理する専用回路)の命令発行レート制限です。消費者向けカードでは、ここが低いレートに固定されていました[3]。つまり、GPUが本来持っていた性能を、設定の変更で引き出す発想です。

仕組みも工夫されています。LinuxカーネルモジュールがNVIDIAドライバの読み込み前に動き、ハードウェアの速度セレクタを書き換えます。その後、GPUをFunction Level Reset(機能単位のリセット)してから、無修正の公式ドライバで通常どおり初期化する流れです[3]。ドライバが更新されるたびにパッチを当て直す必要もありません[3]。対応チップはGA102/GA103/GA104/GA106で、RTX 30シリーズの大部分をカバーします[3]。RTX 40シリーズにも大きな速度向上をもたらすという報告が、他のまとめサイトからも出ています[4]。

ヒントになったのは、CMP170HXというマイニング向けGPUの改造研究です。CMP170HXは、データセンター向けのA100からディスプレイ出力をなくした版にあたります。そこで見つかった手法が、リバースエンジニアリング(製品を解析して仕組みを解き明かすこと)を経て、消費者向けのAmpereとAdaにも応用されたようです[2]。効果は数字ではっきり出ています。Llama-3などのモデルでprefill速度が最大2倍。RTX 3090が「低予算ワークステーションの主力」になるとの評価です[2]。wccftechの記事では、実使用での向上が最大60%(約1.6倍)という表題にもなっています[3]。RTX 3080 TiのユーザーからもBF16スループットの向上報告が寄せられています[3]。実際にCMP170HXを2枚使ってvLLM(オープンソースの推論エンジン)でサービングする手順をまとめた資料も現れました[4]。

なぜ、こんな「封印」があったのでしょう。LLM推論では、prefillは計算量が支配的な段階で、decode(トークンを1つずつ生成する段階)はメモリ帯域が支配的な段階です。NVIDIAはGeForceのドライバとBIOSにソフト的な仕切りを設け、消費者向けカードがA100/H100のような高利益製品の売り上げを奪わないようにしてきました[2]。解析記事は、今回のツールを市場セグメンテーション(顧客層ごとに製品を分ける戦略)への直接的な脅威と述べ、オープンソースコミュニティとNVIDIAの「猫と鼠」ゲームだと表現しています[2]。prefillの速度は推論全体の体感を左右するだけに、NVIDIA自身もchunked prefill(prefill処理を小分けにする手法)を開発者向けに解説するほどの重要テーマです[6][4]。

ただし、万能ではありません。互換性と性能向上はカードごとに保証されず、RTX 3090 Tiを450Wに設定したGEMM(密行列計算)テストの結果がGitHubで公開されているものの、環境による差はあるようです[3]。そして皮肉なことに、市場はすぐに反応しました。情報が出てから数時間で、RTX 3090や4090など高VRAMカードの中古価格がeBayなどで15〜20%上昇しています[2]。Redditのスレッドも「買うか、売るか、急げ」という投機的なトーンです[1]。性能が2倍になれば需要が動く。投機的な空気が、技術の検証より先に走った形です。

古いはずのGPUが再評価され、価格が先に動いた。この一件が示すのは、消費者向けとエンタープライズの境界が、チップの実力ではなく設定で引かれてきた可能性です。手元のカードがどれだけ伸びるかは、試してみないとわかりません。それでも、推論を自前のハードで動かす層には大きな意味を持つ動きです。NVIDIAが次にどう手を打つか。いたちごっこはしばらく続きそうです。

引用ソース

1. Reddit Reddit r/LocalLLaMA: CMP170HX inspiration unlocks 30x/40x also, up to 2X Prefill speedup –> NVIDIA RTX 30 & RTX 40 GPUs Get Impressively Fast In AI LLMs As Compute Doubles With New Unlock Tool But Prices Surge Too — https://www.reddit.com/r/LocalLLaMA/comments/1xelhpj/cmp170hx_inspiration_unlocks_30x40x_also_up_to_2x/
   

   CMP170HX inspiration unlocks 30x/40x also, up to 2X Prefill speedup –> NVIDIA RTX 30 & RTX 40 GPUs Get Impressively Fast In AI LLMs As Compute Doubles With New Unlock Tool But Prices Surge Too

2. Web記事 記事全文: NVIDIA RTX 30/40 GPU Compute Unlock: 2x Prefill Speedup Triggers Market … — https://baguaai.com/nvidia-rtx-30-40-gpu-compute-unlock-2x-prefill-speedup-triggers-market-surge-and-disrupts-product-segmentation/
   

   NVIDIA RTX 30/40 GPU Compute Unlock: 2x Prefill Speedup Triggers Market Surge and Disrupts Product Segmentation
   Event Core
   A seismic shift has hit the LocalLLaMA community: a new unlock tool, inspired by the CMP170HX min

3. Web記事 記事全文: NVIDIA GeForce RTX 30 GPUs Get Up To 2X Faster AI Compute … – Wccftech — https://wccftech.com/nvidia-geforce-rtx-30-gpus-get-up-to-2x-faster-ai-compute-performance-with-new-gpu-unlock-mod-real-world-gains-of-up-to-60/
   

   NVIDIA’s aging GeForce RTX 30 Series (codename Ampere) GPUs apparently have a considerable amount of untapped computing potential. A new open-source project called GPU Unlock, developed by GitHub user Zagitta, allows Amp

4. Web記事 Web検索: 2x CMP 170HX for LLM inference: unlock, cross-root P2P, serving (vLLM … — https://gist.github.com/sekkit/e83c16d1eeeb1e16e08d67b28901a66c
   

   2x CMP 170HX for LLM inference: unlock, cross-root P2P, serving (vLLM …

5. Web記事 Web検索: NVIDIA RTX 30 & 40 GPUs See Massive AI Speedups with New Unlock Tool — https://pulseaugur.com/cluster/320161-nvidia-rtx-30-40-gpus-see-massive-ai-speedups-with-new-unlock-tool
   

   NVIDIA RTX 30 & 40 GPUs See Massive AI Speedups with New Unlock Tool

6. Web記事 Web検索: Streamlining AI Inference Performance and Deployment with NVIDIA … — https://developer.nvidia.com/blog/streamlining-ai-inference-performance-and-deployment-with-nvidia-tensorrt-llm-chunked-prefill/
   

   Streamlining AI Inference Performance and Deployment with NVIDIA …

7. Web記事 Web検索: Mastering LLM Techniques: Inference Optimization – NVIDIA Developer — https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/
   

   Mastering LLM Techniques: Inference Optimization – NVIDIA Developer

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

• Tweet