📌 エグゼクティブサマリー
RTX 3090でBF16テンソル演算が1.9倍速くなるというLinuxカーネルモジュールの報告が話題です。ベンチマークでは82→155 TFLOPSと倍近く伸びましたが、実際の推論は10〜12%の向上にとどまりました。ベンチと実用の差が数値でわかる記事です。
手元のRTX 3090が、同じカード・同じドライバ・同じ300Wのまま、BF16テンソル演算が1.9倍速くなった――。こんな報告がRedditのr/LocalLLaMAで注目を集めています[1]。BF16とは、AI計算でよく使われる16ビットの数値形式のことです。投稿者は4枚の3090で確認したといいます。出力結果は一切変わらず、導入はカーネルモジュール1つだけ。この条件が、ローカルでAIを動かすユーザーの関心を強く引いたようです。
きっかけはTwitter上の主張でした。「3090にはCUDAカーネル(GPUで動く計算プログラムの単位)の半分が無効化されているのではないか」という声を見た投稿者が、自ら検証したといいます[1]。報告によれば、NVIDIAは3090を特定の状態で出荷しているというのです。fp32-accumulate(演算結果を32ビット精度で足し合わせる方式)のテンソル演算が、半分の速度で動く状態です。ドライバ自身が「FMLA32=1/2」と表示していたといいます。Zagitta氏作の「gpu-unlock」は、NVIDIAドライバが読み込まれる前にこれをフル速度へ切り替えるLinuxカーネルモジュールです。導入後は冷起動でも4枚すべてが「FMLA32=full」を示したとします[1]。なお、このアンロックはRTX 30〜40番台を対象とした話題で、投稿では他のカードでの検証も呼びかけています。
ベンチマークでは劇的な伸びを示しました。bf16テンソルパイプ(BF16演算の処理経路)は82→155 TFLOPS(TFLOPSは1秒あたりの演算量を示す単位)です。NVIDIAの行列演算ライブラリcuBLASでのBF16 GEMM(行列と行列の掛け算、サイズ8192)は64→99 TFLOPS。TF32(テンソル演算で使われる別の数値形式)は41→79 TFLOPSでした[1]。いずれも倍近くの数字です。RTX 3090はAmpere世代のカードで、AI演算を専門に処理する第3世代Tensor Coreと24GBのG6Xメモリを備えます[2]。兄弟カードの3090 Tiとともに、ローカルAI推論で今もよく選ばれているようです。
ところが、実際の推論での伸びは控えめでした。投稿者は推論エンジン「Strata」でモデル「Qwen3.8 Flash-Next」を2枚のカードで動かし、prefill(プロンプト全体を一括処理する段階)の速度を計測しています。結果は4Kトークンで+12%、10Kで+12%、90Kでは3205→3536 tok/sの+10%です(tok/sは1秒あたりに処理できるトークン数)。導入前に予想していた90Kでの+14〜19%には届かず、投稿者自身が「予想は外れた」と認めました[1]。
理由の分析も丁寧です。GEMMのフェーズ自体は23%短縮されました。ただ、それはStrataのprefill全体の約40%を占めるだけです。int8(8ビット整数に圧縮した形式)のエキスパート部分も速くなりませんでした。エキスパートとは、MoEで処理を分担する専門ネットワークのことです。メモリコピーとCUDAコアのカーネルも変化がなかったと報告されています[1]。ベンチの倍速が推論全体にそのまま乗るわけではない、というわけです。一方で出力は一切変わらず、同じエキスパートキャッシュサイズで1996位置分の出力確率を記録して比べる検証でも、同じ結果だったといいます[1]。速度だけが変わり、中身は変わらない、という確認です。
こうした「手持ちのGPUをもう一段活かす」動きの背景には、ローカルAI人気の高まりがありそうです。日本のXでは「パーソナルAIエージェント」がトレンド語になるなど[3]、AIを手元に置く流れは続いています。24GBのVRAMを持つ3090は、通販サイトやオークションにも今なお多数出品されており[4]、発売から時間が経っても需要が続いているようです。
まとめると、gpu-unlockは3090の隠れた性能を引き出す有効な一手です。ただし効果が大きいのはBF16の行列演算部分に限られ、推論全体では1割前後の向上にとどまる、というのが今回の報告です[1]。それでもカーネルモジュール1つの導入で、出力も変わらないとなれば、試す価値はありそうです。効果の幅がカードやワークロードでどう違うか、今後の検証報告に注目したいところです。
RECENT COMMENTS