GPU1枚で、大型のAIモデルを丸ごと動かす──そんな報告がRedditで話題になっています。投稿先はローカルLLM愛好者のコミュニティr/LocalLLaMAです。主役はQwen3.8-Flash-Nextというモデルを、1.66bpw(重み1つあたり1.66bit)という極端な圧縮で動かした実験です。RTX 5090にモデルをすべて載せ、エキスパート(モデルの一部を担う専門ネットワーク)を一切オフロードせず、毎秒200〜300トークンの推論が安定して続いたと報告されています[1]。
なぜこれが注目されるのでしょう。ローカルLLMとは、クラウドに頼らず自分のPCで動かすAIモデルのことです。RTX 5090は32GBのGDDR7 VRAMと大規模なメモリ帯域を備えたBlackwell世代のGPUで、以前なら企業向けサーバー集群を必要とした規模のモデルを、個人の机に載せられる土台になったと解説されています[2]。ただし、カードを刺すだけでは足りません。鍵を握るのが量子化、つまり重みの数値精度を16bitから4bit以下へ下げてモデルを圧縮する技術です[2]。
量子化の効果は数字がはっきりしています。70B級のモデルを16bitでそのまま読み込むには140GB超のVRAMが必要で、消費者向けGPU1枚では不可能です。4bitへ圧縮すれば40GB未満になり、さらに最適化を重ねれば高性能なモデルを5090の32GBに収められます[2]。速度の仕組みも興味深いのです。推論のボトルネックは演算力よりもメモリ帯域にあり、bit幅を下げるほど1クロックで読めるパラメータが増え、トークンの生成速度が直接伸びていきます[2]。つまり圧縮は速度と容量の両方を左右します。5090は512bitという巨大なメモリバスを持つものの、巨大モデルの前ではそれでも厳しく、圧縮こそが本質的な工夫になるわけです[2]。
今回の投稿が踏み込んだのは、その先の領域です。1.66bpwは2bit未満という、かなり思い切った圧縮率です。GPU推論向けの量子化形式EXL3で組まれたこの構成は、推論が終始安定し、思考がループするような崩れもなく、200〜300トークン/秒で滑らかに動いたと報告されています[1]。長時間の推論セッションでも破綻しなかった点が大きいようです。投稿者は量子化モデルで生成した「液体の猫」のデモ動画も公開しており、モデルはHugging Faceでturboderp名義のEXL3版として公開されています[1]。このモデルの量子化をめぐる試みは他にも広がっていて、品質重視のK4.25+BF16構成を扱うNVIDIAフォーラムの投稿[5]や、exl3-qloraプロジェクトに置かれたqwen38_flash_next_plan.mdという計画文書[4]も見つかります。コミュニティ規模で磨きが進んでいるようです。
ベンチマーク系サイトの計測でも、5090の輪郭が見えてきます。14Bクラスのモデルを16kコンテキストで動かした平均生成速度は102.7トークン/秒という数値が示されています[3]。計測は4Kから128K、最大で256Kのコンテキスト階層で行われています[3]。同サイトは「テストでは前世代より有意に高い性能と、より実用的なコンテキストを提供する強力な候補」と評価しています[3]。特に最新のQwen 3.5系モデルをエージェント的なワークフローで動かす場面では、速度と文脈処理の余裕が体感的な差になると述べています[3]。32GB搭載の5090に向いたローカルLLMを整理する専用ページ[4]や、限界をガイド形式でまとめた記事[5]も登場しており、ローカルAIカルチャーの中で5090を巡る情報が一気に増えています。
しかし、夢を見ているだけでは済まないのが現場です。まず文脈長の壁です。投稿者によれば、KVキャッシュ(会話の記憶を保持するデータ)を量子化して節約しても、32GBではコンテキストの確保に余裕がほとんど残りません。かなりの圧縮を重ねても、1枚の32GB GPUでは文脈領域は狭いままというのです[1]。ベンチマークサイトのFAQも、70B級モデルはどの量子化でもVRAMに丸ごと収まらないと答えています[3]。そして現実的なのが価格です。平均市場価格は3,699ドルで、参入コストは極めて高いと指摘されています[3]。電源も1枚で推奨950W Gold以上、高性能CPUと組むなら1000W以上が目安とされます[3]。高価なカードを買っても、文脈とモデル規模の両方を満たすには工夫が要るという構図です。
素材の範囲で確認できる情報には、まだ穴もあります。今回の1.66bpw構成では、prefill(プロンプト読み込み)の速度や消費電力の実測値は示されていません。llama.cpp(定番のオープンソース推論エンジン)など他エンジンとの比較や、5060Ti・3060など別GPUとの違いを示す数値も、素材には見つかりませんでした。前世代との比較も「有意に高い」という評価のみで、具体的な差分の数字はありません[3]。推測で数字を補わないため、ここは正直に整理しておきます。
それでも、一連の報告が示す方向ははっきりしています。ハードの進化を待つだけでなく、1.66bpwという圧縮の工夫によって「1枚で載るモデルの規模」を押し広げられる──ハッカー的な試行の積み重ねが、性能の壁を実際に動かしているのです。32GBという容量の壁と高価格は当面残るでしょう。それでも、どのbit幅なら速さと品質を両立できるかを探る動きは続くと思われます。1枚のカードがサーバー級のモデルを手元に引き寄せた事実は、ローカルAIの裾野を広げていくのかもしれません。
RECENT COMMENTS