GPU1枚で、大型のAIモデルを丸ごと動かす──そんな報告がRedditで話題になっています。投稿先はローカルLLM愛好者のコミュニティr/LocalLLaMAです。ローカルLLMとは、クラウドに頼らず自分のPCで動かすAIモデルのこと。主役はQwen3.8-Flash-Nextというモデルです。これを1.66bpw(重み1つあたり1.66bit)という極端な圧縮で動かしたのが今回の実験です。エキスパート(モデルの一部を担う専門ネットワーク)をCPUに逃がさず、モデルをすべてRTX 5090に載せたまま、毎秒200〜300トークンの推論が安定して続いたと報告されています[1]。
なぜ注目されるのでしょう。RTX 5090は、32GBのVRAM(グラボに搭載されたメモリ)を備えたBlackwell世代のGPUです。メモリからデータを読み出す速度を示すメモリ帯域も大きくなっています。以前なら企業向けサーバー集群を必要とした規模のモデルを、個人の机に載せられる土台になったと解説されています[2]。ただし、カードを刺すだけでは足りません。鍵を握るのが量子化です。重みの数値精度を16bitから4bit以下へ下げて、モデルを圧縮する技術のことです[2]。
量子化の効果は数字がはっきりしています。70B級のモデルを16bitでそのまま読み込むには140GB超のVRAMが必要で、消費者向けGPU1枚では不可能です。4bitへ圧縮すれば40GB未満になり、さらに最適化を重ねれば高性能なモデルを5090の32GBに収められます[2]。速度の仕組みも興味深いのです。推論のボトルネックは演算力よりもメモリ帯域にあります。bit幅を下げるほど1クロックで読めるパラメータが増え、トークンの生成速度が直接伸びていきます[2]。つまり圧縮は速度と容量の両方を左右します。5090は512bitという巨大なメモリバス(データの通り道の幅)を持つものの、巨大モデルの前ではそれでも厳しく、圧縮こそが本質的な工夫になるわけです[2]。
今回の投稿が踏み込んだのは、その先の領域です。1.66bpwは2bit未満という、かなり思い切った圧縮率です。この構成はGPU推論向けの量子化形式EXL3で組まれています。推論は終始安定し、思考がループするような崩れもなく、200〜300トークン/秒で滑らかに動いたと報告されています[1]。長時間の推論セッションでも破綻しなかった点が大きいです。投稿者は量子化モデルで生成した「液体の猫」のデモ動画も公開しています。モデルはHugging Faceでturboderp名義のEXL3版として公開されています[1]。量子化をめぐる試みは他にも広がっていて、品質重視の構成(K4.25+BF16)を扱うNVIDIAフォーラムの投稿[5]や、exl3-qloraプロジェクトの計画文書[4]も見つかります。コミュニティ規模で磨きが進んでいます。
ベンチマーク系サイトの計測でも、5090の輪郭が見えてきます。14Bクラスのモデルを16kコンテキストで動かした平均生成速度は102.7トークン/秒でした[3]。コンテキストとは、AIが一度に扱える文脈情報の量のことです。計測は4Kから128K、最大で256Kのコンテキスト階層で行われています[3]。同サイトは「テストでは前世代より有意に高い性能と、より実用的なコンテキストを提供する強力な候補」と評価しています[3]。特に最新のQwen 3.5系モデルをエージェント的なワークフローで動かす場面では、速度と文脈処理の余裕が体感的な差になると述べています[3]。エージェント的なワークフローとは、AIに作業を連続して任せる使い方のことです。32GB搭載の5090に向いたローカルLLMを整理する専用ページ[4]や、限界をガイド形式でまとめた記事[5]も登場しており、5090を巡る情報が一気に増えています。
しかし、現場には壁もあります。まず文脈長の壁です。投稿者によれば、KVキャッシュ(会話の記憶を保持するデータ)を量子化して節約しても、32GBではコンテキストの確保に余裕がほとんど残りません。かなりの圧縮を重ねても、1枚の32GB GPUでは文脈領域は狭いままというのです[1]。ベンチマークサイトのFAQも、70B級モデルはどの量子化でもVRAMに丸ごと収まらないと答えています[3]。そして現実的なのが価格です。平均市場価格は3,699ドルで、参入コストは極めて高いと指摘されています[3]。電源も1枚で推奨950W Gold以上、高性能CPUと組むなら1000W以上が目安とされます[3]。高価なカードを買っても、文脈とモデル規模の両方を満たすには工夫が要るという構図です。
一方、確認できた情報にはまだ穴もあります。今回の1.66bpw構成では、prefill(プロンプト読み込み)の速度や消費電力の実測値は示されていません。llama.cpp(定番のオープンソース推論エンジン)など他エンジンとの比較や、5060Ti・3060など別GPUとの違いを示す数値も見つかりませんでした。前世代との比較も「有意に高い」という評価のみで、具体的な差分の数字はありません[3]。推測で数字を補わないため、ここは正直に整理しておきます。
それでも、一連の報告が示す方向ははっきりしています。ハードの進化を待つだけでなく、1.66bpwという圧縮の工夫によって「1枚で載るモデルの規模」を押し広げられるのです。試行の積み重ねが、性能の壁を実際に動かしています。32GBという容量の壁と高価格は当面残るでしょう。それでも、どのbit幅なら速さと品質を両立できるかを探る動きは続くと思われます。1枚のカードがサーバー級のモデルを手元に引き寄せた事実は、ローカルAIの裾野を広げていくのかもしれません。
RECENT COMMENTS