Let's take a drive.

3090は古いのに、なぜ今も語られるのでしょうか。2026年のベンチマークでは、RTX 3090は24GBのVRAMと986 GB/sの帯域を持ちます。14Bモデルでは16kコンテキストで平均52.1 tok/s(1秒あたりのトークン数)が出ます。prefill(プロンプト全体を一括処理する段階)は1,679 tok/sと報告されています [2]。中古市場では平均1,000ドルとされています。35Bモデルを4-bit量子化(重みを圧縮してメモリを節約する仕組み)でVRAMに収める狙い目として扱われています [2]。ハッカー的な工夫が試される場です。

Redditでは、2枚の3090で8つのエージェント(自律的に作業するAI)を同時に動かします。それぞれ250Kトークンのコンテキスト(文脈)を持たせ、合計で600+ tok/sを出した報告があります [1]。報告者は、事前にトークンを削る手法を試しましたが、エージェントでは後から必要になるトークンが消えて失敗したと述べています [1]。そこで、KVキャッシュをシステムRAMに置きます。KVキャッシュは、生成に必要な中間データを保持する仕組みです。80GB RAMの仮想マシン(VM)では4ビット相当、128GBなら8ビット相当が目安とされています [1]。さらに、各ステップで約1%のトークンだけを見る工夫も使っています。これはスパースアテンションに近い発想です。スパースアテンションは、全部ではなく注目すべき一部だけを見て計算を減らす仕組みです。

別のReddit報告では、1枚のRTX 3090 Ti(24GB VRAM)と128GB RAMを使っています。PCIe Gen 4 x16(高速接続)で接続し、DeepSeek-V4.1-Flash-1017などのFlashモデルを動かしています [4]。このモデルは552BのMoEで、約39Bがアクティブです。MoEは、専門家ネットワークを部分的に使う仕組みです。decodeは、トークンを1つずつ生成する段階です。実測では、decodeが35 tok/s、Qwen3.8-Flash-Nextが130 tok/sでした [4]。prefillや消費電力の実測値は、確認できません。モデルとKVキャッシュは強い量子化で圧縮され、NVMe(高速ストレージ)に量子化ファイルやKV用の表を置くなど、GPUとCPUとストレージの分担が鍵のようです [4]。

モデル選びも変わっています。24GBのVRAMは上限で、コンテキストを自由に使えるわけではありません [6]。そこで、20B〜35B級を量子化し、コンテキストと速度を残す方針が勧められています [6]。この方針は、モデルの選択肢を選ぶことそのものです。2026年8月の更新では、Qwen3.8-27Bが、Qwen3.6-27Bに代わって最初に試すモデルとして挙げられています [6]。コーディング向けには、Qwen3-Coder-30B-A3B-Instructも勧められています [6]。ベンチマークでは、Gemma 4 26B-A4Bの4-bit量子化版が159.8 tok/s、32kコンテキストで17,430 MiBでした [7]。Nemotron 3.5 Lightningは193.7 tok/sと最速でしたが、タスクでは5回の試行が必要でした [7]。

画像生成も同じカードで動きます。RTX 3090向けガイドでは、32BモデルをGPUだけで動かし、推論時のGPU使用率が80〜97%、速度が17〜90 tok/sと報告されています [5]。同じカードで、画像生成モデルのStable Diffusion SDXLとFLUXも動きます。Ollamaというローカル実行ツールと併用できます [5]。Xでは「AIドット絵バトル」がトレンドに入っています [3]。3090の話題も、画像生成まで含むローカルAIの土台として語られます。

ただし、70Bは1枚では厳しいです。70Bは量子化にもよりますが、48〜80GBのVRAMが必要です。CPUに一部を任せるオフロード、複数GPU、強い量子化が必要になります [2]。生成速度は1桁のtok/sに落ちることもあります [2]。2枚の3090で70Bを試す構築記事もあります [8]。電力面では、1枚なら750W Gold以上が推奨されます [2]。長文では、128kのテストで読み込めたモデルが4つの答えをすべて見つけたという報告もあります [7]。ただし、読み込めたこと自体が品質を保証するわけではありません [7]。RTX 5090のレビューもありますが、3090との具体的な比較数値は確認できません。

結局、3090の話題は「最大のモデルを無理に入れる」ことではありません。24GBのVRAMと帯域を生かし、RAMやNVMeに役割を分担し、エージェントやFlashモデルで速度と長さを両立させる工夫です。古いカードでも、構成の作り方でローカルAIの推論はまだまだ面白くなります。

引用ソース

1. Reddit Reddit r/LocalLLaMA: 8 agents × 250K context, concurrently, on two 3090s (~600+ tok/s total) — https://www.reddit.com/r/LocalLLaMA/comments/1xlk43x/8_agents_250k_context_concurrently_on_two_3090s/
   

   8 agents × 250K context, concurrently, on two 3090s (~600+ tok/s total)

2. Web記事 記事全文: RTX 3090 Local LLM Benchmarks, Context Scaling & Supported Models 2026 … — https://www.hardware-corner.net/gpu-llm-benchmarks/rtx-3090/
   

   Local LLM Performance: 52.1 t/s average on 14B models at 16k context. Updated Benchmarks: March 2026.
   52.1T/s
   1,679T/s
   Even in 2026, we find the NVIDIA RTX 3090 remains a powerhouse for local LLM workloads. In our testin

3. X Xトレンド: AIドット絵バトル — https://trends24.in/japan/
   

   AIドット絵バトル

4. Reddit Reddit r/LocalLLaMA: Getting incredible results with a single RTX 3090ti and 128gb of ram. Deepseek-V4.1-Flash-1017 (35 tok/s decode) and Qwen3.8-Flash-Next (130 tok/s decode) — https://www.reddit.com/r/LocalLLaMA/comments/1xlec67/getting_incredible_results_with_a_single_rtx/
   

   Getting incredible results with a single RTX 3090ti and 128gb of ram. Deepseek-V4.1-Flash-1017 (35 tok/s decode) and Qwen3.8-Flash-Next (130 tok/s decode)

5. Web記事 記事全文: Local LLM & Image Generation on RTX 3090 – GitHub — https://github.com/keturk/llm_on_rtx_3090
   

   Battle-tested guide for local AI inference on Ubuntu 24.04 with NVIDIA GPU acceleration. From fresh OS install to running 32B parameter models at 97% GPU utilization — plus Stable Diffusion image generation on the same c

6. Web記事 記事全文: The best local LLMs for RTX 3090 24GB: the 2026 ranked guide — https://www.popularai.org/p/best-local-llm-rtx-3090-24gb
   

   If you are searching for the best local LLM for RTX 3090 24GB in 2026, the useful answer is no longer “run the biggest 70B quant you can squeeze in.” That was the old hobbyist flex. The better RTX 3090 strategy now is to

7. Web記事 記事全文: Best Local LLMs for RTX 3090: 6 Models Tested – Atomic Chat — https://atomic.chat/blog/guides/best-local-llms-for-rtx-3090
   

   Quick Answer
   Gemma 4 26B-A4B Q4_K_M is our overall pick among the six builds tested on a desktop RTX 3090. It generated 159.8 tokens/s and used 17,430 MiB at 32k. Start with gemma-4-26B-A4B-it-Q4_K_M.gguf and a 32k conte

8. Web記事 Web検索: Dual RTX 3090 for Local LLMs: 70B Benchmarks and Build – ComputingForGeeks — https://computingforgeeks.com/build-dual-rtx-3090-llm/
   

   Dual RTX 3090 for Local LLMs: 70B Benchmarks and Build – ComputingForGeeks

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

• Tweet