続・NVIDIA：旧GPUでMamba推論、CUDA評価も進む

古いNVIDIA GPUがAI推論の現場で再び使われ始めています。2013年頃にE-Waste（電子廃棄物）と呼ばれたKepler世代でも、Mamba-1（状態空間モデルという系列処理の仕組み）をWindows上のPyTorch 2.7.1で動かす試作が公開されました[1][4]。単なる遊びではなく、2013年のTesla K40cでPyTorchの参照実装と比べて、最大絶対誤差3.8e-06という数値が示されています[1][4]。

記事全文: Mamba SSM for legacy cuda devices on windows - GitHub — 画像出典: 記事全文: Mamba SSM for legacy cuda devices on windows – GitHub

この試作は、新しいAIスタックが旧GPUを切り捨てる前提に反発するものです。開発者はCUDA（NVIDIA GPU向けの計算基盤）を11.8でビルドしたPyTorch 2.7.1の独自版を用意し、GPUの世代を示すSM 3.5から7.5までを想定しました[1][4]。TritonというGPUカーネル生成の仕組みへの依存を外し、純粋なCUDAカーネルへフォールバックさせる工夫も入っています[4]。Windowsで複数GPUを使うためのNCCL（GPU間通信の仕組み）も移植され、DDP（複数GPUで学習を分割する仕組み）の土台までが狙いです[1][4]。

ローカル推論の話題も続いています。NVIDIAはRTX Spark向けのllama.cpp（ローカル推論の仕組み）の手順を公開し、Qwen3.8-27Bのようなモデルを自分のPCで動かす例を示しています[3]。VRAM（GPUのメモリ）の量でモデルを選び、OpenAI互換（同じ形式で呼び出せる）APIとしてローカルサーバーに接続できます[3]。起動時に出る警告も、メモリ確保の途中では正常な場合があると説明されています[3]。

画像出典: 記事全文: Run LLMs on Your NVIDIA Device | RTX Spark

一方、NVIDIA側はAIにCUDAを書かせる評価も進めています。ComputeEvalは、LLM（大規模言語モデル）が生成したCUDAコードの正しさと性能を測るベンチマークです[2][6][7]。カーネル、ランタイムAPI、GPUライブラリ、テンプレートやDSL（独自言語でGPUコードを書く仕組み）による実装まで扱います[2]。CUTLASS（GPU向けテンプレートライブラリ）関連のグループでは、CUDA Toolkit 13.1とCUTLASS 4.6.1という固定のセットアップで評価している点も示されています[2]。

ここで面白いのは、旧GPUの復活と新GPUの評価が同じ「CUDA」という土台で語られている点です。PyTorch 2.7.1のバージョン動向や、Turing世代の互換ガイドのように、世代ごとの対応表も残っています[7]。関連投稿では、llama.cppのフォークでKepler以上の旧GPUが60 TPS（1秒あたり60トークン）を出したという話や、RTX 5080と3080を一緒に使う話も出ています[5]。

ただし、万能ではありません。Mamba-1は動いても、Mamba-2とMamba-3はこの旧CUDA版では対象外です[1][4]。MSVC（Windows向けのC++コンパイラ）の厳しいC++17要件や、POSIX（Linux系で使われる規則）由来の定数など、移植の壁も具体的に書かれています[4]。RTX Sparkの例でも、推奨モデルは27B級であり、VRAMの量で選ぶ前提です[3]。小規模GPUでは対象外になりやすいと思われます。

結局、話題の中心は「新しいAIを、手持ちのNVIDIA GPUでどこまで使えるか」に移っています。旧GPUの再活用は、AIのカルチャーとしてはハッカー的な実験に見えますが、数値とセットアップ手順が残ることで、実用候補になります[1][4]。推論の速度や品質は機種ごとに違うため、自分のVRAMと世代を確かめてから試すのが安全です。

引用ソース

Reddit Reddit r/LocalLLaMA: Resurrecting 2013 E-Waste: Native CUDA Mamba-1 & PyTorch 2.7.1 on Windows (Kepler–Turing, SM 3.5–7.5) — https://www.reddit.com/r/LocalLLaMA/comments/1xr97iz/resurrecting_2013_ewaste_native_cuda_mamba1/

Resurrecting 2013 E-Waste: Native CUDA Mamba-1 & PyTorch 2.7.1 on Windows (Kepler–Turing, SM 3.5–7.5)
Web記事 記事全文: GitHub – NVIDIA/compute-eval: Evaluating Large Language Models for CUDA … — https://github.com/NVIDIA/compute-eval

A benchmark for evaluating LLM-generated CUDA code on correctness and performance.
ComputeEval provides a growing set of handcrafted CUDA programming challenges — spanning kernels, runtime APIs, GPU libraries, and templa
Web記事 記事全文: Run LLMs on Your NVIDIA Device | RTX Spark — https://build.nvidia.com/rtx-spark/running-llamacpp/overview

Choose a model and spin it up locally on your NVIDIA system for privacy, control, and unlimited free experimentation without any token anxiety.
Most users will not require this playbook. Apps that use local AI will often
Web記事 記事全文: Mamba SSM for legacy cuda devices on windows – GitHub — https://github.com/theIvanR/mamba-on-clunkers

A Windows-native implementation of the Mamba State Space Model (Mamba-1), adapted to support legacy NVIDIA GPU architectures within a modern PyTorch environment. The project focuses on retaining native CUDA support for o
Web記事 記事全文: Mamba-1 & PyTorch 2.7.1 auf Legacy-NVIDIA-GPUs: Port für Kepler bis … — https://www.lumeric.app/post/1ab393a4-005a-437d-bbb6-ac32ae87a932

Mamba-1 & PyTorch 2.7.1 auf Legacy-NVIDIA-GPUs: Port für Kepler bis Turing
Verwandte Beiträge
– reddit.com2w llama.cpp-Fork bringt Legacy-NVIDIA-GPUs (Kepler+) auf über 60 tps
– reddit.com6h Alte GPU nicht verkaufen: RTX
Web記事 Web検索: Announcing ComputeEval, an Open Source Framework for Evaluating LLMs on … — https://developer.nvidia.com/blog/announcing-computeeval-an-open-source-framework-for-evaluating-llms-on-cuda/

Announcing ComputeEval, an Open Source Framework for Evaluating LLMs on …
Web記事 Web検索: Announcing ComputeEval, an Open-Source Framework for Evaluating LLMs on … — https://forums.developer.nvidia.com/t/announcing-computeeval-an-open-source-framework-for-evaluating-llms-on-cuda/330523

Announcing ComputeEval, an Open-Source Framework for Evaluating LLMs on …
Web記事 Web検索: Release 2.7.1 Final RC is available – Release Announcements – PyTorch … — https://dev-discuss.pytorch.org/t/release-2-7-1-final-rc-is-available/3022

Release 2.7.1 Final RC is available – Release Announcements – PyTorch …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。