AI推論vLLMの速度を測る、GPU混在とベンチマークの現在地

AIやhackerの話題が好きな読者にとって、この実験はvLLMの得意な領域と限界を映しています。Redditでは、RTX 5090とStrix HaloのiGPU(内蔵GPU)を同時に推論に使う試みがありました。vLLMはCUDA(NVIDIA向け)GPU同士、またはROCm(AMD向け)GPU同士なら推論できますが、両方を1つのプロセスで同時に使うのは想定外です。llama.cppのVulkan(異なるGPUを扱うAPI)バックエンドは両対応でしたが、RTX 5090でのprefill(プロンプト全体を一括処理する段階)が遅いという課題がありました。そこでProject MAYAのフォークを使い、GLM-5.3-Flash Maya-M GGUF(量子化モデルの保存形式)をCUDAとROCmで分担しました。CUDA側はattention(文の関連を見る計算)、共通層、専門家キャッシュ(専門家結果の一時保存)を担い、ROCm側はMoE(専門家ネットワーク)の補完的な専門家を実行して、同じプロセス内でprefillとdecode(トークンを1つずつ生成する段階)を連携させます。この分担により、最大48%の高速化が報告されています[1]。

この話題が示すのは、vLLMが単体のエンジンではなく、ベンチマークと運用の基準になっている点です。NVIDIA向けのvLLMベンチマークスイートでは、スループット(処理量)、遅延、GPU使用率、電力を測り、16bitと4bit系など複数の量子化方式を比較できます。量子化は重みを圧縮してメモリを節約する仕組みで、クラウドAPIとのコスト比較もでき、CUDA 12+のNVIDIA GPUで動きます。サンプル出力では、CodeLlama-34B-AWQ(4bit量子化版)を4リクエスト同時で、入力512トークン・出力256トークンとした場合、TTFT(最初のトークンまでの時間)187.3ms、TPOT(1トークン生成の平均時間)12.4ms、42.1 tokens/sec、VRAM(メモリ)のピーク19.2GB、GPU使用率87%、平均消費電力142Wが記録されています[2]。

AMD側でも同じ発想で、MI300X/MI250でvLLMをROCm上で動かし、tokens/sec、TTFT、p50/p99(中央値と99%遅延)を測るツールがあります。MI300Xは1GPUに192GBの高速メモリHBM3を積むため、70Bモデルを1枚で載せられる可能性があり、複数GPUに分割する仕組みも不要になります。CUDAが既定ですが、ROCmの成熟度を数字で確かめる狙いです[6]。vLLM公式もAMD向けにCK Flash Attention(AMD向けのattention高速化)などの最適化を進め、移植にとどまらない性能作りを強調しています[5][7]。

記事全文: GitHub - raymondfrey/rocm-vllm-benchmark: Benchmark LLM inference ... — 画像出典: 記事全文: GitHub – raymondfrey/rocm-vllm-benchmark: Benchmark LLM inference …

記事全文: Performance Benchmarks & Hardware Comparisons | vllm-project/vllm ... — 画像出典: 記事全文: Performance Benchmarks & Hardware Comparisons | vllm-project/vllm …

ハードウェア世代の差も大きく、vLLMはNVIDIA、AMD、Intel、TPU(GoogleのAI向けチップ)など幅広いハードウェアを想定しています。ベンチマークの説明では、スループットと遅延のトレードオフを地図のように評価します。NVIDIA BlackwellのB200/GB200は、前の世代のHopper H100と比べて最大4倍のスループットを出すとされており、その要因はFP4(4bitで重みを表す量子化形式)対応と、FlashInfer(GPU向けの高速attentionライブラリ)の計算部品です。一方、GPUが速くなるほどCPU側がボトルネックになるため、V1エンジン(新しい実行基盤)では、GPUの処理をまとめて進め、複数のGPU計算を1回の起動にまとめる最適化で待ち時間を減らしています[5]。

ただし、比較記事は危うさも抱えています。vLLMとTensorRT-LLMの比較では、インストールと1つの起動コマンドで、OpenAI APIと同じ形式のマルチGPU(複数GPU)サーバーをNVIDIA、AMD ROCm、Intel XPU、Apple Siliconで立てられるため、vLLM v0.25.1が既定の選択肢とされています。TensorRT-LLMはNVIDIA専用ですが、1.2.x以降はPyTorch(機械学習の基盤ライブラリ)ベースの実行経路が既定になり、事前のエンジンビルドなしで起動でき、旧TensorRTエンジン経路は縮小方向です。重要なのは、どのツールにも万能な「何%速い」はない、という点です[4]。

画像出典: 記事全文: vLLM vs TensorRT-LLM: Multi-GPU Inference Benchmarks (2026)

さらに、この比較記事は過去に架空のベンチマーク数値を載せていたと訂正し、検証可能な方法で自分のハードウェアで測るべきだと書き直されました[4]。vLLMの話題では、48%や4倍といった数字が独り歩きしやすく、Xトレンドには「Soranji」も上がっていましたが、vLLMの話題との関係は確認できません[3]。

結局、vLLMの価値は「動く」ことより「測れる」ことにあるようです。GPU混在の実験は、vLLMがまだベンダーごとに構成を揃えた環境を前提にしていることを示しました。NVIDIAのRTX 4000 Ada向け設定や、AMD MI300Xの192GBという具体的な数値もあります。手持ちのGPUで試す人は、まず同じ条件のセットでスループットと遅延を比べるのが近道です[2][6]。

引用ソース

Reddit Reddit r/LocalLLaMA: CUDA+ROCm dual-backends LLM inference for mixed-vendor GPUs (up to 48% faster) — https://www.reddit.com/r/LocalLLaMA/comments/1xsaurn/cudarocm_dualbackends_llm_inference_for/

CUDA+ROCm dual-backends LLM inference for mixed-vendor GPUs (up to 48% faster)
Web記事 記事全文: GitHub – Goliohs/vllm-benchmark: vLLM inference benchmarking for NVIDIA … — https://github.com/Goliohs/vllm-benchmark

Real-world LLM inference benchmarking on NVIDIA GPUs — measure, compare, and document vLLM performance for AI/ML Infrastructure roles.
This repository provides a complete, production-ready benchmarking suite for vLLM on
X Xトレンド: Soranji — https://trends24.in/japan/

Soranji
Web記事 記事全文: vLLM vs TensorRT-LLM: Multi-GPU Inference Benchmarks (2026) — https://markaicode.com/benchmarks/cuda-multi-gpu-benchmark/

Editor’s note (2026-07-15): An earlier version of this page presented specific first-party throughput, latency, and memory numbers (“38 tok/s/GPU,” fabricated dashboards, invented failure logs) as if they came from an in
Web記事 記事全文: Performance Benchmarks & Hardware Comparisons | vllm-project/vllm … — https://deepwiki.com/vllm-project/vllm-project.github.io/11-performance-benchmarks-and-hardware-comparisons

The vLLM project maintains a rigorous focus on performance, treating it as a top priority for the engine’s development _posts/2024-07-25-lfai-perf.md32-34 This page provides a high-level overview of the benchmarking meth
Web記事 記事全文: GitHub – raymondfrey/rocm-vllm-benchmark: Benchmark LLM inference … — https://github.com/raymondfrey/rocm-vllm-benchmark

A small toolkit for benchmarking LLM inference throughput and latency on AMD GPUs (MI300X / MI250) using vLLM on the ROCm stack.
I built this while evaluating ROCm as a deployment target for serving open-weight models. T
Web記事 Web検索: Beyond Porting: How vLLM Orchestrates High-Performance Inference on AMD … — https://vllm.ai/blog/2026-02-27-rocm-attention-backend

Beyond Porting: How vLLM Orchestrates High-Performance Inference on AMD …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。