vLLMはAI推論エンジンだけでなく、ベンチマークやマルチGPU運用の基準です。RTX 5090とAMD iGPUの混在実験では、対応範囲の限界と48%高速化の工夫が示されました。NVIDIAとAMDの具体値から速度比較の落とし穴まで読み解きます。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS