vLLMはAI推論エンジンだけでなく、ベンチマークやマルチGPU運用の基準です。RTX 5090とAMD iGPUの混在実験では、対応範囲の限界と48%高速化の工夫が示されました。NVIDIAとAMDの具体値から速度比較の落とし穴まで読み解きます。

続きを読む →

AIの推論エンジンは、ローカル実行の試行錯誤とH100ベンチマークが同時に進む状況です。TensorRT-LLMはvLLMより15〜25%速い一方、vLLMは400以上のモデル対応で運用が楽です。構成と数値から選び方の軸がわかります。

続きを読む →

vLLM v0.32.0では、FP8や4bitのKVキャッシュでメモリを減らし、最大31%の出力スループット向上が報告されました。nightlyのPLE disk offloadやQwen3.8-Flashの補助GPU offloadも話題です。

続きを読む →

vLLMの改良コードからQwen4-27Bの新アーキテクチャを示すPRが一瞬公開後に削除され話題に。公式レシピのQwen3.8-27Bは64層のうち16層だけフルアテンションで、262144トークンの文脈に対応。PCIe環境のNCCL不具合と回避策も紹介し、vLLMが最新モデル検証の中心である実態がわかります。

続きを読む →

JVMだけで動く依存ゼロの推論スタック「Quixotic AI」がHacker Newsで話題です。全体を2.6MBのJAR1つに収め、CPUではllama.cppに匹敵すると作者が説明。第三者実測はまだなく、vLLMなどランタイム勢の実力比と合わせて検証状況を整理します。

続きを読む →

依存ゼロ・2.6MBのJARで動くJVM製推論エンジンが話題です。作者はCPU上でllama.cppに競争力があると説明。一方2026年の比較では、llama.cpp系はVRAMの30〜50%をKVキャッシュで失い、vLLMは高負荷でOllamaの16〜20倍速く、単独利用と同時処理で主役が分かれています。

続きを読む →

RTX 3080 20GBで、NVIDIAが無効化していたP2PとreBARを有効化する改造が話題です。tensor parallel時のプロンプト処理が70%、prefillが約20%速くなる一方、decodeは変化なしです。RTX 20〜40シリーズへ広がるコミュニティ改造の実力と限界を整理します。

続きを読む →

JARファイル1つで動くJVM製推論エンジンの「llama.cpp超え」主張は、Hacker Newsでスコア1・コメント0件のままです。2026年のエンジン比較では単独速度の差は62〜71トークン/秒と小さく、勝負どころは同時処理のスループットです。検証ツールはすでに整っています。

続きを読む →

JVM上で動く推論エンジンが、依存ライブラリなしのJARファイル1つでローカル推論ができ、llama.cppより速いと主張してHacker Newsに投稿されました。ただしコメントはなく、根拠数値も素材では未確認です。比較記事が乱立するローカル推論分野に、検証待ちの新顔が登場しました。

続きを読む →

vLLM周辺で、27Bクラスを1枚のGPUで動かす試みが進んでいます。Qwen3.6-27Bは量子化とDFlashの草案検証で、256トークン出力・1〜4同時ストリームを合計33.7秒で処理。一方でVRAMだけでは速度は決まらず、次期Qwen4のKVキャッシュも減らないようです。

続きを読む →