タグ: offload

vLLMが進めるメモリ節約と推論速度の両立

2026.10.31
n-kase

vLLM v0.32.0では、FP8や4bitのKVキャッシュでメモリを減らし、最大31%の出力スループット向上が報告されました。nightlyのPLE disk offloadやQwen3.8-Flashの補助GPU offloadも話題です。

続きを読む →

トップページに戻る

CALENDAR

RECENT POST

RECENT COMMENTS

ウォールコネクターの現地調査。に n-kase より
ウォールコネクターの現地調査。に Hiroki より
Mi Pad 4 LTEにカスタムROMを。に n-kase より
Mi Pad 4 LTEにカスタムROMを。にななしより
early 2006のminiにLion 続き。に Mac mini(2006)にMac OS X 10.7 Lionをインストール | キムラジンブログより

ARCHIVES

CATEGORIES

AI (478)
camera (9)
car (271)
cloud (8)
computer (4)
diary (81)
game (31)
home (16)
internet (8)
lasik (7)
mobile (171)
pc (212)
peripheral (3)
rearing (24)
server (11)
training (21)
未分類 (3)