タグ: Baidu

KVキャッシュを4分の1に、Baiduの新手法VHAが注目を集める

📌 エグゼクティブサマリーBaiduがKVキャッシュを最大4分の1に圧縮する新手法VHAを発表。GQA比でベンチマーク+0.05〜+0.81%を維持しつつキャッシュを削減し、学習とprefillの計算量も7.9%減。推論時は既存のGQA最適化をそのまま使える点が注目です。 LLMに長い文章を扱わせる […]

続きを読む

トップページに戻る

CALENDAR

2026年10月
日 月 火 水 木 金 土
 123
45678910
11121314151617
18192021222324
25262728293031

ARCHIVES

CATEGORIES