BaiduがKVキャッシュを最大4分の1に圧縮する新手法VHAを発表。GQA比でベンチマーク+0.05〜+0.81%を維持しつつキャッシュを削減し、学習とprefillの計算量も7.9%減。推論時は既存のGQA最適化をそのまま使える点が注目です。
RECENT POST
-
2026.11.13
AIチャットは性能差より監視と推論設計が分かれ目 -
2026.11.12
AIエージェントは業務の入口で試されている -
2026.11.12
Fireworks AIが2回目の侵害を通知、推論基盤の被害が拡大
RECENT COMMENTS