llama.cppにFFNのgate/up行列積とGLUを1つのCUDAカーネルにまとめる最適化PRが投稿され、DGX Sparkで最大10.7%、RTX 5090で最大4.6%のprefill高速化が報告されました。一方、V100での別の融合試行は全体が逆に遅くなり取りやめに。カーネル融合の効果と落とし穴を数値で読み解ける記事です。

続きを読む →