llama.cppにFFNのgate/up行列積とGLUを1つのCUDAカーネルにまとめる最適化PRが投稿され、DGX Sparkで最大10.7%、RTX 5090で最大4.6%のprefill高速化が報告されました。一方、V100での別の融合試行は全体が逆に遅くなり取りやめに。カーネル融合の効果と落とし穴を数値で読み解ける記事です。

続きを読む →

llama.cppでFFNのゲート/アップ計算とGLUを1つにまとめるCUDA最適化PRが話題です。DGX SparkではLlama-3.1-8Bのprefill速度が最大10.7%向上、RTX 5090でも数%の改善が報告されました。CUDA Graphsなど周辺の最適化の動きも合わせて解説します。

続きを読む →