CUDA MoE kernelの融合で、prefill速度が最大17.2%伸びたと報告された。カーネル起動やGPU同期を減らし、段階ごとに分ける設計が鍵になる。MoE推論の高速化は、メモリ往復や移植性まで含む話だとわかる。

続きを読む →

llama.cppにFFNのgate/up行列積とGLUを1つのCUDAカーネルにまとめる最適化PRが投稿され、DGX Sparkで最大10.7%、RTX 5090で最大4.6%のprefill高速化が報告されました。一方、V100での別の融合試行は全体が逆に遅くなり取りやめに。カーネル融合の効果と落とし穴を数値で読み解ける記事です。

続きを読む →