CUDA MoE kernelの融合で、prefill速度が最大17.2%伸びたと報告された。カーネル起動やGPU同期を減らし、段階ごとに分ける設計が鍵になる。MoE推論の高速化は、メモリ往復や移植性まで含む話だとわかる。
RECENT POST
-
2026.10.29
続：llama.cppの量子化と内部構造が話題 -
2026.10.29
続・Gemini Spark、Google AIの周辺資料から見えた実務の入口 -
2026.10.29
続・GPT追跡 Hobのローカル実装とHNの反響
RECENT COMMENTS