[2026-11-14 更新] NvidiaがAIチップの追跡を強めています。東南アジアのパートナーにFleet Intelligenceへの登録を求め、Blackwellでは位置情報の追跡も報じられました。密輸事件や立法提案と重なり、推論用GPUの所在管理が焦点です。

続きを読む →

CUDA MoE kernelの融合で、prefill速度が最大17.2%伸びたと報告された。カーネル起動やGPU同期を減らし、段階ごとに分ける設計が鍵になる。MoE推論の高速化は、メモリ往復や移植性まで含む話だとわかる。

続きを読む →

llama.cppのCUDA PRでMoEゲートとup、GLUを融合し、DGX Sparkで17.2%のspeedupが出ました。Fused-MoEはdecode時のGPU同期を64回から1回に減らします。ローカル推論が速くなったことがわかり、ai関連で注目されました。

続きを読む →

llama.cppにFFNのgate/up行列積とGLUを1つのCUDAカーネルにまとめる最適化PRが投稿され、DGX Sparkで最大10.7%、RTX 5090で最大4.6%のprefill高速化が報告されました。一方、V100での別の融合試行は全体が逆に遅くなり取りやめに。カーネル融合の効果と落とし穴を数値で読み解ける記事です。

続きを読む →

llama.cppでFFNのゲート/アップ計算とGLUを1つにまとめるCUDA最適化PRが話題です。DGX SparkではLlama-3.1-8Bのprefill速度が最大10.7%向上、RTX 5090でも数%の改善が報告されました。CUDA Graphsなど周辺の最適化の動きも合わせて解説します。

続きを読む →