NVIDIA 發佈先進融合內核：將 MoE 模型訓練吞吐量提升 2 倍 NEWS DETAIL

混合專家模型已成為現代大規模 AI 系統的基礎組件，但隨著模型規模持續增長，其訓練塊的優化變得至關重要。NVIDIA 推出基於 CuTe DSL 構建的先進融合 MLP 內核，針對密集模型和 MoE 模型解決了三個關鍵瓶頸：激活瓶頸、CPU 開銷和量化成本。

新內核通過將 GEMM 與激活函數、量化操作融合為單一自定義內核，實現了 1.3 倍至 2 倍的內核級加速，同時實現了無同步 MoE 執行，支援全迭代 CUDA Graphs。在 NVIDIA 全棧 DeepSeek-V3 預訓練設置中，這一優化貢獻了 8% 的端到端性能提升；在 GPT-OSS 預訓練中，更是實現了 93% 的端到端性能提升。

該融合內核現已通過 NVIDIA cuDNN Frontend 提供，可通過 NVIDIA Transformer Engine 和 NVIDIA Megatron-Core 無縫接入使用。