業務目標
明確要解決的性能、擴容、穩定性、覆蓋、互連或運維問題，並確認上線優先級。
混合專家模型已成為現代大規模AI系統的基礎組件。它們通過每個Token僅激活部分專家的方式，在保持模型容量的同時實現了更高的計算效率。然而MoE模型的訓練面臨獨特的挑戰——跨專家的通信開銷、負載不均衡和內核啓動開銷限制了訓練吞吐量。NVIDIA發佈了先進的融合內核技術，針對MoE訓練中的關鍵操作進行了深度優化，將訓練吞吐量提升了2倍。
這些融合內核的核心思路是將MoE訓練中分散的多個操作合併為單一內核執行，減少kernel launch開銷和全局內存訪問。具體優化包括：門控網路融合——將專家路由計算的多個步驟合併為一個內核；專家並行通信與計算重疊——在跨GPU通信的同時執行計算任務，隱藏通信延遲；以及稀疏注意力融合——針對MoE的稀疏激活模式優化注意力計算。在NVIDIA Hopper和Blackwell GPU上，這些融合內核在訓練包含數千億參數的超大規模MoE模型時，實現了顯著的吞吐量提升。對於正在訓練Mixtral、DeepSeek等MoE架構模型的AI團隊來說，這些融合內核提供了一條無需修改模型架構即可直接獲得性能加速的實用路徑。
WeChat
Profile