NVIDIA 在 MLPerf Training v6.0 中實現全面領先,這是 MLCommons 聯盟發佈的最新行業標準 AI 訓練基準測試。NVIDIA 在每項測試中均取得最快訓練時間,同時也是唯一在所有測試中提交結果的平台。
本輪 MLCommons 引入了反映最新 AI 模型趨勢的新預訓練基準,包括 DeepSeek-V3(671B 參數的混合專家模型)和 GPT-OSS-20B。NVIDIA GB300 NVL72 系統通過優化的軟體棧和連接 72 塊 Blackwell Ultra GPU 的 NVLink 設計,在這兩項新基準測試中設定了性能標桿。
在資料中心規模的測試中,NVIDIA 合作夥伴在多達 8,192 塊 Blackwell GPU 集群上成功運行,驗證了平台在實際超大規模資料中心中的穩健性。Spectrum-X 乙太網路的先進自適應路由和擁塞控制技術確保 MoE 模型中的專家並行通信高效運行。
關鍵成績包括:DeepSeek-V3 671B 在 8,192 GPU 上僅需 2.02 分鐘訓練完成;Llama 3.1 405B 在 8,192 GPU 上僅需 7.07 分鐘;FLUX.1 在 512 GPU 上僅需 17.1 分鐘。NVIDIA 還首次為無 token 丟棄的 MoE 架構實現了全迭代 CUDA Graphs,大幅減少了 CPU-GPU 同步開銷。
WeChat
Profile