NVIDIA全棧優化助力AI工廠能效提升：每瓦特產出更多Token

電力成本在AI工廠的運營支出中佔比高達40%。每一瓦特電力都可用於系統開銷、資料輸入、模型訓練或為客戶生成Token。而大多數資料中心都受限於區域供電的固定功率上限。在這種條件下，性能每瓦特（Performance per Watt）成為直接影響Token成本的關鍵效率指標。

NVIDIA在AI推理工作負載中實現了最低的每Token成本，在大模型訓練中也做到了最低成本。這得益於在功耗、散熱和系統基礎設施方面的極致協同設計，以及與OEM、ODM、CSP和ISV等生態合作夥伴的深度協作。推理是驅動收入的核心工作負載，當運營商提升每瓦特的推理吞吐量時，就等於直接增加了可銷售的Token數量或可生成的分析洞察。

在百兆瓦到千兆瓦規模的資料中心中，每兆瓦吞吐量即使只有幾個百分點的提升，也能轉化為可觀的利潤增長。模型架構本身也至關重要。混合專家模型（MoE）相比參數總量相近的密集模型，每單位智能的能耗通常更低，因為每個Token只激活部分專家。例如DeepSeek-R1參數規模龐大，但每個Token僅激活其中一小部分，在相同或更低的每Token計算成本下實現了更高的任務性能。

NVIDIA平台在每一代架構中都持續提升每瓦特產出的智能量。GB200 NVL72機架級系統通過極致協同設計提升能效，採用密集的直接到芯片液冷架構。DSX平台則是一個開放的AI工廠級平台，提供動態功率分配、實時遙測和高級機架級控制，能夠回收被浪費的電力並增加每瓦特的Token產出。在精度選擇方面，NVFP4等窄精度格式相比FP8在同等精度下更節能、吞吐量更高。

在大模型訓練方面，密歇根大學ML.ENERGY團隊的研究表明，通過調整單個GPU的處理速度，可以顯著降低大模型訓練中的能量浪費。關鍵路徑上的GPU以最高速度運行，而任務較少的GPU則有意降低速度，從而讓提前完成的GPU空閒時間最小化，低速度運行的GPU能耗更低，且端到端訓練時間保持不變。Megatron-LM作為NVIDIA開源的超大規模語言模型訓練參考實現，正在與ML.ENERGY團隊合作，通過細粒度內核和階段級能耗分析，識別計算、內存、通信和功耗受限區域，並據此設計能耗感知的調度和GPU頻率/功率上限調優方案，旨在實現約25%的能效提升。

NVIDIA DSX平台為AI工廠提供了端到端的能效優化能力。DSX MaxLPS通過45°C液冷技術提升PUE、動態功率分配實時監測GPU和機架級功耗並將其重新分配到最需要的地方，以及功耗轉向和優化工作負載配置等先進技術，最大化AI工廠吞吐量。DSX Flex則作為電網感知的功率編排層，將AI工廠連接到電網信號和外部能源。通過將工作負載放置、調度和功率分配與最高效的計算和散熱區域對齊，運營商可以在基礎設施級增益之上疊加工作負載級優化——在固定功率預算內重新平衡工作負載，識別可以通過更高效配置降低功耗的工作負載，優先分配每Token收入更高的高價值工作負載。經過優化的AI工廠相比未優化的工廠，每兆瓦每秒的Token產出可提升高達2.6倍。