隨著 AI 工廠規模持續擴大，電力成本正成為運營側最關鍵的約束之一。NVIDIA 指出，在 AI 工廠的整體運營支出中，電力最高可佔到約 40%，因此每瓦性能已經不只是硬體指標，更直接關係到每個 token 的生成成本和最終盈利能力。
從業務價值看，推理是最需要優先優化的負載，因為它直接決定可交付的 token 數量和面向客戶輸出的實時能力。在固定供電額度下，提高單位功耗的推理吞吐，意味著同樣的基礎設施可以承載更多服務請求，並帶來更高的單位時間收益。
NVIDIA 認為，提升 AI 工廠能效不能只靠單點優化，而是要從系統級協同設計入手。包括機架級供電平滑、直連芯片液冷、動態功率分配、實時遙測，以及更適合推理場景的低精度計算格式，都會對整體每瓦性能產生實質影響。像 NVFP4 這類更窄精度格式，就能在保持精度水準的同時，進一步提高吞吐效率。
在軟體層面，NVIDIA 還強調了推理框架和運行時的重要性。通過 Dynamo、TensorRT-LLM 以及面向 AI 工廠場景的 DSX 平台，企業可以結合機架、散熱、負載調度和模型部署策略，減少資源閒置，釋放受限供電環境下原本無法利用的算力空間，從而持續壓低單位 token 成本。
訓練側同樣存在顯著的節能空間。大型模型訓練往往要跨多塊 GPU 並行執行，但不同 GPU 的任務負載並不總是均衡，部分 GPU 提前完成後只能空轉等待同步。NVIDIA 介紹，與研究團隊合作後，可通過識別關鍵路徑上的 GPU 並進行差異化速度調節，讓負載更重的 GPU 保持高速度，而其他 GPU 適度降速，以減少空閒等待帶來的能耗浪費。
從長期趨勢看，AI 工廠的競爭將越來越依賴「功率預算內的最大產出」。誰能把基礎設施設計、散熱系統、調度策略、模型架構與運行時優化協同起來，誰就更有機會在固定站點功率約束下獲得更高的 token 產能與更優的成本結構。這也讓每瓦性能逐步從技術指標演變為 AI 基礎設施運營的核心經營指標。
WeChat
Profile