NVIDIA 向開放計算專案貢獻了 GB200 NVL72 設計

在 2024 年 OCP 全球峰會上，NVIDIA 宣佈已將 NVIDIA GB200 NVL72 機架以及計算和交換器托盤液冷設計貢獻給開放計算專案 (OCP)。

這篇文章提供了有關此貢獻的詳細資訊，並解釋了它如何提高當前設計標準的實用性，以滿足現代資料中心對高計算密度的需求。它還探討了生態系統如何在此基礎上構建 GB200 設計，降低了新 AI 資料中心的成本和實施時間。

NVIDIA 的開源計劃

NVIDIA 在開源計劃方面有著豐富的歷史。NVIDIA 的工程師在 GitHub 上發佈了超過 900 個軟體專案，並已開源了 AI 軟體堆棧中的關鍵組件。例如，NVIDIA Triton 推理伺服器現在已集成到所有主要的雲服務提供商中，用於在生產環境中服務 AI 模型。此外，NVIDIA 的工程師還積極參與了眾多開源基金會和標準組織，包括 Linux 基金會、Python 軟體基金會和 PyTorch 基金會。

這種對開放性的承諾延伸到了開放計算專案（OCP），NVIDIA 在這方面持續地為多代硬體產品做出了設計貢獻。值得注意的貢獻包括 NVIDIA HGX H100 底板，它已成為 AI 伺服器的事實上的底板標準，以及 NVIDIA ConnectX-7 適配器，現在它作為 OCP 網路接口卡（NIC）3.0 的基礎設計。

NVIDIA 還是 OCP SAI（交換器抽象接口）專案的創始和治理委員會成員，並且是 SONiC（用於雲計算的開源網路軟體）專案的第二大貢獻者。

滿足資料中心計算需求

用於訓練自回歸變換器模型的計算能力需求已經爆炸性增長，在過去五年中增長了驚人的 20,000 倍。今年早些時候發佈的 Meta 的 Llama 3.1 405B 模型需要 380 億 petaflops 的加速計算來進行訓練，比一年前發佈的 Llama 2 70B 模型增加了 50 倍。訓練和服務這些大型模型無法在單個 GPU 上完成；相反，它們必須在龐大的 GPU 集群上進行並行化。

並行化有多種形式——張量並行、流水線並行和專家並行，每一種在吞吐量和用戶交互性方面都提供了獨特的優勢。通常，這些方法會結合使用，以創建最佳的訓練和推理部署策略，以滿足用戶體驗要求和資料中心預算目標。要深入瞭解大型模型的並行技術，請參閱《揭秘兆參數大語言模型的推理部署》。

多 GPU 互聯的重要性

在模型並行中，一個常見的挑戰是 GPU 間通信的高體量。張量並行 GPU 通信模式凸顯了這些 GPU 之間的緊密聯繫。例如，在 AllReduce 操作中，每個 GPU 必須在神經網路的每一層將計算結果發送到其他所有 GPU，才能確定最終的模型輸出。在這些通信過程中，任何延遲都可能導致顯著的效率低下，使得 GPU 處於空閒狀態，等待通信協議完成。這降低了系統的整體效率，並增加了總擁有成本（TCO）

為了應對這些通信瓶頸，資料中心和雲服務提供商利用了 NVIDIA NVSwitch 和 NVLink 互聯技術。NVSwitch 和 NVLink 專門設計用於加速 GPU 之間的通信，減少 GPU 空閒時間並提高吞吐量。

在 NVIDIA GB200 NVL72 推出之前，單個 NVLink 域內可連接的 GPU 數量限制在 HGX H200 底板上的八個，每個 GPU 的通信速度為 900 GB/s。GB200 NVL72 設計的引入大大擴展了這些能力：NVLink 域現在可以支援多達 72 個 NVIDIA Blackwell GPU，每個 GPU 的通信速度達到 1.8 TB/s，比最先進的 400 Gbps 乙太網路標準快了 36 倍。

這種 NVLink 域規模和速度的飛躍可以將兆參數模型（如 GPT-MoE-1.8T）的訓練和推理分別加速至 4 倍和 30 倍。

每個 GPU 與其他 GPU 之間的通信速度比最先進的乙太網路標準快了 36 倍

加速基礎設施的創新和貢獻

在單個機架內支援如此大型的 GPU NVLink 域的重量、匹配力和冷卻需求，需要對機架架構以及容納 GPU 和 NVSwitch 芯片的計算和交換器機箱進行仔細的電氣和機械修改。

NVIDIA 與合作夥伴緊密合作，基於現有的設計原則進行了擴展，以提高它們的實用性並支援 GB200 NVL72 的高計算密度和能效。機架、托盤和內部組件的設計都源自 NVIDIA MGX 架構。如今，我們很高興開放並與 OCP 分享這些設計，以建立一個模組化且可重用的高計算密度基礎設施，用於人工智慧領域。

機架加固

為了在一個機架內高效地容納 18 個計算托盤、9 個交換器托盤和 4 個支援超過 5,000 根銅纜線的 NVLink 卡匣，NVIDIA 對現有機架設計實施了幾項關鍵修改，包括：

適應 19」 EIA 設備在機架內的 1 RU 形式因素，以增加用於 IO 電纜的空間並提高托盤密度。

增加超過 100 磅的鋼結構加固，顯著提高了機架的強度和穩定性，以承受其組件和框架之間產生的 6,000 磅的匹配力。

引入後機架擴展，以保護電纜支撐和流量分配裝置，確保這些元素的壽命和正常運作。

引入盲插滑軌和鎖扣功能，便於 NVLink 的安裝、液冷系統的集成，並通過使用盲插連接器簡化維護程序。

這種機架重新設計優化了空間利用率，增強了結構完整性，並提高了整體系統的可靠性和可維護性。

大容量總線

為了適應機架的高計算密度和增加的功率要求，增強型高容量總線開發了一種新的設計規範。這種升級的總線與現有的ORV3保持相同的寬度，但具有更深的輪廓，顯著提高了其載流量。新設計支援更高的1400安培電流，與當前標準相比，電流增加了2倍。這種增強確保了母線能夠有效地處理現代高性能計算環境的高功率需求，而不需要機架內額外的水平空間。

NVLink cartridges

為了實現NVLink域中所有72個NVIDIA Blackwell GPU之間的高速通信，我們採用了一種新穎的設計，在機架後部垂直安裝了四個NVLink cartridges。這些盒式磁帶可容納5000多條活動銅纜線，提供130 TB/s和260 TB/s的AllReduce頻寬，令人印象深刻.

這種設計確保了每個GPU都可以以1.8TB/s的速度與域中的其他GPU通信，從而顯著提高了整體系統性能。作為我們提交的一部分，我們提供了有關這些NVLink墨盒的體積和精確安裝位置的詳細資訊，為高性能計算基礎設施的未來實施和改進做出了貢獻.

液冷集管（Liquid Cooling Manifolds）和浮動盲插（Floating Blind Mates）

為了高效管理機架所需的120KW冷卻能力，我們採用了直接液體冷卻技術。在現有設計的基礎上，我們引入了兩項關鍵創新。首先，我們開發了一種增強型Blind Mate Liquid

其次，我們創建了一種新型的浮動盲板配合托盤連接，它有效地將冷卻劑分配到計算和開關托盤，顯著提高了液體快速斷開裝置在機架中對齊和可靠配合的能力。通過利用這些增強的液體冷卻解決方案，我們能夠滿足現代高性能計算環境的高熱管理需求，確保機架組件的最佳性能和壽命。

高效的冷卻和對各種用戶需求的適應性

為了適應機架的高計算密度，我們引入了1RU液冷計算和交換器托盤的外形尺寸。我們還開發了一種新的、更密集的DC-SCM（資料中心安全控制模組）設計，比當前標準小10%。此外，我們還實現了更窄的母線連接器，以最大限度地利用後面板空間。這些修改優化了空間利用率，同時保持了性能。

此外，為計算托盤創建了一個模組化機架設計，可以靈活地適應不同的用戶I/O要求。這些增強功能共同支援計算和交換器托盤的1RU液冷外形，顯著提高了機架的計算密度和網路能力，同時確保了高效的冷卻和對各種用戶需求的適應性。

新推出的 NVIDIA GB200 NVL72 參考架構

在 OCP 上，NVIDIA 還與 Vertiv 共同宣佈了全新的 GB200 NVL72 參考架構。Vertiv 是一家在電源和冷卻技術領域的領導者，並且在設計、構建和服務高計算密度資料中心方面具有專長。這一新的參考架構將顯著減少雲服務提供商和資料中心部署 NVIDIA Blackwell 平台的實施時間。

這個新的參考架構消除了資料中心需要從頭開始開發自己的電源、冷卻和空間設計來適應 GB200 NVL72 的需求。通過利用 Vertiv 在空間節省電源管理和高能效冷卻技術方面的專長，資料中心可以部署全球 7MW 的 GB200 NVL72 集群，將實施時間減少多達 50%，同時減少電源空間佔用並提高冷卻能效。