利用 NVIDIA SHARP 網路計算提升系統性能

AI 和科學計算應用是分布式計算問題的絕佳示例。這些問題太大了，計算太密集，無法在單台機器上運行。這些計算被分解為並行任務，這些任務分布在數千個計算引擎中，如 CPU 和 GPU。

為了實現可擴展的性能，該系統依賴於在多個節點上劃分工作負載，如訓練資料、模型參數或兩者。然後，這些節點必須頻繁交換資訊，例如模型訓練中反向傳播期間新處理的模型計算的梯度，需要高效的集合通信，如 all-reduce、broadcast 以及 gather 和 scatter 操作。

這些集合通信模式可確保整個分布式系統中模型參數的同步和收斂。這些操作的效率對於最大限度地減少通信開銷和最大限度地提高並行計算至關重要，因為優化不佳的集合通信可能會導致瓶頸，限制可擴展性。

瓶頸源於以下幾個因素：

· 延遲和頻寬限制： 集合操作依賴於節點間的高速資料傳輸，而這些高速資料傳輸受物理網路延遲和頻寬的限制。隨著系統規模的增加，要交換的資料量也隨之增加，通信所花費的時間成為比計算更重要的因素。

· 同步開銷： 許多集合操作需要同步點，在此之前所有參與的節點必須先達到相同的狀態，然後才能繼續。如果某些節點速度較慢，整個系統會出現延遲，從而導致效率低下，被稱為 stragglers 。

· 網路爭用： 隨著越來越多的節點試圖同時通信，網路變得更加擁塞，對頻寬和網路資源的爭奪也在增加，這進一步減慢了集體操作的速度。

· 非優化通信模式： 一些集合通信算法（例如基於樹的歸約或基於環的 all-reduce）並非始終針對大規模系統進行良好優化，導致可用資源的低效利用和延遲增加。

克服這一瓶頸需要改進網路技術（例如 InfiniBand 或 RDMA）和算法優化（例如分層 all-reduce 或流水線技術），以最大限度地減少同步延遲、減少爭用並優化分布式系統之間的資料流。

創建 NVIDIA SHARP

關鍵的集合通信使所有計算引擎能夠相互交換資料。在 NIC 或伺服器上管理此類通信需要交換大量資料，並且會受到延遲或集合性能差異的影響，也稱為 伺服器抖動 。

通過在交換器結構上遷移管理和執行這些集合通信的責任，可以將傳輸的資料量減半，並最大限度地減少抖動。NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol（SHARP）是實現這一概念的技術，並引入了 網路計算 概念。它集成在交換器 ASIC 中，旨在加速分布式計算系統中的集合通信。

SHARP 已隨 NVIDIA  InfiniBand 網路一起推出，可將集合通信運算（如 all-reduce、reduce 和 broadcast）從伺服器的計算引擎卸載到網路交換器。通過直接在網路結構中執行歸約（求和、平均等），SHARP 可改進這些運算和整體應用程序性能。

借助 NVIDIA SHARP 推動技術進步

第一代 SHARP 專為科學計算應用而設計，側重於小消息歸約操作。它隨 NVIDIA EDR 100Gb/s 交換器生成而推出，並得到領先的消息傳遞接口（MPI）庫的快速支援。SHARPv1 小消息歸約以並行方式支援多個科學計算應用。

MVAPICH2 是 MPI 標準的開源實現，專為高性能計算 (HPC) 環境而設計。俄亥俄州立大學負責 MVAPICH MPI 庫的團隊已經證明瞭 SHARP 在德克薩斯州高級計算中心 Frontera 超級計算機上的性能成就。從 MPI AllReduce 的性能提高了 5 倍，到 MPI Barrier 集合通信的性能提高了 9 倍。

第二代 SHARP 隨 NVIDIA HDR 200Gb/s Quantum InfiniBand 交換器一起推出，並增加了對 AI 工作負載的支援。SHARPv2 支援大型消息簡化操作，一次支援單個工作負載。這一版本進一步提升了該技術的可擴展性和靈活性，支援更複雜的資料類型和聚合操作。

                                                                        圖 1. 加州大學伯克利分校機器學習系統課程示例 （來源：分布式深度學習，第 II 部分：擴展約束）

最近，第三代 SHARP 推出了 NVIDIA Quantum-2 NDR 400G InfiniBand 平台。SHARPv3 支援 AI 工作負載的多租戶網路計算，這意味著與使用 SHARPv2 的單個工作負載相比，多個 AI 工作負載可並行支援。

Microsoft Azure 首席軟體工程師 Jithin Jose 在「 將雲轉變為雲原生超級計算：借助 Microsoft Azure 實現最佳實踐 」專題會議上展示了 SHARPv3 性能。Jithin 在 Azure 上介紹了 InfiniBand 的網路計算技術，並展示了 AllReduce 延遲方面的近一個數量級的性能優勢。

端到端 AI 系統優化

通過 all-reduce 運算，可以看到 SHARP 的一個強大示例。在模型訓練期間，多個 GPU 或節點之間的梯度求和，SHARP 聚合網路中的梯度，從而無需在 GPU 之間或節點之間發送完整的資料集。這縮短了通信時間，從而加快 AI 工作負載的迭代速度並提高吞吐量。

在網路計算和 SHARP 時代到來之前，NVIDIA Collective Communication Library (NCCL) 通信軟體會從圖形中複製所有模型權重，執行 all-reduce 運算來計算權重之和，然後將更新的權重寫回圖形，從而產生多個資料複製。

2021 年，NCCL 團隊開始集成 SHARP，引入了用戶緩衝區註冊。這使 NCCL 集合能夠直接使用指針，從而消除了在此過程中來回複製資料的需求，並提高了效率。

如今，SHARP 已與廣泛用於分布式 AI 訓練框架的 NCCL 緊密集成。NCCL 經過優化，可將關鍵的集合通信操作分流到網路，從而充分利用 SHARP，顯著提高分布式深度學習工作負載的可擴展性和性能。

SHARP 技術有助於提高分布式計算應用程序的性能。SHARP 正被高性能計算（HPC）超級計算中心用於其科學計算工作負載，也被人工智慧（AI）超級計算機用於 AI 應用程序。SHARP 是實現競爭優勢的「秘訣」。一家大型服務提供商使用 SHARP 將其內部 AI 工作負載的性能提高了 10% 到 20%。

SHARPv4

SHARPv4 引入了新算法，可支援更多種類的集合通信，這些通信現已用於領先的人工智慧訓練應用。SHARPv4 將隨 NVIDIA Quantum-X800 XDR InfiniBand 交換器平台一起發佈，從而將網路計算能力提升至更高水平。