NVIDIA NCCL Inspector 集成 Prometheus：實時監控分布式訓練通信性能 NEWS DETAIL

分布式深度學習依賴 NCCL 實現快速可靠的 GPU 間通信。當訓練變慢時，問題可能涉及計算、通信、特定節點或底層硬體。NVIDIA NCCL Inspector 通過輕量級持續報告加速問題排查，現在新增 Prometheus 實時監控模式。

Prometheus 模式是 NCCL 2.30 的重大增強，將 NCCL Inspector 指標與 Prometheus 集成，轉換為適合 Grafana 可視化的時間序列資料。相比傳統 JSON 模式需要大量儲存空間，Prometheus 模式通過節點導出器將指標資料直接發送到 Prometheus，無需在磁盤上保留大量 JSON 文件。

開發者可通過配置環境變量啓用 Prometheus 模式，設置 NCCL 分析器插件和導出間隔，即可在基礎設施儀表板中實時查看 NCCL 通信性能的時間序列可視化。