NVIDIA NIXL 開源發佈：統一資料移動庫加速分布式推理 NEWS DETAIL

部署大語言模型需要大規模分布式推理，這要求在多 GPU 和多節點間高效移動資料。NVIDIA 開源了 Inference Transfer Library——一個供應商無關的資料移動庫，專為支援動態複雜的 AI 推理框架而設計。

在解耦式推理環境中，預填充和解碼階段運行在不同 GPU 上，需要高效 KV 緩存傳輸。在 KV 緩存加載場景中，多輪對話和智能體工作負載可從本地 SSD 和遠程儲存加載之前的 KV 緩存，而非重新計算。在寬專家並行中，中間激活需要在專家間高效分發和合併。

NIXL 提供統一抽象層，支援跨 GPU 內存、CPU 內存以及從 NVMe 到雲對象儲存的多級本地和分布式儲存的高效資料移動。框架可通過設備側 API 實現 GPU 發起的超低延遲通信，滿足推理工作負載對動態性和彈性的需求。