部署大語言模型需要大規模分布式推理，將模型計算和請求處理分散到多個 GPU 和節點上。在此過程中，KV 緩存傳輸、激活值調度和儲存訪問等資料移動操作成為關鍵瓶頸。NVIDIA 最新開源的 Inference Transfer Library（NIXL）正是為這些場景設計的統一資料移動庫。
NIXL 是一個廠商中立的開源庫，用於加速 AI 推理框架中的點對點資料傳輸。它提供統一的 API，支援 RDMA、GPU 發起網路通信、GPU-Direct 儲存、塊儲存和文件儲存，以及包括 S3 over RDMA 和 Azure Blob Storage 在內的雲儲存選項。這意味著一個 API 即可覆蓋從 GPU 內存到遠端對象儲存的完整資料通路。
在分離式推理場景中，Prefill 和解碼階段運行在不同 GPU 上，需要高效的 KV 緩存傳輸。NIXL 提供低延遲、高吞吐的通信能力，使分離式推理能夠真正發揮優勢。在 KV 緩存加載場景中，可以利用本地 SSD 和遠端儲存加載長上下文 KV 緩存，避免重復計算。
NIXL 還支援寬專家並行場景下的激活值傳輸，專家跨多個 GPU 部署時，中間結果需要在 GPU 間高效調度和合併。這類傳輸通常由 GPU 通過優化的內核發起，NIXL 的設備端 API 為此提供了原生支援。
此外，NIXL 考慮了推理工作負載對動態性和彈性的特殊需求。服務可以 7x24 小時運行，GPU 數量可根據用戶需求變化，Prefill 和解碼 GPU 比例可以動態調整。在故障發生時，系統需要在低吞吐下持續運行直到恢復完成。NIXL 的架構設計支援這些複雜的動態場景。
目前 NIXL 已作為開源專案在 GitHub 上發佈，支援 AWS（EFA 網路和 Trainium/Inferentia 加速器）以及 Azure（RDMA 網路）等多樣化的運行環境。
WeChat
Profile