NVIDIA Dynamo Snapshot 發佈：Kubernetes 上推理工作負載秒級啓動 NEWS DETAIL

在生產推理部署中，需求隨時間波動，推理副本需要彈性伸縮。然而在 Kubernetes 上冷啓動推理工作負載可能需要數分鐘，期間 GPU 已分配但處於空閒狀態。NVIDIA Dynamo Snapshot 通過檢查點/恢復機制解決了這一問題。

Dynamo Snapshot 結合了 CUDA 驅動級的檢查點能力和 CRIU 工具，可對推理工作進程的完整狀態（GPU 設備狀態和 CPU 主機狀態）進行序列化和恢復。當需要新副本時，直接從檢查點恢復，而非從零初始化，使啓動時間接近物理極限。

在 Kubernetes 環境中，Dynamo Snapshot 支援跨節點的檢查點分發和恢復。該技術使推理集群能夠在流量高峰時快速擴展，避免 SLA 違規風險。