NVIDIA 詳解解耦式 LLM 推理：在 Kubernetes 上部署分離式推理工作負載 NEWS DETAIL

隨著大語言模型推理工作負載日益複雜，單一的整體服務進程開始觸及極限。預填充和解碼階段具有根本不同的計算特徵，傳統部署將它們強制運行在同一硬體上，導致 GPU 利用率低下。解耦式推理通過將推理流水線拆分為預填充、解碼和路由等獨立服務來解決這一問題。

解耦架構的三大優勢：每個階段可匹配不同的 GPU 資源和優化策略；預填充和解碼可獨立擴縮容；KV 緩存在預填充和解碼工作節點間高效路由。預填充工作節點是計算密集型，解碼工作節點受內存頻寬限制，路由網關負責請求分發和負載均衡。

NVIDIA 的技術文章詳細介紹了如何在 Kubernetes 上部署解耦式推理，包括不同生態系統方案的對比和集群執行評估，為團隊選擇最優推理架構提供參考。