隨著 LLM 推理工作負載日益複雜，單一的推理服務進程開始觸及瓶頸。Prefill 和解碼階段具有截然不同的計算特徵，但傳統部署方式強制它們在相同硬體上運行，導致 GPU 利用率低下且擴縮容缺乏靈活性。
分離式推理服務通過將推理管線拆分為獨立的 Prefill、解碼和路由階段來解決這一問題，每個階段作為獨立服務運行，可以獨立資源配置和擴縮容。Prefill 階段計算密集型，適合高 FLOPS GPU；解碼階段受內存頻寬限制，需要快速 HBM 訪問；路由層負責請求分發和 KV 緩存管理。
分離式架構帶來三大優勢：各階段可按需匹配 GPU 資源和優化策略、獨立響應不同流量模式、以及更高的 GPU 利用率。NVIDIA Dynamo 和 llm-d 等框架已實現這一模式。
在 Kubernetes 上部署多 Pod 推理工作負載時，調度器的放置策略直接影響性能。將張量並行組的 Pod 放置在同一機架並通過高速 NVLink 互聯，與跨機架部署相比可能產生巨大的性能差異。NVIDIA 的 Kubernetes 設備插件和拓撲感知調度可確保 GPU 工作負載感知節點間的 GPU 互聯拓撲。
對於大規模推理部署而言，分離式架構結合 Kubernetes 的彈性調度能力，使得 AI 基礎設施可以像微服務一樣靈活編排。Prefill 集群可以在處理長上下文提示時快速擴容，解碼集群可以根據併發用戶數獨立伸縮，整體 GPU 利用率可提升 2-3 倍。
WeChat
Profile