編程智能體正在大規模編寫生產代碼。Stripe 的智能體每周生成 1300+ 個 PR，Ramp 30% 的合入 PR 由智能體完成。Claude Code 和 Codex 等工具每次編碼會話會發起數百次 API 調用，每次攜帶完整對話歷史。在這些工作流背後，推理棧承受著巨大的 KV 緩存壓力。
以 Claude Code 為例，首次 API 調用將對話前綴寫入 KV 緩存後，後續對同一工作線程的每次調用都命中 85-97% 的緩存。智能體團隊甚至將聚合緩存命中率推高至 97.2%，讀/寫比達到 11.7 倍——即系統每寫入一個 token，就從緩存讀取近 12 次。這種寫一次讀多次的模式使得最大化緩存復用率成為智能體推理的核心優化目標。
NVIDIA Dynamo 正是為彌補這一差距而構建的。它在三個層面實現智能體原生優化：前端 API 層支援多協議（v1/chat/completions、v1/responses、v1/messages），通過統一的內部表示讓單一部署為任何智能體框架提供推理後端；路由器層根據智能體工作負載特徵進行智能調度；KV 緩存管理層則專注於跨工作線程的緩存復用和熱度保持。
在前端層面，v1/responses 和 v1/messages API 使用類型化內容塊，使編排器可以看到思考過程、工具調用和文本的塊邊界，從而對每種塊類型應用不同的緩存和調度策略。Dynamo 已支援 GLM-5 和 MiniMax2.5 等模型的部署，並計劃發佈優化後的部署方案。
對於在自有 GPU 上運行開源模型的團隊來說，Dynamo 提供的智能體原生推理棧意味著無需自己構建前綴匹配、緩存放置和淘汰策略等基礎設施。隨著智能體工作負載持續增長，這種全棧優化正在成為高效推理部署的關鍵競爭力。
WeChat
Profile