NVIDIA Dynamo 全棧優化：為智能體推理打造 KV 緩存加速引擎 NEWS DETAIL

編碼智能體正在大規模編寫生產代碼——Stripe 每周生成 1,300+ PR，Spotify 每月 650+ 代理生成 PR。這些工作負載背後是承受巨大 KV 緩存壓力的推理棧。NVIDIA Dynamo 通過三層優化使推理棧原生適配智能體工作負載。

第一層是多協議前端，支援 v1/responses、v1/messages 和 v1/chat/completions 端點。第二層是路由與調度層，通過智能前綴匹配最大化 KV 緩存復用率。第三層是 KV 緩存管理層，採用寫入一次讀取多次的訪問模式優化，使緩存命中率達 85-97%。

開發者可通過 Dynamo 部署 GLM、MiniMax 等模型，將其作為 Claude Code 和 Codex 等編碼智能體的推理後端，大幅提升智能體工作負載的推理效率。