在GTC 2026大會上，NVIDIA宣佈NVIDIA Dynamo 1.0生產版本正式推出，並被全球廣泛採用。Dynamo是一個用於大規模生成式和智能體推理的開源軟體，作為AI工廠的分布式「操作系統」，在集群中協調GPU和顯存、內存等儲存資源，以驅動複雜的AI工作負載。
NVIDIA創始人兼CEO黃仁勳表示：
「推理是智能的引擎，驅動了每一次查詢、每一個智能體以及每一個應用。通過NVIDIA Dynamo，我們創建了首個面向AI工廠的‘操作系統’。整個生態系統中的快速採用表明新一波代理式AI浪潮已經到來，NVIDIA正在全球範圍內推動其發展。」
一、核心價值：提升推理性能，降低Token成本
在最近的行業基準測試中，Dynamo將NVIDIA Blackwell GPU的推理性能至高提升7倍，並通過免費的開源軟體降低了Token成本，為數百萬GPU帶來了增加收益的機會。
技術原理：
引入更智能的「流量控制」
在GPU和低成本儲存之間移動資料
將推理工作分配到多個GPU上，減少資源浪費，緩解顯存限制
針對代理式AI和長提示：將請求路由到已在稍早步驟獲得最相關「短期記憶」的GPU，然後在無需使用時卸載該顯存
二、Dynamo 1.0的核心組件與生態集成
Dynamo和NVIDIA TensorRT LLM優化已原生集成到多個開源框架中：
LangChain
llm-d
LMCache
SGLang
vLLM
可獨立使用的核心構建模組：
| 組件 | 功能 |
|---|---|
| KVBM | 更智能的KV儲存管理 |
| NVIDIA NIXL | 快速GPU到GPU資料移動 |
| NVIDIA Grove | 簡化擴展 |
NVIDIA還將TensorRT LLM CUDA內核貢獻給FlashInfer專案，以便將其原生集成到開源框架中。
三、廣泛採用：覆蓋雲服務商、AI原生公司與企業
NVIDIA推理平台在整個AI生態系統中得到支援：
雲服務提供商：
AWS、微軟Azure、谷歌雲、OCI
NVIDIA雲合作夥伴：
阿里雲、CoreWeave、Crusoe、DigitalOcean、Gcore、GMI Cloud、Lightning AI、Nebius、Nscale、Together AI、Vultr
AI原生公司：
Cursor、Hebbia、Perplexity
推理端點提供商：
Baseten、Deep Infra、Fireworks
全球企業：
阿斯利康、貝萊德、字節跳動、Coupang、Instacart、美團、PayPal、Pinterest、Shopee、軟銀集團
四、合作夥伴評價
CoreWeave產品和工程執行副總裁Chen Goldberg：
「採用NVIDIA Dynamo使我們能夠為部署複雜的AI智能體提供更無縫、更具彈性的環境。這一底座具有穩定性和高性能編排能力，助力業界具有挑戰性的智能體工作負載實現全球部署。」
Nebius首席技術官Danila Shtan：
「大規模交付可靠的AI推理不僅需要強大的GPU，還需要將性能轉化為實際客戶價值的軟體。從Dynamo到TensorRT LLM，我們高度重視NVIDIA的軟體堆棧。」
Pinterest首席技術官Matt Madrigal：
「通過NVIDIA Dynamo對部署進行優化，我們得以基於高性能AI基礎設施持續拓展，為用戶提供無縫、個性化體驗。」
Together AI聯合創始人兼首席執行官Vipul Ved Prakash：
「NVIDIA Dynamo 1.0與Together AI的前沿推理研究相結合，助力我們構建高性能堆棧，為大規模生產工作負載提供加速且經濟高效的推理。」
五、核心資料總結
| 指標 | 資料 |
|---|---|
| Dynamo提升Blackwell推理性能 | 至高7倍 |
| 軟體性質 | 免費、開源 |
| 已集成的開源框架 | LangChain、llm-d、LMCache、SGLang、vLLM等 |
| 雲服務提供商覆蓋 | AWS、Azure、谷歌雲、OCI等 |
| NVIDIA雲合作夥伴 | 阿里雲、CoreWeave、Nebius、Together AI等10+家 |
| 全球企業採用 | 字節跳動、美團、PayPal、Pinterest、軟銀集團等 |
六、對企業客戶的啓示
如果您所在的企業正在大規模部署AI推理服務（如智能體、生成式AI應用），Dynamo 1.0提供了：
性能提升：Blackwell GPU推理性能最高提升7倍
成本降低：開源軟體降低Token成本
開源生態：原生集成到主流推理框架（vLLM、SGLang等）
生產級可用：已大規模採用，覆蓋頭部雲廠商和AI原生公司
模組化設計：KVBM、NIXL、Grove可獨立使用
面向代理式AI：針對長提示和智能體工作負載優化
結語
Dynamo作為AI工廠的分布式「操作系統」，正在成為大規模AI推理的基礎設施標準。
從雲服務提供商到AI原生公司，從推理端點到全球企業，Dynamo 1.0已被廣泛採用。它解決了代理式AI時代最核心的挑戰：如何在多GPU集群中高效編排推理資源，以最低成本、最高性能支撐數千萬用戶的實時請求。
WeChat
Profile