2026.06.16
NEWS UPDATE
NVIDIA Dynamo 全棧優化：為智能體推理實現 97% KV 緩存命中率
編程智能體正在大規模編寫生產代碼Stripe 的智能體每周生成 1300+ 個 PR，Ramp 30% 的合入 PR 由智能體完成。
-
2026.06.16
-
2026.06.15
NEWS UPDATENVIDIA Run:ai + NIM：智能調度實現 GPU 利用率翻倍
部署 LLM 的企業面臨推理工作負載多樣化的挑戰一個小型嵌入模型可能只需幾 GB 顯存，而 70B+ 參數的大模型則需要多塊 GPU這種差異往往導致 GPU 平均利用率低下、計算成本高昂且延遲不可預測
-
2026.06.15
NEWS UPDATENVIDIA NIXL 開源發佈：統一的 AI 推理分布式資料移動庫
部署大語言模型需要大規模分布式推理，將模型計算和請求處理分散到多個 GPU 和節點上在此過程中，KV 緩存傳輸、激活值調度和儲存訪問等資料移動操作成為關鍵瓶頸。
-
2026.06.12
NEWS UPDATE分離式 LLM 推理部署：在 Kubernetes 上拆分 Prefill 與解碼階段
隨著 LLM 推理工作負載日益複雜，單一的推理服務進程開始觸及瓶頸Prefill 和解碼階段具有截然不同的計算特徵，但傳統部署方式強制它們在相同硬體上運行，導致 GPU 利用率低下且擴縮容缺乏靈活性。
-
2026.06.12
NEWS UPDATENVIDIA TensorRT LLM AutoDeploy 發佈：自動編譯 PyTorch 模型為優化推理引擎
NVIDIA TensorRT LLM 讓開發者能夠為大型語言模型構建高性能推理引擎，但傳統上部署新架構需要大量手動工作。
-
2026.06.11
NEWS UPDATENVIDIA Dynamo Snapshot：將 Kubernetes 推理冷啓動從分鐘級降至秒級
在生產推理部署中，請求量隨時間波動，需要推理副本彈性擴縮容。
常見問題 點擊展開 收起
新聞中心 列表頁適合做甚麼？
適合快速瀏覽同一主題下的資訊更新，幫助團隊集中跟蹤技術趨勢、行業動態和產品資訊。
瀏覽資訊列表時應優先關注哪些內容？
建議優先關注發佈時間、主題相關性、涉及技術方向以及是否與當前專案、品牌或場景決策直接相關。
如何從資訊列表繼續深入？
可以先閱讀全文，再結合當前專案階段判斷是否需要繼續查看產品頁、方案頁或直接發起諮詢溝通。
資訊內容更適合哪些團隊參考？
更適合關注 AI 基礎設施、企業網絡、數據中心互連和行業變化的技術、採購、架構與專案團隊參考。
WeChat
Profile