隨著 Agentic AI 帶來更多多輪決策、工具調用和長上下文需求，傳統推理系統在時延與吞吐之間面臨更大壓力。NVIDIA 通過 Vera Rubin 平台、Groq 3 LPX 與 Dynamo 協同設計，試圖提升大規模智能體推理場景下的性能與可預測性。
NVIDIA 在 2026 年 5 月 14 日發佈的開發者博客中表示，Vera Rubin NVL72 被定位為該平台的核心計算引擎，用於承接高吞吐推理負載。文章認為，當前新一代智能體工作負載不僅要求更高模型能力，也要求在大規模部署下保持更穩定的低時延響應。
為應對這一問題，NVIDIA 在文中重點介紹了 Vera Rubin 平台與 Groq 3 LPX 的協同設計思路。其核心方向是把高吞吐計算能力與更確定性的低抖動執行方式結合起來，盡量減少多芯片、多節點通信中的不確定性，從而更適配多智能體推理這類對響應波動更敏感的場景。
在系統協同層面，NVIDIA Dynamo 被用於編排異構推理流程。按照文中描述，Rubin GPU 更適合處理預填充和長上下文相關任務，而 LPX 則更適合承擔對低時延更敏感的前饋解碼部分。通過這種分工，平台試圖同時兼顧吞吐、延遲和長上下文支援能力。
WeChat
Profile