在智能體應用持續升溫的背景下，推理服務已不再只是簡單返回一段文本結果。面對帶有多輪上下文、工具調用、推理片段和結構化響應的複雜請求，底層推理引擎需要同時保證正確性、穩定性與響應速度。NVIDIA 最新介紹了 Dynamo 在這一方向上的一系列增強，目標是更好支撐代理式 AI 工作流。
此次更新的核心之一，是讓 Dynamo 更完整地支援多輪智能體交互中的推理+工具調用結構。文章指出，在真實智能體場景中，模型往往會先輸出一段推理內容，再發起一個或多個工具調用。如果這些內容在後續輪次中被錯誤重組、遺漏，模型就可能失去關鍵上下文。為此，Dynamo 對推理解析器和工具調用解析器進行了加強，以更準確保留各段內容之間的對應關係。
另一個重點是提升流式返回體驗。過去，一些系統雖然能夠流式輸出推理文本，但工具調用往往要等到整輪響應結束後才能交給上層應用處理，這會增加等待時間。Dynamo 現在支援在工具調用結構完成後更早分發相關事件，使上層智能體框架能夠更快執行工具請求，從而縮短整體交互鏈結。
在系統協同層面，NVIDIA Dynamo 被用於編排異構推理流程。對於帶有大量固定系統提示和工具定義的智能體應用，只要前綴保持穩定，推理系統就能更有效復用緩存，減少首個 token 輸出時間。
WeChat
Profile