生成式 AI 的第一階段由"人類發送請求、模型生成回復"定義。智能體時代則完全不同——智能體不遵循預設動作序列，而是自主調用工具、生成子智能體執行不同任務、在記憶中保留資訊、管理自身上下文窗口，並自行判斷何時完成。這些行為將 Token 消耗、上下文長度和延遲需求推向了極為嚴苛的水平，而這正是 NVIDIA 極協同設計（Extreme Co-Design）堆棧和 Vera Rubin 平台所要解決的核心挑戰。
從聊天機器人到工具調用、再到智能體系統，交互模式的複雜度逐級躍升。聊天機器人的輸入輸出可預測，引入工具調用後，工具返回結果的大小取決於具體查詢，不確定性開始顯現。而智能體系統進一步放大這種不確定性——一個智能體可以自主決定調用多少個工具、以何種順序調用。例如，一個負責撰寫郵件的智能體可能先讀取已有往來郵件、檢查網盤獲取上下文、確認收件人身份，然後再起草郵件。這種鏈式調用將工作負載從"線性可預測"轉變為"結構性概率化"，使得每次智能體會話的行為模式都可能完全不同。
現代智能體架構由多層結構組成：主智能體對整個任務端到端交付負責，可派生子智能體處理細分任務；子智能體由主智能體生成，處理更窄範圍的任務，能自主管理上下文窗口；文件系統狀態化提供額外持久化能力，智能體可將記憶和工具調用結果寫入文件以便後續檢索；總結與壓縮技術則用於縮減上下文窗口，為新的資訊騰出空間並降低輸入處理成本。
在 Token 消耗方面，Anthropic 在構建多智能體系統的報告中估計，這些系統消耗的 Token 量可達標準聊天模式的 15 倍。以一次實際的 Claude Code 編碼任務為例，33 分鐘的會話跟蹤了 58 次主智能體交互和 225 次子智能體調用。主智能體在未委派任務或壓縮上下文時，輸入上下文迅速增長，從 15K Token 攀升至 156K 峰值，在壓縮事件後才回落至約 20K。
提示緩存是支撐這種模式的關鍵。在 95% 緩存命中率下，輸入處理成本可降低約 85%；沒有緩存時成本大約高出 6 倍。編碼智能體的緩存命中率通常維持在 95-98%，尤其在工具輸出較小時。正因如此，提示緩存日益成為一個系統性問題而不僅僅是 API 特性——維持高緩存命中率取決於高效的 KV 緩存管理和專用的大容量上下文儲存。
解鎖智能體工作負載的價值需要高模型智能度、大上下文和低延遲。問題在於，實現低延遲通常會導致系統吞吐量大幅下降，產生高昂的每 Token 成本。破解這一瓶頸需要基礎設施設計的根本轉變。NVIDIA 的極協同設計思路是：將每個瓶頸映射到專門優化的硬體，並通過統一系統編排協同工作。Vera Rubin NVL72 以 Blackwell 十分之一的每百萬 Token 成本處理容量和計算需求；Vera CPU 降低智能體延遲、實現無縫 KV 緩存卸載和統一 CPU-GPU 執行；Groq 3 LPX 以 SRAM 優先架構提供嚴格可控的低抖動 Token 生成；NVLink 6 Switch、ConnectX-9 SuperNIC、BlueField-4 DPU 和 Spectrum-X 乙太網路構建統一低延遲服務網路。
在軟體層面，Dynamo 和注意力-前饋網路分離技術（AFD）通過拆分工作負載、協調執行來減少資源爭用和延遲；NVFP4 降低精度開銷使 MoE 智能體以更低延遲、更高吞吐量運行；TRT-LLM WideEP 優化大規模專家並行；推測解碼通過並行生成 Token 並快速驗證來降低智能體響應延遲。
通過將這些芯片和軟體堆棧以極協同設計整合，Vera Rubin 平台可在 400K 大上下文下為萬億參數 MoE 模型提供每位用戶每秒 400+ Token 的性能。這一水平打破了傳統的權衡範式——不再需要為了速度而犧牲模型品質和上下文窗口大小，智能體架構由此真正成為可規模化的產品，而非昂貴的實驗。
WeChat
Profile