NVIDIA TensorRT LLM 讓開發者能夠為大型語言模型構建高性能推理引擎，但傳統上部署新架構需要大量手動工作。NVIDIA 最新發佈的 AutoDeploy（Beta 版）正是為解決這一挑戰而設計，它能將現成的 PyTorch 模型自動編譯為推理優化的計算圖。
每種新 LLM 架構都帶來獨特的推理挑戰，從 Transformer 模型到混合視覺語言模型再到狀態空間模型。將參考實現轉化為高性能推理引擎通常需要手動添加 KV 緩存管理、跨 GPU 分片、算子融合和執行圖調優。AutoDeploy 通過編譯器驅動的方式改變了這一流程，自動從 PyTorch 模型中提取計算圖並應用一系列自動化轉換。
AutoDeploy 的核心價值在於讓模型創作者只需在 PyTorch 中描述一次模型，將緩存、分片、內核選擇和運行時集成等推理相關的工作委託給編譯器和運行時。這對於長尾模型尤為適用——包括新的研究架構、內部變體和快速迭代的開源模型，手動重新實現往往不切實際。
目前 AutoDeploy 已支援超過 100 個文本到文本 LLM，並提供對視覺語言模型和狀態空間模型的早期支援。性能優化模型如 Llama 系列和 NVIDIA Nemotron 3 Nano 均已支援。它提供無縫模型轉換、單一事實來源、推理優化和開箱即用部署等能力。
AutoDeploy 作為 TensorRT LLM 的 Beta 功能提供，位於原始 Hugging Face 模型和 TensorRT LLM 運行時之間。其 API 接受模型名稱或檢查點路徑，底層自動使用 AutoDeploy 或手動後端進行圖提取、優化和生成推理優化後的執行圖。
對於 AI 工程團隊來說，AutoDeploy 意味著新模型架構的部署時間從數周縮短到數天甚至數小時，讓團隊可以更快地將最新的研究成果轉化為生產級的推理服務。
WeChat
Profile