開發自動駕駛策略需要在訓練和部署之間架起一座重要橋梁。視覺-語言-動作（VLA）模型主要在開環模式下訓練，即模型輸出直接與真實行為對比，不考慮其對環境的影響。然而在部署中，駕駛策略運行在閉環模式下，每一次剎車、轉向和導航決策都會影響環境，微小的誤差也會隨時間累積。
NVIDIA 最新發佈的 Alpamayo 正是為解決這一挑戰而設計的開放平台，包含 AI 模型、仿真框架和物理 AI 資料集。其核心組件 AlpaSim 自動駕駛仿真平台和 AlpaGym 閉環訓練框架（即將開源），將仿真器反饋直接連接到策略訓練循環中，使模型從自身行為在仿真中的後果中學習。
強化學習可用於改進最初在開環模式下訓練的策略。不再僅針對記錄的專家軌跡進行優化，模型現在可以通過仿真中自身行為的後果來學習。這種轉變對自動駕駛開發至關重要——開環評估無法暴露的小型預測或規劃錯誤，在閉環中會隨時間累積並顯現出來。
然而，啓用閉環強化學習也面臨挑戰：模型推理、運行仿真、訓練模型、同步權重更新、跨實例通信和資料搬運需要並行執行，複雜度極高。AlpaGym 通過將 AlpaSim 仿真器微服務、NVIDIA 物理 AI 開放資料集和分布式 Cosmos-RL 訓練框架整合為可擴展的流水線來解決這些問題。
AlpaGym 設計為從單 GPU 到多節點 GPU 集群的無縫擴展，通過異步和穩定的分布式 RL 流水線支援高效大規模訓練，無需修改用戶代碼。它集成 AlpaSim 和 Cosmos RL 作為運行和編排層，GRPO 作為默認算法，並包含經過 Alpamayo 模型測試的參考獎勵函數。
對於自動駕駛研發團隊而言，Alpamayo 意味著可以在仿真環境中對駕駛策略進行閉環後訓練，大幅縮小訓練與部署之間的差距。結合開源資料集和參考實現，這一平台有望加速自動駕駛模型從研發到部署的轉化過程。
WeChat
Profile