機器人策略正在經歷從視覺-語言-行動模型到世界-行動模型的重要轉變。NVIDIA 發佈的技術文章系統梳理了這一新興範式的核心概念與發展路徑。WAM 從預訓練的世界模型或視訊骨幹網路出發，學習預測場景隨時間的變化並輸出相應行動。
與直接從視覺-語言模型適配為機器人策略的 VLA 模型不同，WAM 利用視訊生成模型或世界模型的強大先驗知識來理解物理世界的動態變化。NVIDIA Cosmos 世界基礎模型系列為這一方法提供了堅實基礎。
文章詳細介紹了 WAM 涉及的關鍵技術，包括：逆動力學模型從當前和未來觀測推斷行動、聯合預測同時預測未來觀測和行動、擴散 Transformer 用於動作生成，以及混合 Transformer 架構處理不同模態。這些方法正在彌合語言理解與物理行動之間的差距，為更智能、更可靠的機器人系統鋪平道路。
WeChat
Profile