物理 AI 系統必須理解真實世界才能在其中行動。機器人、自動駕駛車輛和智能空間需要感知環境變化、預測接下來可能發生甚麼，並針對特定場景生成相應動作。NVIDIA 最新發佈的 Cosmos 3 正是為這一目標打造的物理 AI 基礎模型，將物理推理、世界生成和動作生成整合在一個開源模型中。
Cosmos 3 採用 Mixture-of-Transformers（MoT）雙塔架構。其中 Reasoner 塔是一個視覺語言模型，負責理解多模態輸入（圖像、視訊、文本），識別運動、物體交互等物理上下文，相當於在執行任何生成之前的"大腦"推理層；Generator 塔則基於 Reasoner 的理解，通過擴散過程生成物理感知的視訊和動作輸出。這種設計使得單個模型即可同時完成推理和生成任務，無需在多個模型之間做編排調度。
NVIDIA 此次開源了 Cosmos 3 的模型權重、訓練腳本、部署工具和資料集。目前提供兩個版本：Cosmos 3 Nano（8B 參數）面向工作站級部署，可在 NVIDIA RTX PRO 6000 等 GPU 上運行，適合實時機器人推理；Cosmos 3 Super（32B 參數）則面向資料中心，在 NVIDIA Hopper 和 Blackwell GPU 上運行，適合大規模合成資料生成和高級物理推理任務。
在能力方面，Cosmos 3 支援多種輸入輸出模態組合：文本到圖像生成、文本/視訊到視訊預測、文本+圖像+視訊的推理分析、動作條件世界模型，以及視訊到動作的策略模型等。這意味著同一個模型既可以用於生成自動駕駛邊緣場景的合成訓練資料，也可以用於機器人學習策略的開發和驗證。
伴隨模型發佈的還有六套開源合成資料集，涵蓋機器人操作、物理仿真、空間推理、人體運動、駕駛和倉庫環境等場景。這些資料集和開源工具鏈旨在降低物理 AI 開發的門檻，讓更多研究團隊和企業能夠在此基礎上構建自己的物理 AI 應用。
整體來看，Cosmos 3 代表了物理 AI 基礎模型的一次重要演進，從分離的推理和生成模型走向統一架構。對於機器人、自動駕駛和智能空間領域的開發者而言，這意味著更簡潔的開發流程和更開放的模型生態。
WeChat
Profile