Physical AI 系統必須在理解真實世界之後才能在其中行動。NVIDIA Cosmos 3 是 Physical AI 的前沿基礎模型,將物理推理、世界生成和行動生成整合在單一開放模型中,採用混合 Transformer 架構,包含推理塔和生成塔兩個核心組件。
推理塔是一個視覺語言模型,負責理解圖像、視訊和文本等多模態輸入,分析運動、物體交互等物理上下文。生成塔基於推理塔的理解,通過擴散過程生成物理感知的視訊和行動輸出。這種架構使單一模型即可同時完成推理和生成任務,消除多個模型和推理流水線之間的編排開銷。
NVIDIA 開源了 Cosmos 3 Nano 和 Cosmos 3 Super 模型檢查點、訓練腳本、部署工具和資料集,以及用於領域適配的後訓練腳本。開發者可通過 Cosmos NIM 微服務在 NVIDIA GPU 上輕鬆部署。
WeChat
Profile