在 SIGGRAPH 2024 大會上，NVIDIA 宣佈推出基於 NVIDIA Omniverse 的新型生成式 AI 和基於 NVIDIA Omniverse 的 NVIDIA 加速開發工具。這將擴大 Universal Scene Description (OpenUSD) 在機器人、工業設計和工程領域的採用率，以便開發者可以為 AI 的下一次演進快速構建高度準確的虛擬世界。
OpenUSD 是適用於 3D 和 simulation 工作流程的開源框架和資料交換。 這種通用性使開發者能夠構建高度準確、AI-enabled 的虛擬世界以及使這些世界成為可能的工具。
借助基於 NVIDIA Omniverse 的 NVIDIA 加速開發工具和新型生成式 AI，更多行業的開發者可以創建用於可視化工業設計和工程專案的應用程序，或用於模擬環境的應用程序，從而構建下一波物理 AI 和機器人。新的開發者工具包括：
適用於 OpenUSD 語言、材料、空間智能和物理 AI 的 NVIDIA NIM 微服務和工作流程指南。
OpenUSD Exchange SDK 和 USD 連接器，支援包括機器人和工業模擬格式在內的行業特定資料。
NVIDIA Omniverse Kit SDK 和開發者工具，用於從頭開始構建和部署基於 OpenUSD 的應用程序。
將生成式 AI 引入 OpenUSD 工作流程
如今，生成式 AI 對於基於文本和數字的應用來說相對容易。但要讓生成式 AI 處理 3D 場景，AI 需要同時具備空間智能和物理智能。
適用於 OpenUSD 語言、材料、空間智能和物理 AI 的新 NVIDIA NIM USD 微服務將生成式 AI 引入 OpenUSD 工作流程。作為開發者，您可以使用這些微服務將經過微調的生成式 AI copilot 和代理整合到 3D 工作流程中，從而擴展 USD 的採用範圍到製造、汽車和機器人等新興行業。
Objects in a warehouse generated from a prompt with USD Search NIM.、
圖 1. USD 搜索 NIM 使開發者能夠使用自然語言或圖像輸入搜索大量的 OpenUSD、3D 和圖像資料
預覽版中提供的微服務包括：
USD 代碼 NIM 微服務: 可以回答 OpenUSD 知識查詢並生成 USD-Python 代碼的先進語言模型（LLM）。
USD 搜索 NIM 微服務: AI 功搜索 OpenUSD 資料、3D 模型、圖像和資產使用基於文本或圖像的輸入。
USD 驗證 NIM 微服務: 驗證 OpenUSD 資產與 RTX 渲染和基於規則的驗證的相容性。
全球大型營銷和傳播公司 WPP 是 NIM 微服務的早期採用者之一。WPP 與 The Coca-Cola Company 合作，使用 USD Search 和 Code 加速全球創意活動的迭代。
其他早期採用者包括創新 NVIDIA Inception 成員 HOMEE AI 和 Livvy by Aireal。 HOMEE AI 是 USD Search 的早期採用者。他們計劃使用 NIM 微服務來啓用智能搜索為其 AI 驅動的空間規劃 用戶。另一個早期採用者， Aireal, 計劃使用 USD NIM 微服務（包括 USD Search），以幫助他們開發 AI 驅動的工具，徹底改變室內設計行業。
用於 USD 開發的其他 NIM 微服務即將推出。其中包括 USD Layout NIM，這是一種生成式 AI 模型，用於從一系列文本提示中組合基於 OpenUSD 的場景，以及用於將逼真材質應用到 3D 對象的 USD SmartMaterial NIM。
fVDB 是一種深度學習框架，用於通過空間智能構建物理 AI。NIM 微服務也即將推出 for fVDB。fVDB (早期訪問版) 在 OpenVDB 之上構建 NVIDIA 加速的 AI 操作符，以生成 AI 就緒型虛擬環境，從而捕獲大規模空間規模和高分辨率的現實世界。如需瞭解詳情，請參閱 Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB。
開始使用 NIM 參考工作流程, 包括 ChatUSD 工作流程，使用 USD Code 構建交互式聊天界面，或使用 USD Search 和 USD Code 加速合成 3D 資料生成流程。
使用 NVIDIA Omniverse 構建 USD 本地應用
您可以使用 Omniverse 從頭開始構建 OpenUSD 原生應用程序 —— 利用 Omniverse Kit SDK 和開發者工具 快速入門。最新版本的 Omniverse Kit SDK 106, 帶來了新的工具和增強的功能，提供了更大的靈活性和控制力來優化開發工作流程。現在，Omniverse Kit 已經全面推出，並獲得了 Omniverse Enterprise 許可 的全面企業級支援。
The user interface for Omniverse showing the Kit Base Editor Sample with a robotic arm holding a square object.
圖 2. 使用 Kit App Template 構建的 Omniverse Kit Base Editor 示例
此版本包含 Omniverse Kit 應用模板 資源庫，該資源庫提供各種應用模板，可用作起點，並根據任何專案的特定需求進行定制。這種基於模板的工具可顯著縮短開發時間，因此您可以專注於集成技術、資料流水線和功能，借助 NVIDIA AI 的強大功能解決之前棘手的問題。
Omniverse Kit 應用流 API 也已推出早期訪問版。此 API 啓用您將基於 Kit 的應用部署到雲端並以交互方式從雲端流式傳輸。您可以在任何公有雲上自行托管這些應用，並將其無縫集成到基於 Web 的解決方案中。
將行業特定資料連接到 OpenUSD
為進一步推進OpenUSD生態系統擴展，NVIDIA 宣佈推出OpenUSD Exchange SDK，該 SDK 將於今年晚些時候在GitHub上推出。借助該 SDK，您可以構建自己的強大OpenUSD資料插件、轉換器和交換器。開發者將能夠更輕鬆地訪問和貢獻於日益增長的第三方解決方案列表，這些解決方案可用於將常見資料源與OpenUSD連接起來。
對於需要使用 USD 交換行業特定資料的開發者而言，OpenUSD Exchange 尤其有用。為了幫助他們快速實現這一目標，NVIDIA 繼續構建和支援從關鍵格式到 OpenUSD 的連接器，例如 Unified Robotics Description Format (URDF)。將 URDF 連接到 OpenUSD 使機器人專家能夠在從設計到仿真再到強化學習的整個應用中無縫引入機器人資料。
此外，NVIDIA 還發佈了新的開發者工具和 APIs，可通過 NVIDIA Graphics Delivery Network (GDN) 將大規模 OpenUSD 場景流式傳輸到 Apple Vision Pro (in 早期訪問版) 通過 NVIDIA Graphics Delivery Network (GDN)。
WeChat
Profile