📢 转载信息
原文链接：https://blogs.nvidia.com/blog/openusd-halos-safety-robotaxi-physical-ai/
原文作者：Katie Washabaugh
编者按：本帖是“走进 Omniverse”系列的一部分，该系列重点介绍开发人员、3D 实践者和企业如何利用 OpenUSD 和 NVIDIA Omniverse 的最新进展来转变其工作流程。
物理 AI 正在从研究实验室走向现实世界，为智能机器人和 自动驾驶汽车 (AV)（如机器人出租车）提供动力，这些系统必须在不可预测的条件下可靠地感知、推理和行动。
为了安全地扩展这些系统，开发人员需要能够连接现实世界数据、高保真模拟和强大的 AI 模型的工作流程，所有这些都建立在 OpenUSD 框架提供的通用基础之上。
最近发布的 OpenUSD 核心规范 1.0，即通用场景描述（Universal Scene Description），现已定义了标准数据类型、文件格式和组合行为，为开发人员在扩展自动驾驶系统时提供了可预测、可互操作的 USD 管道。
由 OpenUSD 驱动的 NVIDIA Omniverse 库 结合了 NVIDIA RTX 渲染、物理模拟和高效的运行时环境，以创建数字孪生和可用于模拟（SimReady）的资产，这些资产准确反映现实世界环境，用于合成数据生成和测试。
NVIDIA Cosmos 世界基础模型可以在这些模拟之上运行，以增强数据多样性，从相同的场景生成新的天气、光照和地形条件，以便团队可以安全地覆盖罕见和具有挑战性的边缘情况。
想了解更多信息，请观看今天太平洋时间上午 11 点的 OpenUSD 直播或回放，这是 NVIDIA Omniverse OpenUSD Insider 系列的一部分：
此外，合成数据生成、多模态数据集和 SimReady 工作流程方面的进步现已与 NVIDIA Halos 自动驾驶安全框架相结合，为下一代自动机器的安全、快速、更具成本效益的部署创建了基于标准的路径。
为安全物理 AI 构建基础
开放标准与 SimReady 资产
OpenUSD 核心规范 1.0 确立了 SimReady 资产的基础标准数据模型和行为，使开发人员能够在 OpenUSD 上为 AI 工厂和机器人技术构建可互操作的模拟管道。
建立在此基础之上，SimReady 3D 资产可以在工具和团队之间重复使用，并直接加载到 NVIDIA Isaac Sim 中，其中基于 USDPhysics 碰撞体、刚体动力学和组合弧（composition-arc）的变体使团队能够在与实际操作非常相似的虚拟环境中测试机器人。
开源学习
Learn OpenUSD 课程现在已开源并在 GitHub 上提供，使贡献者能够针对不同的受众、语言和用例本地化和调整模板、练习和内容。这为教育工作者提供了一个现成的基础，可以将新团队整合到以 OpenUSD 为中心的模拟工作流程中。
生成式世界作为安全倍增器
高斯溅射（Gaussian splatting）——一种使用可编辑 3D 元素快速渲染高保真环境的技术——以及世界模型正在加速安全机器人测试和验证的模拟管道。
在 SIGGRAPH Asia 展会上，NVIDIA 研究团队推出了 Play4D，这是一个流式传输管道，支持 4D 高斯溅射，以准确渲染动态场景并提高真实感。
空间智能公司 World Labs 正在使用其 Marble 生成式世界模型 结合 NVIDIA Isaac Sim 和 Omniverse NuRec，使研究人员能够在数小时而非数周内将文本提示和样本图像转换为照片级逼真、基于高斯的、可进行物理模拟的 3D 环境。
这些世界随后可用于物理 AI 训练、测试和模拟到现实世界的迁移。这种高保真模拟工作流程扩展了机器人可以练习的场景范围，同时将实验安全地保留在模拟环境中。
Lightwheel 利用 SimReady 资产帮助团队扩展机器人训练
由 OpenUSD 驱动的 Lightwheel 的 SimReady 资产库包含一个通用场景描述层，使装配机器人高保真数字孪生变得容易。SimReady 资产嵌入了精确的几何形状、材料和经过验证的物理属性，可以直接加载到 NVIDIA Isaac Sim 和 Isaac Lab 中进行机器人训练。这使得机器人在学习过程中能够体验逼真的接触、动力学和传感器反馈。
端到端自动驾驶汽车安全
端到端自动驾驶汽车安全方面的进步正在通过新的研究、开放框架和检查服务加速，这些服务使验证更严格、更具可扩展性。
NVIDIA 研究人员与哈佛大学和斯坦福大学的合作者最近推出了 Sim2Val 框架，用于在统计学上结合现实世界和模拟测试结果，减少 AV 开发人员对昂贵的实际里程的需求，同时证明机器人出租车和 AV 如何在罕见和安全关键的场景中安全运行。
观看 NVIDIA 的“循环中的安全”直播，了解更多信息：
这些创新得到了一个新的、开源的 NVIDIA Omniverse NuRec Fixer 的补充，这是一个基于 Cosmos 训练的 AV 数据模型，它可以去除神经重建中的伪影，从而产生更高质量的 SimReady 资产。
为了使这些进展与严格的全球标准保持一致，NVIDIA Halos AI 系统检查实验室 — 经 ANAB 认证 — 通过 Halos 认证计划，对机器人出租车车队、AV 堆栈、传感器和制造商平台中的 Halos 元素提供公正的检查和认证。
将物理 AI 安全投入实践的自动驾驶生态系统领导者
博世 (Bosch)、Nuro 和 Wayve 是 NVIDIA Halos AI 系统检查实验室的首批参与者之一，该实验室旨在加速机器人出租车车队的部署，确保安全并实现大规模部署。Onsemi，这家为 AV、工业自动化和医疗应用制造传感器系统的公司，最近成为第一家通过 NVIDIA Halos AI 系统检查实验室检查的公司。
开源的 CARLA 模拟器集成了 NVIDIA NuRec 和 Cosmos Transfer 来生成重建的驾驶路线和多样化的场景变化，而 Voxel51 的 FiftyOne 引擎，与 Cosmos 数据集搜索、NuRec 和 Cosmos Transfer 相关联，帮助团队在整个 AV 管道中策展、注释和评估多模态数据集。
密歇根大学的 Mcity 正在使用 Omniverse 库和技术增强其占地 32 英亩的 自动驾驶汽车测试设施的数字孪生。该团队正在集成 NVIDIA 自动驾驶模拟蓝图 (Blueprint for AV simulation) 和 Omniverse 传感器 RTX 应用程序编程接口 (API)，以创建摄像头、激光雷达、雷达和超声波传感器的基于物理的模型。
通过将真实的传感器记录与高保真模拟数据对齐并公开共享资产，Mcity 能够在车辆上路之前对罕见和危险的驾驶场景进行安全、可重复的测试。
接入 OpenUSD 和物理 AI 安全的世界
通过探索以下资源，了解有关 OpenUSD、NVIDIA Halos 和物理 AI 安全的更多信息：
- 观看点播 NVIDIA GTC 会议“重建现实：为物理 AI 模拟室内和室外环境”。
- 访问 NVIDIA Halos AI 系统检查实验室网页。
- 关注 NVIDIA DRIVE LinkedIn 新闻通讯：“NVIDIA 循环中的安全”。
- 阅读公司博文解释：“AI 如何解锁 L4 级自动驾驶”。
- 开始使用现已开源的 Learn OpenUSD 课程。
通过订阅 NVIDIA 新闻、加入 社区，并在 Instagram、LinkedIn、Medium 和 X 上关注 NVIDIA Omniverse，保持最新动态。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区