📢 转载信息
原文链接：https://blogs.nvidia.com/blog/physical-ai-open-models-robot-autonomous-systems-omniverse/
原文作者：Akhil Docca
编者注：本文是“进入Omniverse”系列的一部分，该系列聚焦于开发者、3D从业者和企业如何利用OpenUSD和NVIDIA Omniverse的最新进展来变革工作流程。
开源已成为推动机器人技术和自主系统创新的关键。通过提供从仿真框架到AI模型的关键基础设施，NVIDIA正在促进协作开发，从而加速实现更安全、更强大的自主系统。
在本月早些时候的CES上，NVIDIA推出了一套新的开放式物理AI模型和框架，旨在加速人形机器人、自动驾驶汽车和其他物理AI实体的发展。这些工具涵盖了整个机器人开发生命周期——从高保真世界仿真和合成数据生成，到云原生编排和边缘部署——为开发者提供了一个模块化工具包，用于构建能够在现实世界中进行推理、学习和行动的自主系统。
OpenUSD提供了通用框架，标准化了这些物理AI工具之间3D数据的共享方式，使开发者能够构建精确的数字孪生，并能无缝地从仿真重用到部署。
NVIDIA Omniverse库基于OpenUSD构建，充当了为整个技术栈提供基础真相仿真的来源。
从实验室走向展台
在2026年国际消费电子展（CES）上，开发者将NVIDIA物理AI堆栈从实验室带到了展台，展示了从重型设备、工厂助手到社交和服务机器人等一系列机器。
该技术堆栈利用了NVIDIA Cosmos世界模型；NVIDIA Isaac技术，包括用于策略评估的Isaac Lab-Arena开源框架；用于自动驾驶汽车的NVIDIA Alpamayo开放式AI模型、仿真框架和物理AI数据集组合；以及用于跨计算环境编排训练的NVIDIA OSMO框架。
卡特彼勒（Caterpillar）的Cat AI助手，由NVIDIA Nemotron开源代理AI模型驱动，并运行在NVIDIA Jetson Thor边缘AI模块上，将自然语言交互直接带入重型设备的驾驶室。操作员可以像问“Hey Cat”一样提问并获得分步指导，还可以通过语音调整安全参数。
在幕后，卡特彼勒使用Omniverse库来构建工厂和作业现场的数字孪生，以帮助模拟布局、交通模式和多机工作流程。在将更改部署到作业现场之前，这些见解会被反馈给设备和车队，使AI辅助操作更安全、更高效。
LEM Surgical展示了其Dynamis机器人手术系统，该系统已获得FDA批准并在脊柱手术中常规使用。下一代系统使用NVIDIA Jetson AGX Thor进行计算，NVIDIA Holoscan进行实时传感器处理，以及NVIDIA Isaac用于训练其自主机械臂。
LEM Surgical还使用NVIDIA Cosmos Transfer——一个开放的、完全可定制的世界模型，支持基于物理的合成数据生成——来生成合成训练数据，并使用NVIDIA Isaac Sim框架进行数字孪生仿真。Dynamis系统被设计为用于硬组织手术的双臂人形机器人，它模仿了人类外科医生的灵活性，并以增强的精度实现了复杂脊柱手术，减轻了外科医生和手术助理的繁重体力负担。
NEURA Robotics正在基于完整的NVIDIA技术栈构建认知机器人，利用Isaac Sim和Isaac Lab在其部署到家庭和工作场所之前，在基于OpenUSD的数字孪生中训练其4NE1人形机器人和MiPA服务机器人。该公司使用NVIDIA Isaac GR00T-Mimic对Isaac GR00T基础模型进行后训练，以适应其平台。
此外，NEURA Robotics正在与SAP和NVIDIA合作，将SAP的Joule智能体与其机器人集成，使用Mega NVIDIA Omniverse蓝图在复杂、真实的运行场景中模拟和完善机器人行为，然后将这些智能体和行为部署到公司的Neuraverse生态系统以及现实世界车队中。
AgiBot使用NVIDIA Cosmos Predict 2作为其Genie Envisioner (GE-Sim) 平台的“世界建模骨干”——使平台能够生成基于强大视觉和物理先验的、与动作相关的视频。将这些数据与Isaac Sim和Isaac Lab结合，以及在AgiBot自己的数据上进行后训练，使得在Genie Envisioner中开发的策略能够更可靠地转移到Genie2人形机器人和基于Jetson Thor的紧凑型桌面机器人上。
Intbot正在使用NVIDIA Cosmos Reason 2开放模型为其社交机器人赋予现实世界的“第六感”——利用该模型的推理能力来识别超越简单脚本任务的简单社交线索和安全情境。在其Cosmos Cookbook食谱中，Intbot展示了推理视觉语言模型如何帮助机器人在何时发言以及如何更自然地与人类互动。
机器人开发者如何使用新的工具包和框架
NVIDIA最近推出了Agile，一个基于Isaac Lab的人形体操控引擎，它打包了一个完整的、经过仿真到现实（sim-to-real）验证的工作流程，用于在Unitree G1和LimX Dynamics TRON等平台上训练稳健的强化学习策略。
机器人开发者可以使用Agile内置的任务配置、用于决策的马尔可夫决策过程（MDP）数学模型、训练实用程序和确定性评估工具来调整策略。然后，开发者可以在Isaac Lab中对这些策略进行压力测试，并将运动和全身行为更可靠、更高效地转移到真实世界的机器人上。
Hugging Face和NVIDIA通过将NVIDIA Isaac GR00T N模型和仿真框架集成到LeRobot生态系统中，正在汇集其机器人社区。开发者现在可以直接在LeRobot中访问Isaac GR00T N1.6模型和Isaac Lab-Arena，以简化策略训练和评估。
此外，Hugging Face的开源Reachy 2人形机器人现在与NVIDIA Jetson Thor完全互操作，可以直接部署先进的视觉语言动作（VLA）模型，以实现稳健的现实世界性能。
ROBOTIS是智能伺服电机、工业执行器、机械手、开源人形平台和教育机器人套件的领先开发商，它使用NVIDIA Isaac技术构建了一个开源的仿真到现实（sim-to-real）流程。该工作流程从Isaac Sim中的高保真数据生成开始，使用GR00T-Mimic进行增强以扩展训练集，然后对基于VLA的Isaac GR00T N模型进行微调，该模型直接部署到硬件上——从而加速了从仿真到稳健现实世界任务的过渡。
参与进来
通过探索以下资源，了解有关OpenUSD和机器人开发的更多信息：
- 阅读这篇技术博客，了解如何使用NVIDIA Isaac和GR00T N1.6开发通用人形能力。
- 阅读这篇技术博客，了解如何使用NVIDIA Isaac Lab – Arena在仿真中评估通用机器人策略。
- 学习如何使用这个两部分视频教程对Isaac GR00T进行后训练。
- 观看NVIDIA创始人兼首席执行官黄仁勋的CES特别演讲。
- 通过这个自定进度的机器人学习路径来提升机器人开发技能。
- 参与Cosmos Cookoff，这是一个上手的物理AI挑战，开发者使用Cosmos Reason为机器人、自主系统和视觉AI工作流程提供动力。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区