📢 转载信息
原文链接：https://blogs.nvidia.com/blog/scaling-physical-ai-omniverse/
原文作者：Katie Washabaugh
编者按：本文属于“深入Omniverse”系列，该系列重点介绍开发人员、3D从业者和企业如何利用OpenUSD和NVIDIA Omniverse的最新进展来转变工作流程。
物理AI模型（驱动机器人、自动驾驶汽车和其他智能机器的模型）必须是安全的、能泛化到动态场景的，并且有能力实时感知、推理和操作。与可以从互联网海量数据集中训练的大型语言模型不同，物理AI模型必须从扎根于现实世界的数据中学习。
然而，收集足够覆盖现实世界中各种场景的数据极其困难，在某些情况下甚至是危险的。基于物理的合成数据生成为解决这一差距提供了一条关键途径。
NVIDIA最近发布了对NVIDIA Cosmos开放世界基础模型（WFM）的更新，以加速用于测试和验证物理AI模型的数据生成。利用NVIDIA Omniverse库和Cosmos，开发人员可以以惊人的规模生成基于物理的合成数据。
Cosmos Predict 2.5现已将Text2World、Image2World和Video2World这三个独立模型统一到一个轻量级架构中，该架构可以从单个图像、视频或提示生成一致、可控的多摄像头视频世界。
Cosmos Transfer 2.5实现了高保真、空间控制的世界到世界风格迁移，以增强数据多样性。开发人员可以为模拟环境添加新的天气、光照和地形条件，覆盖多个摄像头。Cosmos Transfer 2.5比其前代产品小3.5倍，在保持改进的提示对齐和物理准确性的同时，提供了更快的性能。
这些WFM可以集成到运行在NVIDIA Isaac Sim开源机器人模拟框架中的合成数据管道中。Isaac Sim基于NVIDIA Omniverse平台构建，用于生成逼真的视频，从而减小模拟到现实的差距。开发人员可以参考一个关于合成数据生成的四部分管道：
- NVIDIA Omniverse NuRec 神经重建库，用于在OpenUSD中重建真实环境的数字孪生，只需从智能手机开始。
- SimReady 资产，用于用物理精确的3D模型填充数字孪生。
- Isaac Sim中的MobilityGen工作流程，用于生成合成数据。
- NVIDIA Cosmos，用于增强生成的数据。
从模拟到现实世界
领先的机器人和AI公司已经在利用这些技术来加速物理AI的开发。
Skild AI（构建通用机器人大脑）正在使用Cosmos Transfer，通过新的变化来增强现有数据，用于测试和验证在NVIDIA Isaac Lab中训练的机器人策略。
Skild AI使用Isaac Lab创建可扩展的模拟环境，让其机器人在不同实体和应用中进行训练。通过将Isaac Lab的机器人模拟功能与Cosmos的合成数据生成相结合，Skild AI可以在没有现实世界数据收集的时间和成本限制的情况下，在各种条件下训练机器人大脑。
Serve Robotics利用NVIDIA Isaac Sim中数千个模拟场景生成的合成数据。这些合成数据随后与真实数据一起用于训练物理AI模型。该公司已在公共场所运营着最大的自动机器人车队之一，并在城市地区完成了超过10万次“最后一英里”的送餐服务。Serve的机器人每月收集100万英里的数据，其中包括近1700亿的图像-激光雷达样本，这些数据在模拟中用于进一步改进机器人模型。
要了解Serve Robotics如何使用Isaac Sim来加速其路边送货机器人的开发、测试和部署，请观看下面的直播。
除了送餐之外，Serve最近还利用其机器人运送计算能力——通过无人机将全新的NVIDIA DGX Spark个人AI超级计算机交付给Refik Anadol、Will.I.AM和Ollama。DGX Spark提供1 petaflop的AI性能，为开发人员提供了桌面级的AI模型原型设计、模型微调、推理和机器人开发工作流程能力。
自动无人机配送公司Zipline也参与了DGX Spark的交付活动，其首席硬件官Jo Mardall在公司位于加州半月湾的总部和测试设施接收了一台DGX Spark无人机交付的设备。Zipline为其无人机配送系统使用了NVIDIA Jetson边缘AI和机器人平台。
了解开发人员如何使用合成数据
Lightwheel是一家模拟优先的机器人解决方案提供商，它正通过SimReady资产和大规模合成数据集帮助公司弥合模拟到现实的差距。Lightwheel的方法利用OpenUSD构建的高质量合成数据和模拟环境，确保在模拟中训练的机器人在现实世界场景中（从工厂车间到家庭）都能有效运行。
数据科学家兼Omniverse社区成员Santiago Villa正在使用合成数据配合Omniverse库和Blender软件，通过识别导致停机的巨大石块来改进采矿作业。
未被发现进入破碎机的石块可能导致每次事件延迟七分钟或更长时间，给矿场带来高达每年65万美元的生产损失。使用Omniverse在各种光照和天气条件下生成数千张自动标注的合成图像，可以显著降低训练成本，同时使矿业公司能够改进石块检测系统并避免设备停机时间。
FS Studio与一家全球物流领导者合作，通过使用Omniverse Replicator等Omniverse库，在不同光照条件下创建数千种逼真的包裹变化，以改进AI驱动的包裹检测。合成数据集显著提高了物体检测的准确性并减少了误报，为客户的物流网络带来了吞吐速度和系统性能的明显提升。
Robots for Humanity为一家石油和天然气客户在Isaac Sim中构建了一个完整的模拟环境，使用Omniverse库生成合成数据（包括深度图、分割图和RGB图像），并通过远程操作收集Unitree G1机器人的关节和运动数据。
Omniverse大使Scott Dempsey正在开发一个合成数据生成器，该生成器根据真实世界制造商规格构建各种电缆，并使用Isaac Sim生成合成数据，再通过Cosmos Transfer进行增强，为用于电缆检测和处理的应用创建逼真的训练数据集。
接入OpenUSD世界
通过探索以下资源，了解有关OpenUSD、Cosmos和物理AI合成数据的更多信息：
- 训练：使用“Isaac Sim入门”学习路径，该路径涵盖了Isaac Sim机器人模拟、ROS 2集成、合成数据生成等内容。
- 探索：合成数据生成的生成式AI参考工作流程。
- 构建：使用NVIDIA Cosmos Cookbook中用于AI开发的循序渐进的工作流程、技术指南和具体示例。
- 阅读：这篇NVIDIA技术博客，了解如何使用iPhone捕捉场景并使用NVIDIA Isaac Sim进行重建。
- 观看：此YouTube播放列表中的视频，了解创建合成数据的完整工作流程。
- 探索：NVIDIA Brev，以访问完全配置的GPU环境和预构建的启动器，用于物理AI开发。
请通过订阅NVIDIA Omniverse新闻、加入Omniverse社区，并在Discord、Instagram、LinkedIn、Threads、X和YouTube上关注Omniverse，随时了解最新动态。
探索Alliance for OpenUSD论坛和AOUSD网站。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区