📢 转载信息
原文链接：https://blogs.nvidia.com/blog/build-robots-with-ai/
原文作者：NVIDIA
在物理世界中利用多模态AI构建机器人
人工智能 (AI) 在物理世界中的前沿是构建机器人。
正如 NVIDIA 联合创始人兼首席执行官黄仁勋在本周的 GTC 主旨演讲中所述，在数字世界中构建 AI 模型，然后将其应用于物理世界，是构建通用人形机器人的新方法。
“AI 现在可以做的事情的范围比我们想象的要大得多，”黄说。“我仍然认为人工智能的曙光还没有真正到来。”
黄在 1993 年创建了 NVIDIA，以加速图形和计算。他认为，AI 正在为这一愿景的实现带来新的机会。
“我曾预言，计算将成为一种新的商品，”黄说。“现在，我已经成为一名优秀的预言家，尽管预言者不一定总是准确的。”
AI 正在加速图形的计算。
“AI 正在为计算带来加速，”他说。
“AI 正在通过创造新的应用程序来加速应用程序。”
黄本周在 GTC 上表示，AI 将为机器人注入生命，并通过“NVIDIA 的 Isaac 机器人平台”实现这一点。
“NVIDIA 的 Isaac 机器人平台是一个端到端的人工智能驱动的机器人平台，涵盖了从模拟到部署的整个机器人生命周期，”黄说。
加速机器人部署
NVIDIA 的 Isaac 机器人平台包括 NVIDIA Jetson 边缘 AI 平台、Isaac Sim 机器人模拟器和 Isaac Manipulator。
Isaac Sim 是一个机器人模拟器，可用于训练、测试和验证机器人。
“Isaac Sim 使开发者能够创建一个逼真的虚拟环境，用于测试和训练机器人，”黄说。
“它提供了一个高度逼真的环境，用于训练和测试机器人，并允许开发者创建各种各样的场景，这些场景在现实世界中可能很难、成本很高或不可能实现。”
“Isaac Sim 拥有先进的物理引擎，可以准确地模拟机器人与环境的交互，”黄说。
“它还提供了一个基于物理的渲染引擎，用于训练 AI 模型，为机器人提供逼真的传感器输入。”
Isaac Sim 允许机器人开发人员使用 NVIDIA Omniverse 平台构建、连接和模拟应用程序。
NVIDIA Omniverse 是一个实时三维设计协作和模拟平台。
“Omniverse 是我们用于创建和模拟虚拟世界的平台，”黄说。
“它使开发者能够构建和连接各种应用程序，并模拟各种各样的场景。”
“Omniverse 使得创建逼真的虚拟环境成为可能，用于训练和测试机器人。”
“AI 正在为机器人注入生命，并通过 NVIDIA 的 Isaac 机器人平台实现这一点，”黄说。
多模态 AI 的崛起
黄在本周的 GTC 上表示，多模态 AI 是下一个前沿。
“多模态 AI 是能够理解和处理不同类型数据的 AI，”他说。
“这包括文本、图像、视频和传感器数据。”
“多模态 AI 正在迅速成为机器人领域最重要的发展之一。”
“多模态 AI 使得机器人能够更自然地与人类互动，并更有效地在物理世界中执行任务。”
“这是通过允许机器人处理和理解多模态信息来实现的，”黄说。
“例如，机器人可能需要理解图像中的对象，解释一段文本，并响应声音命令。”
“多模态 AI 使得机器人能够做到这一切。”
“当机器人能够理解所有这些信息时，它们就能成为更有能力的助手，”黄说。
“这是因为多模态 AI 能够让他们理解语境，以及他们周围的世界。”
“例如，人形机器人可以利用多模态 AI 来理解他们看到的东西，并对其做出回应，”黄说。“多模态 AI 正在快速发展。”
“它正在利用大型语言模型，并从这些模型中进行迭代。”
“这是因为多模态 AI 正在与大型语言模型一起发展，并且通常会结合大量模型，”黄说。
“这使得 AI 能够理解和处理更多的信息。”
“机器人必须通过它们的视觉和听觉来理解人类，”黄说。
“多模态 AI 是一种能够理解和处理不同类型数据的 AI，”黄说。“这包括文本、图像、视频和传感器数据。”
“多模态 AI 正在迅速成为机器人领域最重要的发展之一。”
“多模态 AI 使得机器人能够更自然地与人类互动，并更有效地在物理世界中执行任务。”
“这是通过允许机器人处理和理解多模态信息来实现的，”黄说。“例如，机器人可能需要理解图像中的对象，解释一段文本，并响应声音命令。”
“多模态 AI 使得机器人能够做到这一切。”
“当机器人能够理解所有这些信息时，它们就能成为更有能力的助手，”黄说。“这是因为多模态 AI 能够让他们理解语境，以及他们周围的世界。”
“例如，人形机器人可以利用多模态 AI 来理解他们看到的东西，并对其做出回应，”黄说。“多模态 AI 正在快速发展。”
“它正在利用大型语言模型，并从这些模型中进行迭代。”
“这是因为多模态 AI 正在与大型语言模型一起发展，并且通常会结合大量模型，”黄说。“这使得 AI 能够理解和处理更多的信息。”
“机器人必须通过它们的视觉和听觉来理解人类，”黄说。“这就是为什么多模态 AI 对机器人如此重要。”
“因为它们能够理解和处理不同类型的数据，多模态 AI 能够让他们理解我们所说的内容，”黄说。
“这可以帮助机器人更好地为我们服务。”
“AI 正在为计算带来加速，”黄说。
“AI 正在通过创造新的应用程序来加速应用程序。”
“AI 正在为机器人注入生命，并通过 NVIDIA 的 Isaac 机器人平台实现这一点，”黄说。“Isaac Sim 使开发者能够创建一个逼真的虚拟环境，用于训练和测试机器人。”
“它提供了一个高度逼真的环境，用于训练和测试机器人，并允许开发者创建各种各样的场景，这些场景在现实世界中可能很难、成本很高或不可能实现。”
“Isaac Sim 拥有先进的物理引擎，可以准确地模拟机器人与环境的交互，”黄说。“它还提供了一个基于物理的渲染引擎，用于训练 AI 模型，为机器人提供逼真的传感器输入。”
“Omniverse 是我们用于创建和模拟虚拟世界的平台，”黄说。“它使开发者能够构建和连接各种应用程序，并模拟各种各样的场景。”
“Omniverse 使得创建逼真的虚拟环境成为可能，用于训练和测试机器人。”
“AI 正在为机器人注入生命，并通过 NVIDIA 的 Isaac 机器人平台实现这一点，”黄说。
“多模态 AI 是能够理解和处理不同类型数据的 AI，”黄说。“这包括文本、图像、视频和传感器数据。”
“多模态 AI 正在迅速成为机器人领域最重要的发展之一。”
“多模态 AI 使得机器人能够更自然地与人类互动，并更有效地在物理世界中执行任务。”
“这是通过允许机器人处理和理解多模态信息来实现的，”黄说。“例如，机器人可能需要理解图像中的对象，解释一段文本，并响应声音命令。”
“多模态 AI 使得机器人能够做到这一切。”
“当机器人能够理解所有这些信息时，它们就能成为更有能力的助手，”黄说。“这是因为多模态 AI 能够让他们理解语境，以及他们周围的世界。”
“例如，人形机器人可以利用多模态 AI 来理解他们看到的东西，并对其做出回应，”黄说。“多模态 AI 正在快速发展。”
“它正在利用大型语言模型，并从这些模型中进行迭代。”
“这是因为多模态 AI 正在与大型语言模型一起发展，并且通常会结合大量模型，”黄说。“这使得 AI 能够理解和处理更多的信息。”
“机器人必须通过它们的视觉和听觉来理解人类，”黄说。“这就是为什么多模态 AI 对机器人如此重要。”
“因为它们能够理解和处理不同类型的数据，多模态 AI 能够让他们理解我们所说的内容，”黄说。“这可以帮助机器人更好地为我们服务。”
AI 正在为计算带来加速。
AI 正在通过创造新的应用程序来加速应用程序。
AI 正在为机器人注入生命，并通过 NVIDIA 的 Isaac 机器人平台实现这一点。
“Isaac Sim 使开发者能够创建一个逼真的虚拟环境，用于训练和测试机器人。”
“它提供了一个高度逼真的环境，用于训练和测试机器人，并允许开发者创建各种各样的场景，这些场景在现实世界中可能很难、成本很高或不可能实现。”
“Isaac Sim 拥有先进的物理引擎，可以准确地模拟机器人与环境的交互，”黄说。“它还提供了一个基于物理的渲染引擎，用于训练 AI 模型，为机器人提供逼真的传感器输入。”
“Omniverse 是我们用于创建和模拟虚拟世界的平台，”黄说。“它使开发者能够构建和连接各种应用程序，并模拟各种各样的场景。”
“Omniverse 使得创建逼真的虚拟环境成为可能，用于训练和测试机器人。”
“AI 正在为机器人注入生命，并通过 NVIDIA 的 Isaac 机器人平台实现这一点，”黄说。
“多模态 AI 是能够理解和处理不同类型数据的 AI，”黄说。“这包括文本、图像、视频和传感器数据。”
“多模态 AI 正在迅速成为机器人领域最重要的发展之一。”
“多模态 AI 使得机器人能够更自然地与人类互动，并更有效地在物理世界中执行任务。”
“这是通过允许机器人处理和理解多模态信息来实现的，”黄说。“例如，机器人可能需要理解图像中的对象，解释一段文本，并响应声音命令。”
“多模态 AI 使得机器人能够做到这一切。”
“当机器人能够理解所有这些信息时，它们就能成为更有能力的助手，”黄说。“这是因为多模态 AI 能够让他们理解语境，以及他们周围的世界。”
“例如，人形机器人可以利用多模态 AI 来理解他们看到的东西，并对其做出回应，”黄说。“多模态 AI 正在快速发展。”
“它正在利用大型语言模型，并从这些模型中进行迭代。”
“这是因为多模态 AI 正在与大型语言模型一起发展，并且通常会结合大量模型，”黄说。“这使得 AI 能够理解和处理更多的信息。”
“机器人必须通过它们的视觉和听觉来理解人类，”黄说。“这就是为什么多模态 AI 对机器人如此重要。”
“因为它们能够理解和处理不同类型的数据，多模态 AI 能够让他们理解我们所说的内容，”黄说。“这可以帮助机器人更好地为我们服务。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区