NVIDIA三台计算机解决方案如何协同助力机器人技术

NVIDIA DGX、基于NVIDIA RTX PRO服务器的Omniverse和Cosmos，以及Jetson AGX Thor，正全面加速从人形机器人到机器人工厂等基于物理 AI 的系统的开发，贯穿训练、仿真和推理全流程。

物理 AI，即AI 在机器人、视觉 AI 智能体、仓库与工厂等在现实世界中运行的自主系统中的具体体现，正迎来突破性时刻?。

为助力开发者在交通运输、工业制造、物流及机器人等领域构建高效的物理 AI 系统，NVIDIA 推出了三台计算机解决方案，全面推动物理 AI 在训练、仿真与推理领域的进阶发展。

NVIDIA 的三台计算机分别是什么？

NVIDIA 的三台计算机解决方案由以下三个核心构成：用于 AI 训练的?NVIDIA DGXAI超级计算机；用于仿真的基于NVIDIA RTX PRO服务器的NVIDIA Omniverse和Cosmos；部署在机器人上，用于推理的NVIDIA Jetson AGX Thor。这一架构实现了物理 AI 从模型训练到部署的全生命周期开发闭环。

什么是物理 AI，为什么它很重要？

与在数字环境中运行的代理式 AI 不同，物理 AI 是一种端到端模型，能够全方面感知物理世界、执行实时推理、主动交互并自主导航。

60 年来，“软件 1.0”（由人类程序员编写的串行代码）在 CPU 驱动的通用计算机上运行。

随后，在 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指导下，开发了革命性的图像分类深度学习模型 AlexNet，在 ImageNet 计算机图像识别大赛中获胜。

这标志着该行业与 AI 的首次相遇。机器学习的突破，即在 GPU 上运行神经网络，正式开启了软件 2.0 时代。

如今，软件自己就可以编写软件。全球的计算工作负载正从 CPU 上的通用计算转向 GPU 上的加速计算，这一转变早已让摩尔定律难以企及。

借助生成式 AI，经过训练的多模态 transformer 和扩散模型已经可以生成响应。

大语言模型本质上是一维的，能够以字母或单词等模式预测下一个 token。而图像和视频生成模型则是二维的，能够预测下一个像素?。

这些模型都无法理解或解释三维世界。而这就是物理 AI 大显身手之处。

机器人是一种能够?感知、推理、规划、行动和学习?的系统。通常，人们把自主移动机器人（AMR）、机械臂或人形机器人看作机器人，但机器人体现类型还有很多。

在不久的将来，任何能够移动或监测移动物体的实体都可以成为自主机器系统。这些系统将具备感知环境并作出响应的能力。

从自动驾驶汽车、手术室，到数据中心、仓库、工厂，甚至交通控制系统以及整个智慧城市，一切都将从由人工操作的静态系统转变为由物理 AI 驱动的自主交互系统。

为什么人形机器人是下一个前沿领域？

人形机器人是一种理想的通用机器人形态，因为它们能在为人类设计的环境中高效运作，同时在部署和操作过程中只需极少的调整。

据高盛的数据，到 2035 年，全球人形机器人市场规模预计将达到 380 亿美元，相比近两年前预测的约 60 亿美元增长了六倍多。

全球的研究人员和开发者正竞相制造下一代机器人。

NVIDIA 的三台计算机如何协同助力机器人技术？

机器人通过三种不同的计算智能学习理解物理世界，每一个都在机器人开发流程中扮演着关键角色。

训练计算机：NVIDIA DGX

想要教会机器人理解自然语言、识别物体并规划复杂动作等，这类训练需要的庞大计算能力，只有依靠专门的超级计算基础设施才能实现，因此用于训练的计算机至关重要。

开发者可以在 NVIDIA DGX 平台上预训练自己的机器人基础模型，也可以把 NVIDIA Cosmos 开放世界基础模型或NVIDIA Isaac GR00T人形机器人基础模型用作基准模型，在此基础上对新的机器人策略进行后训练。

仿真与合成数据生成平台：

基于 NVIDIA RTX PRO 服务器的Omniverse 和 Cosmos

开发通用机器人的最大挑战在于数据鸿沟。对于大语言模型研究人员，他们有幸可以使用海量互联网数据用于预训练，但是物理 AI 领域却没有这类资源。

真实世界中的机器人数据不仅数量有限、获取成本高昂，且收集难度极大，尤其是在应对超出预训练覆盖范围的特殊场景时。同时，数据收集工作耗时耗力，这使得其成本极高，且难以实现规模化扩展。

开发者可利用 Omniverse 和 Cosmos 生成海量基于物理特性的多样化合成数据，例如 2D 或 3D 图像、分割掩码、深度图或运动轨迹数据，为模型训练和性能优化奠定基础。

为确保机器人模型在实际部署前的?安全性与高性能?，开发者必须在数字孪生环境中进行仿真测试。基于 Omniverse 构建的、运行在 NVIDIA RTX PRO 服务器上的NVIDIA Isaac Sim，使开发者能够在零风险的仿真环境中验证其机器人策略。在此环境中，机器人可以反复尝试执行任务并从错误中学习，而不会危及人类安全或造成昂贵的硬件损坏。

研究人员和开发者还可以使用NVIDIA Isaac Lab，这是一个推动机器人强化学习与模仿学习的开源机器人学习框架?，有助于提升机器人策略的训练效率?。

运行时计算平台：NVIDIA Jetson Thor

要实现安全、高效的部署，物理 AI 系统需要一台能支持机器人实时自主运行的计算机。该计算机必须具备在毫秒级时间内处理传感器数据、完成推理、规划并执行动作的强大算力。

机器人搭载的推理计算机需要运行多模态 AI 推理模型，才能让机器人与人类及物理世界进行实时、智能的交互。Jetson AGX Thor 设计紧凑，不仅能满足机载 AI 性能计算和能效需求，还支持控制策略、视觉和语言处理等多种模型的协同运行。

数字孪生如何加速机器人开发？

机器人设施是所有这些技术整合的产物。

Foxconn 等制造企业以及 Amazon Robotics 等物流企业，能够协调多组自主机器人与人类员工共同协作，并通过数百或数千个传感器监测工厂运营。

这些自主仓库、厂房和工厂将配备数字孪生系统，可用于布局规划与优化、操作仿真，最重要的是，可以用于机器人集群的软件在环测试。

基于 Omniverse 平台构建的Mega，是用于工厂数字孪生的蓝图。它能让工业企业在将机器人集群部署到实体工厂前，先在仿真环境中对其进行测试和优化。这有助于确保机器人实现无缝集成、发挥最佳性能，同时将干扰降至最低。

Mega 允许开发者把虚拟机器人及其 AI 模型或机器人的大脑放入他们的工厂数字孪生中。数字孪生中的机器人通过感知环境、决策推理、规划下一步动作，并最终完成预定动作来执行各种任务。

这些动作通过 Omniverse 中的世界仿真器，在数字环境中进行仿真。其结果再通过 Omniverse 传感器仿真被机器人大脑感知。

通过传感器仿真，机器人大脑决定下一个动作，循环继续进行。与此同时，Mega 会精确追踪工厂数字孪生体内所有元素的实时状态和位置。

这种先进的软件在环测试方法使工业企业能够在 Omniverse 数字孪生的安全范围内来仿真和验证更改，帮助他们预测和解决潜在问题，以在实际部署过程中降低风险和成本。

哪些企业正在使用 NVIDIA 的三台计算机解决方案？

NVIDIA 通过三台计算机解决方案，加速全球机器人开发者和机器人基础模型构建者的工作。

利用NVIDIA Isaac Manipulator、Isaac 加速库和 AI 模型以及NVIDIA Jetson Orin，泰瑞达旗下的优傲机器人公司构建了 UR AI 加速器，这是一个即用型硬件和软件工具包，使协作机器人开发者能够开发应用程序、加速开发，并缩短 AI 产品的上市时间。

RGo Robotics 使用NVIDIA Isaac Perceptor来帮助其 wheel.me 自主移动机器人随时随地工作，并通过赋予它们类似人类的感知能力和视觉空间信息，来做出明智的决策。

1X Technologies、Agility Robotics、Apptronik、波士顿动力、傅利叶、银河通用、Mentee、Sanctuary AI、宇树科技和小鹏机器人等人形机器人制造商正在采用 NVIDIA 的机器人开发平台。

波士顿动力正在使用 Isaac Sim 和 Isaac Lab 制造四足机器人，并使用 Jetson Thor 制作人形机器人，以提高人类生产力，解决劳动力短缺问题，并优先解决仓库的安全问题。

傅利叶正在利用 Isaac Sim 来训练人形机器人，使其能够在科学研究、医疗和制造业等需要高水平互动和适应性的领域中运行。

利用 Isaac Lab 和 Isaac Sim，银河通用开发了名为 DexGraspNet 的大型机器人灵巧抓取数据集，该数据集可应用于各种灵巧机器手，以及用于评估灵巧抓取模型的仿真环境；同时基于 Jetson Thor 实现灵巧手的实时精准控制。

使用 Isaac 平台和 Isaac Lab，Field AI 开发了风险受限的多任务和多用途基础模型，使机器人能够在户外现场环境中安全地运行。

各行业中物理 AI 的未来展望

随着全球各行业不断拓展机器人技术的应用场景，NVIDIA 面向物理 AI 提出的三台计算机解决方案展现出巨大的潜力，有望在制造业、物流、服务及医疗健康等多个行业中更好地帮助人类进行工作。