NVIDIA通过全新 Omniverse库、Cosmos物理AI模型及AI计算基础设施，为机器人领域开启新篇章

NVIDIA 通过全新 Omniverse 库、Cosmos 物理 AI 模型及 AI 计算基础设施，为机器人领域开启新篇章

·全新 NVIDIA Omniverse NuRec 3D Gaussian Splatting（3DGS）库支持大规模世界重建
·全新 NVIDIA Cosmos 模型支持世界生成与空间推理
·全新 NVIDIA RTX PRO Blackwell 服务器和 NVIDIA DGX Cloud 让开发者能够在任何地方运行需求严苛的仿真
·物理 AI 领先者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 采用仿真和合成数据生成技术

厂商供图

SIGGRAPH——2025 年 8 月11日 ——NVIDIA 宣布推出全新 NVIDIA Omniverse? 库和 NVIDIA Cosmos? 世界基础模型 (WFM)，加速机器人解决方案的开发和部署。

这些库和模型由全新 NVIDIA RTX PRO? 服务器和 NVIDIA DGX? Cloud提供支持，可帮助开发者在任何地方开发物理精确的数字孪生，在仿真中捕捉和重建现实世界，生成用于训练物理 AI模型的合成数据，并构建理解物理世界的 AI 智能体。

NVIDIA Omniverse 和仿真技术副总裁 Rev Lebaredian 表示：“计算机图形与 AI 的融合，从根本上改变着机器人。通过将 AI 推理与物理精准的可扩展仿真相结合，我们正帮助开发者打造未来的机器人和智能汽车，这将为各行业带来价值数万亿美元的改变。”

全新 NVIDIA Omniverse 库助力世界构建应用

全新 NVIDIA Omniverse 软件开发套件 (SDK) 和库现已推出，可用于构建和部署工业 AI和机器人开发仿真应用。

●全新 Omniverse SDK推出了 MuJoCo (MJCF) 与通用场景描述 (OpenUSD)之间的数据互操作性，帮助超过 250,000 名 MJCF 机器人学习开发者无缝地模拟各平台的机器人。
●全新 Omniverse NuRec 库和 AI 模型引入了 Omniverse RTX 光线追踪 3D Gaussian Splatting（3DGS）技术，这种渲染技术可帮助开发者利用传感器数据，在 3D 中截取、重建和模拟现实世界。
●NVIDIA Isaac Sim? 5.0和 NVIDIA Isaac Lab 2.2开源机器人仿真和学习框架现已在 GitHub 上提供。Isaac Sim现在包括 NuRec 神经渲染和基于 OpenUSD 的全新机器人及传感器模式，帮助机器人开发者缩小仿真与现实之间的差距。

Omniverse NuRec 渲染现已集成到超过 15 万名开发者使用的领先开源模拟器 CARLA中。 智能汽车(AV) 工具链领先者 Foretellix正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer，以增强其可扩展的合成数据生成能力，提供物理精准的场景。 Voxel51的视觉和多模态 AI 数据引擎 FiftyOne 支持 NuRec，帮助简化重建的数据准备工作。 FiftyOne 的客户包括福特和保时捷等。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 库、Isaac Sim 和 Isaac Lab，加速其 AI 机器人开发。 Amazon Devices & Services 正在使用它们来支持新的制造解决方案。

Cosmos 推动机器人世界生成进步

Cosmos WFM 下载量超过 200 万次，可帮助开发者通过文本、图像和视频提示大规模生成各种用于训练机器人的数据。

NVIDIA 在 SIGGRAPH 大会上宣布的新模型在合成数据生成速度、模型精度、语言支持和控制方面取得了重大进步：

●Cosmos Transfer-2即将发布，它简化了提示并能从地面实况 3D 仿真场景或空间控制输入（如深度、分割、边缘和高清地图）中，快速生成逼真的合成数据。
●Cosmos Transfer 的精简版本将 70 个步骤的蒸馏过程简化为一个步骤，开发者能够以前所未有的速度在 NVIDIA RTX PRO 服务器上运行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大规模模拟各种条件，加速物理 AI 训练。

Cosmos Reason 突破对世界的理解

自 OpenAI 的 CLIP 模型推出以来，视觉语言模型(VLM) 改变了物体和模式识别等计算机视觉任务。但是，它们尚未能够解决多步骤任务，也无法处理模糊或新颖的体验。

NVIDIA Cosmos Reason是一款面向物理 AI 和机器人开发的全新开源、可定制的 70 亿参数推理 VLM，可让机器人和视觉 AI 智能体像人类一样推理，利用先验知识、物理理解和常识，理解现实世界并付诸行动。

Cosmos Reason 可用于机器人开发和物理 AI 应用，包括：

●数据管理与注释，帮助开发者自动对海量、多样化的训练数据集进行高质量管理与注释。
●机器人规划和推理，在机器人视觉语言行为 (VLA) 模型中，充当有意识、有条理决策的大脑。Cosmos Reason 让机器人能够解读环境，并在收到复杂指令时，将其分解为任务，并运用常识执行这些任务，即使是在不熟悉的环境中。
●视频分析 AI 智能体基于可用于视频搜索和总结的 NVIDIA Blueprint 构建，能够从海量视频数据中提取有价值的洞察并进行根本原因分析。

NVIDIA 的机器人和 NVIDIA DRIVE? 团队正在使用 Cosmos Reason 进行数据管理和筛选、注释和 VLA 后训练。Uber 正使用它为辅助驾驶训练数据添加注释和字幕。

Magna正在其城市配送平台（City Delivery platform）中使用 Cosmos Reason 进行开发。该平台是一种完全自主、低成本的即时配送解决方案，旨在帮助车辆更快地适应新城市。Cosmos Reason 为车辆的长期轨迹规划器增加了对世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision正在采用 Cosmos Reason 实现城市和工业环境的自动化交通监控，提高安全性，并提升视觉检查能力。

全新 NVIDIA AI 基础设施为任何地方的机器人开发工作负载提供支持

为帮助开发者充分利用这些先进技术和软件库，NVIDIA 宣布推出专为极高要求工作负载而设计的 AI 基础设施。

●NVIDIA RTX PRO Blackwell 服务器为训练、合成数据生成、机器人学习和仿真等所有机器人开发工作负载提供统一架构。
●NVIDIA DGX Cloud现已在 Microsoft Azure Marketplace上提供，为 Omniverse 开发者提供一个完全托管的平台，简化从云端大规模流式传输基于 OpenUSD 和 NVIDIA RTX? 的应用，从而最大限度地减少基础设施编排和管理。Accenture 和 Hexagon 是首批采用该平台的行业领先者。

加速开发者生态系统

为了帮助机器人开发者和物理 AI 开发者推动 3D 和仿真技术的采用，NVIDIA 还宣布：

●OpenUSD 课程和认证：满足对通用场景描述专业知识的需求，由 OpenUSD 联盟成员 Adobe、Amazon Robotics、Ansys（Synopsys 旗下）、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行业领先者的支持。
●与 Lightwheel 开源协作，将机器人策略训练和评估框架集成到 NVIDIA Isaac Lab 中，具备并行强化学习训练功能，以及机器人操作和运动的基准测试和仿真就绪资产。