NVIDIA助力枢途科技突破视频提取具身数据技术鸿沟

案例简介

枢途科技（Synapath AI）基于NVIDIA GPU、Jetson AGX Orin等算力底座、成熟的 AI 加速生态、NVIDIAIsaac Sim、Omniverse平台的仿真合成技术，加速了从互联网视频提取具身智能模型训练数据，实现了从视频三维大世界重建、任务语义信息理解、物体细节及轨迹提取、多模态数据采集、具身智能算法训练的全链路打通。

在 NVIDIA 软硬件生态的支持下，枢途科技整体数据提取和处理效率大幅提升，实现了多具身模型的数据训练验证和实机部署。

视频驱动的具身智能新兴企业

枢途科技是一家专注从视频提取多模态具身智能训练数据的公司，致力于解决具身智能模型行业当前最急迫的训练数据缺乏问题，以数据驱动机器人智能化。

作为具身智能训练数据采集技术的新兴企业，枢途科技凭借视频高精度三维重建、跨域映射 Re-target 等技术，自研 SynaData 算法，实现从单目 2D-RGB 视频数据中提取高精度“人-手-物”交互多模态具身数据，并在 RDT、EquiBOT、UniVLA 等 VLA 模型上验证了数据精度和质量。

公司应用 NVIDIA GPU 提供的高效并行能力实现了 2D 视频到 3D 数据的高速重建，以及 3D 数据至具身多模态训练数据的高速提取，并将所提取的具身多模态训练数据与 Isaac Sim 平台进行了融合，实现了从视频 3D 重建、轨迹等多模态数据提取、仿真环境融合、VLA 模型训练的全栈批量化视频数据具身模型训练闭环。

在 NVIDIA GPU 工作站的高效计算和多并行能力加持下，以及 Isaac Sim 平台的高保真物理仿真和多传感器仿真环境支撑下，枢途科技的具身数据采集速度提升了 15+ 倍，模型训练速度和落地度提升 60+ 倍。借助 NVIDIA 技术，枢途科技正实现让机器人通过输入人类视频学习各种操作技能，将具身智能训练范式从劳动密集型的“手把手教学”升级为高效可扩展的“观看教学”模式，加速突破具身智能的 Scaling Law。

具身智能领域的三大数据困境

数据是具身智能的灵魂，但与文本大模型可以直接使用互联网上的文本数据不同，具身智能行业目前正深陷数据严重不足的泥潭。当前行业所依赖的数据采集方式或纯依靠算法生成，存在较大的物理失真；或需要人工操作，以至边际成本过高。

视频数据兼具真实世界的物理完备性、人类交互的真实性和近乎为零的边际成本，是具身智能大模型的理想数据源。但要想实现从视频数据中提取高质量的具身智能训练数据还需要克服以下三大挑战：

1. 视频维度坍塌

单目相机丢失场景深度维度信息：从单目视频的 2D 像素流重建 3D 物理世界，本质是欠约束的逆向求解过程。解决此类问题需要大量依赖先验知识（如人体骨骼长度）反推，并靠大量算力进行多并发推理，否则会造成较大的数据推导误差，例如人手抓取玻璃杯时，指尖与杯壁接触点的深度歧义会导致抓握姿态误判率超过 40%。

物体交互导致的自遮挡：手掌与物体交互时会导致 30% 以上关节点不可见，传统插值法会产生累计误差，根据 ICRA 2023 基准测试数据，遮挡超过 5 帧时，轨迹重建的误差会呈指数增长。

2. 提取精度不足

信号衰减链：包括光学成像损失、运动轨迹模糊、传感器噪声、算法量化误差等。例如镜头畸变造成的图像边缘坐标偏移会导致 3%-8% 的径向误差；快速运动会造成边缘定位失败，一般会导致不低于 10 像素的位移误差等。这些挑战直接影响了从视频中提取到的轨迹数据精度，数据精度不足不仅无法优化具身智能模型，反而会导致模型数据污染等问题。

3. 算法迁移失真

人体与机械运动差异：人体动作提取的轨迹数据到机器人执行存在较大的动力学代沟。例如人类实现流畅抓取的动作由于超出了机械臂的谐振频率，其所提取轨迹训练的算法迁移到机械臂会出现 10Hz 以上的高频震颤。要解决这一问题，既需要强化学习进行算法微调，又需要拥有多种动力学参数扰动的虚拟环境生成目标算法的补偿策略。

NVIDIA 生态赋能枢途科技

突破视频提取具身数据技术鸿沟

基于前述挑战，枢途科技选择采用 NVIDIA GPU 作为算力硬件基础加速模型训练和真实世界视频数据提取，并结合 Omniverse 和 Isaac Sim 仿真环境将数据应用到机器人训练中，成功攻克 2D 视频难以被有效用于具身智能模型训练的技术难题，开辟了让行业真正有机会获取海量训练数据的新渠道。

1. NVIDIA GPU 赋能视频三维重建提质增效

枢途科技采用 NVIDIA GPU 及CUDA进行大规模并行处理计算。

在 NVIDIA GPU 的高带宽和高现存容量支持下，原本需要花费数小时才能实现的视频逐帧深度推理被加速在10 分钟内完成。

结合 NVIDIA GPU 的算力资源和对 CUDA 工具的充分调用，枢途科技的视频深度估计算法可以实现高效混合精度计算，吞吐量提升3 倍以上。

在 NVIDIA GPU 的支持下，枢途科技将视频 3D 重建的欠约束逆问题转化为海量先验假设的并行验证，综合重建速度提升25 倍以上。

2. NVIDIA SDK 助力高精度轨迹采集

得益于 NVIDIA GPU 在 Tensor Core 与 Transformer Engine 上的原生加速，将 3D 重建、深度估计和关键点推理等核心环节全部固化在显存端完成，配合 NVIDIA 最新 SDK 构建的端到端流水线，枢途科技实现了单卡视频处理 FPS15 倍于 Ampere 系列的持续吞吐。

枢途科技采用 NVIDIA SDK 等生态实现了将原本需要数周才能跑完的海量视频预处理，缩减到30 小时交付，大大加速模型迭代。

基于高速的模型迭代和大量先验知识的算法化，实现了视频轨迹数据提取精度突破亚厘米，为后续具身数据提取打下坚实基础。

3.NVIDIAIsaac Sim 赋能具身算法高效 Re-target

枢途科技从视频中提取的具身数据与 Isaac Sim 进行深度融合，借助 Isaac Sim 的高保真物理物理仿真能力，打通具身数据与具身模型算法之间的训练通路。

Isaac Sim 内包含超千项动力学参数扰动，包括摩擦系数、负载惯性等，叠加 NVIDIA GPU 高效的实时渲染，具身智能的模仿学习（IL）、强化学习（RL）、具身智能算法（VLA）等先进训练算法得以在虚拟环境中进行，现实世界需要耗费数周时间、数十台机器人硬件成本的训练过程被颠覆。

枢途科技视频具身数据配合 Isaac 的数据增扩能力，能够在数小时内生成海量高质量步态样本，并支持多机器人并行训练，使模型收敛速度提升至过去的数十倍。

在连续轨迹优化和动力学一致性约束的加持下，学得的抓取策略更加智能、泛化且稳定，帮助夹爪或灵巧手针对复杂对象的抓取位姿推理更加准确，迅速拓展交互、运送、分拣等应用场景。

在 NVIDIA GPU、CUDA、SDK 等技术及生态的赋能下，枢途科技实现视频三维重建、高精度轨迹提取、具身多模态数据采集、具身智能算法训练的全链路打通，为具身智能数据采集找到高质量、低成本、规模化的一条新路。

目前，枢途科技 SynaData 算法从视频中提取到的具身智能训练数据已经在 RDT、UniVLA（VLA based）、EquiBOT（Diffusion Policy Based）等具身模型算法上实现了训练验证。依托 NVIDIA 算力及 Isaac Sim 仿真平台，枢途科技将为更多具身智能开发企业、院校批量化交付高保真、低成本、可迁移的视频具身数据，助力具身智能模型突破 Scaling Law，实现真正的通用具身智能。

NVIDIA 加速枢途科技具身模型落地

枢途科技依托 NVIDIA 软硬件全栈生态、高性能 AI 加速集群、端到端视频算子优化、Isaac 虚拟仿真环境，在海量视频到具身训练的数据管线上实现了行业领先的高速处理与算法精炼，为行业探索出了突破具身算法 Scaling Law 的一条数据采集新路，树立了新兴数据采集技术的风向标。

枢途科技首席技术官林啸表示：“随着具身智能迈入‘数据原生 2.0’时代，真正规模化落地的核心瓶颈已从模型设计转向数据采集策略。NVIDIA 强大的 GPU 算力矩阵、AI 加速方案和 SDK 生态为枢途科技构筑了坚实的底层算力底座。在此基础上，枢途科技得以实现将数以亿计的视频帧在极短时间内完成三维重建、轨迹提取、自动标注。借助 NVIDIA Isaac Sim，视频具身数据到具身模型算法训练的最后一公里得以闭环，让 SynaData 数据飞轮真正跑了起来，为行业验证了具身数据采集的新路径和新范式。”

在这一技术协同下，枢途科技的数据流水线可将复杂的三维场景重建、关键点追踪与动力学一致性校正全部常驻显存端执行，实现多倍量级的吞吐提升；同时，灵活的增扩策略与仿真对齐机制确保了每一条数据都能在虚实之间保持高度一致，为具身智能模型提供跨场景、跨本体的稳健泛化能力。

林啸强调：“正是 NVIDIA 的算力支撑与枢途科技自主的数据基座，让机器人拥有快速学习、可靠部署的全链路能力，并正在为诸多有实际应用落地需求的行业解锁数据驱动的智能新纪元。”