0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

采用可更新且具区分度锚点的多模态运动预测研究

地平线HorizonRobotics ? 来源:地平线HorizonRobotics ? 2025-04-01 10:32 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

混合模型(Mixture Models)是一种强大的工具,能够有效表征多模态分布(Multimodality)。根据正组分(Positive Mixture Component)匹配方式,主流的混合模型方法主要分为两类:基于锚点(Anchor-Based)匹配和基于预测(Prediction-Based)匹配。然而,Prediction-Based方法存在预测聚类现象,难以选择具有代表性的预测结果;而Anchor-Based方法则回归精度受限。

本文提出了一种全新的混合模型正组分匹配范式:可更新且具区分度锚点(EDA,Evolvingand Distinct Anchors),巧妙结合上述两类方法的优势,实现更高效的多峰分布学习。我们在多模态运动预测(Multimodal Motion Prediction)任务上进行了广泛实验。实验结果表明,EDA方法(单模型)在Waymo Motion Prediction Challenge中展现了优秀的性能。

? 原文链接:

https://ojs.aaai.org/index.php/AAAI/article/view/28130

?代码链接:

https://github.com/Longzhong-Lin/EDA

多模态运动预测

自动驾驶领域,运动预测 (Motion Prediction) 是一个重要任务,它有助于场景理解和安全决策。该任务利用历史状态和道路地图来预测目标智能体的未来轨迹。其主要挑战来自未来行为的多模态性 (Multimodality) ,即智能体在相同环境和状态下可能展现出多种不同的行为模式。

e2bbf944-0bbc-11f0-9310-92fbcf53809c.png

图表1 智能体在相同环境和状态下可能展现出多种不同的行为模式

混合模型与正样本匹配

近年来,混合模型 (Mixture Model)例如高斯混合模型 (GMM) 已成为表征多峰未来行为分布的主流方法。混合模型通常采用“赢家通吃”的回归损失和分类损失,这需要明确混合组分 (Mixture Component) 中的正负样本,来作为分类损失的标签,以及计算正组分对应预测轨迹的回归损失。那么根据正样本匹配的方式,当前主流的混合模型方法可以分为两类:基于预测 (Prediction-Based)匹配和基于锚点 (Anchor-Based)匹配。

Prediction-Based / Anchor-Free选择与真实轨迹 (Ground Truth) 最接近的预测轨迹,将其所对应的混合组分作为正样本。这类方法生成的预测结果能够真实反映未来行为的高度不确定性,但生成的轨迹往往会聚集在最有可能的区域,且具有相似的得分。这种现象导致模型难以选择具有代表性的轨迹,不利于下游任务。

Anchor-Based:将各个混合组分与预定义的锚点 (Anchor) 相关联,并选择与Ground Truth最接近的锚点所对应组分作为正样本。锚点的引入显著降低了分类(即给混合组分评分)的优化难度,同时预测轨迹将倾向于生成在对应的锚点附近。为了降低计算成本并保证评分性能,锚点的分布通常会比Prediction-Based方法生成的轨迹更稀疏,这种稀疏性则限制了模型的轨迹回归能力。

e2cc2d46-0bbc-11f0-9310-92fbcf53809c.png

图表2 不同正样本匹配范式的结果

可更新且具区分度锚点 (EDA)

在本文中,我们提出了一种全新的混合模型正样本匹配范式:可更新且具区分度锚点 (EDA, Evolving and Distinct Anchors)

e2dd5328-0bbc-11f0-9310-92fbcf53809c.png

图表3 EDA:全新的混合模型正样本匹配范式

可更新锚点 (Evolving Anchors)

对于Evolving Anchors,我们引入锚点并通过中间预测结果对其进行动态更新,使锚点能够根据具体场景上下文信息进行自适应调整,从而在保留空间先验的同时提升了模型的灵活性。

e2f57aca-0bbc-11f0-9310-92fbcf53809c.png

图4 Evolving Anchors的作用

具区分度锚点 (Distinct Anchors)

随着锚点的动态更新,我们观察到了类似Prediction-Based方法的预测结果聚集现象。

e303fa78-0bbc-11f0-9310-92fbcf53809c.png

图表5 Evolving Anchors中的预测轨迹聚集现象

为了缓解预测聚集引发的分类标签歧义性问题(即对于相近的2个组分,有可能一个被标记为正样本,而另一个被标记为负样本),我们借鉴目标检测领域中的DDQ方法,提出先从锚点中筛选出Distinct Anchors,再将这些锚点与Ground Truth进行匹配。

e315a156-0bbc-11f0-9310-92fbcf53809c.png

图表6 可更新且具区分度锚点 (EDA, Evolving and Distinct Anchors)

实验结果

消融实验

随着锚点更新频率的增加,模型的回归能力在逐步增长,并且锚点的每次更新都会带来显著的回归精度提升。

e323c984-0bbc-11f0-9310-92fbcf53809c.png

图表7 随着锚点更新频率的增加,模型的回归能力在逐步提升

轨迹聚集问题确实影响了Evolving Anchors的轨迹评分能力,导致模型的Top-6轨迹预测指标尤其是mAP (mean Average Precision) 出现衰减;而Distinct Anchors的引入则如预期一样,全面且显著地提升了模型的Top-6轨迹预测指标。

e32e9846-0bbc-11f0-9310-92fbcf53809c.png

图表8 消融模型的Top-6指标

对比实验

在Waymo Open Motion Dataset上,EDA的单模型表现超越了之前的Ensemble-Free方法,在所有指标上均优于基线模型MTR,特别是在Miss Rate上实现了13.5%的相对降低。此外,EDA还超越了MTR++,后者为改进网络结构的MTR升级方法。

e345f6c6-0bbc-11f0-9310-92fbcf53809c.png

图标9 Benchmark结果

总结与展望

本文针对轨迹预测中Mixture Model存在模态坍缩和精度不足的问题进行了研究,提出了一种新的正负样本匹配策略——Evolving and Distinct Anchors来解决该问题,保证了轨迹预测模型在具备较高模态丰富度的同时拥有很高的归回精度。我们的方法在Waymo Open Motion Dataset上达到了SOTA的水平。我们认为正负样本匹配策略具有很高的研究价值,不仅仅是在轨迹预测任务上,在端到端轨迹规划、智能体行为仿真等任务上也具备广泛的应用潜力和重要的研究意义。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模型
    +关注

    关注

    1

    文章

    3531

    浏览量

    50572
  • 混合模型
    +关注

    关注

    0

    文章

    6

    浏览量

    6507
  • 自动驾驶
    +关注

    关注

    790

    文章

    14363

    浏览量

    171118

原文标题:开发者说 | EDA:采用可更新且具区分度锚点的多模态运动预测

文章出处:【微信号:horizonrobotics,微信公众号:地平线HorizonRobotics】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    基于模态语义SLAM框架

    本文提出了一个鲁棒快速的模态语义 SLAM 框架,旨在解决复杂和动态环境中的 SLAM 问题。具体来说,将仅几何聚类和视觉语义信息相结合,以减少由于小尺度对象、遮挡和运动模糊导致的
    的头像 发表于 08-31 09:39 ?2199次阅读

    HT for Web (Hightopo) 使用心得(3)- 吸附与

    吸附,顾名思义,是一个节点吸附到另一个节点上。就像船底的贝类一样,通过吸附到船身,在船移动的时候自己也会跟着移动;而,则决定了哪个位置是该节点的坐标点位置。这里继续以船舶为例,
    的头像 发表于 10-12 10:44 ?1349次阅读
    HT for Web (Hightopo) 使用心得(3)- 吸附与<b class='flag-5'>锚</b><b class='flag-5'>点</b>

    【「身智能机器人系统」阅读体验】2.身智能机器人大模型

    近年来,人工智能领域的大模型技术在多个方向上取得了突破性的进展,特别是在机器人控制领域展现出了巨大的潜力。在“身智能机器人大模型”部分,作者研究并探讨了大模型如何提升机器人的能力,大模型存在
    发表于 12-29 23:04

    体验MiniCPM-V 2.6 模态能力

    模态组网
    jf_23871869
    发布于 :2025年01月20日 13:40:48

    杆与围岩加载过程红外特征研究

    【作者】:籍远明;【来源】:《光谱学与光谱分析》2010年03期【摘要】:应用红外热像技术,对杆与围岩加载变化破坏过程中的红外辐射现象进行了实验研究,结果表明:应力峰值前,随着荷载的增加,红外辐射
    发表于 04-22 11:33

    5G传输创新方案分析及研究

    的分析及研究,并在广深5G实验网时进行实验,点在保持传输网络稳定、节省传输及机房投资、减少建设阻力、节省运营成本等有着明显的效果,主要评估如下:  (1)TCO效果明显。采用
    发表于 12-03 15:04

    动态可更新分布式监测系统设计

    提出了一个动态可更新的分布式监测系统DDMS的设计思想*并实现了适用于WINDOWS平台的版本DDMS采用了AGENT模型*以探针独立化和监测过程服务化为基础*通过动态更新协议实现了系统.探针和
    发表于 06-28 18:03 ?14次下载
    动态<b class='flag-5'>可更新</b>分布式监测系统设计

    文化场景下的模态情感识别

    学习的特征,并通过多模态融合方法结合不同的模态。比较不同单模态特征和模态特征融合的情感识别性能.我们在CHEAVD中文
    发表于 12-18 14:47 ?0次下载

    预应力连接器的知识

    预应力应考虑等级分类张拉、补张拉和释放压力预应力的规定。钢筋锚固好几根预应力筋的预应力,除需有整束张拉的特性外,尚宜具备单条张拉的概率。
    发表于 08-13 11:10 ?6583次阅读

    研发全新模态感知AI框架 AI能同时模拟人眼和手预测物体运动

    据外媒VentureBeat报道,来自三星、麦吉尔大学和约克大学的研究人员,近日研发出一个全新的生成式模态感知AI框架,能够根据物体初始状态的视觉和触觉数据,来预测出物体的
    的头像 发表于 02-12 09:12 ?3496次阅读
    研发全新<b class='flag-5'>多</b><b class='flag-5'>模态</b>感知AI框架 AI能同时模拟人眼和手<b class='flag-5'>预测</b>物体<b class='flag-5'>运动</b>

    基于类间区分度的属性约简方法及其研究

    近似集的变化,却忽略了不具有等价关系的对象所在的不同类簇间关系的变化情况。因此,引入了类间区分度的概念,相较于等价类和上下近似集而言,它可以反映类簇区分程度随属性变化而变化的情况。对类间重合度和类间区分度
    发表于 05-25 16:50 ?2次下载

    如何利用LLM做模态任务?

    大型语言模型LLM(Large Language Model)具有很强的通用知识理解以及较强的逻辑推理能力,但其只能处理文本数据。虽然已经发布的GPT4备图片理解能力,但目前还未开放模态输入接口并且不会透露任何模型上技术细节
    的头像 发表于 05-11 17:09 ?1266次阅读
    如何利用LLM做<b class='flag-5'>多</b><b class='flag-5'>模态</b>任务?

    更强更通用:智源「悟道3.0」Emu模态大模型开源,在模态序列中「补全一切」

    当前学界和工业界都对模态大模型研究热情高涨。去年,谷歌的 Deepmind 发布了模态视觉语言模型 Flamingo ,它使用单一视觉语
    的头像 发表于 07-16 20:45 ?1047次阅读
    更强更通用:智源「悟道3.0」Emu<b class='flag-5'>多</b><b class='flag-5'>模态</b>大模型开源,在<b class='flag-5'>多</b><b class='flag-5'>模态</b>序列中「补全一切」

    基于模态学习的虚假新闻检测研究

    目前,单流架构模型在视频分类、情感分析、图像生成等模态领域中得以广泛应用,单流模型具有结构简单、容易实现、高准确率等优势,在虚假新闻检测领域中,是一个极具潜力的研究方向。
    的头像 发表于 09-11 16:26 ?3295次阅读
    基于<b class='flag-5'>多</b><b class='flag-5'>模态</b>学习的虚假新闻检测<b class='flag-5'>研究</b>

    人工智能领域模态的概念和应用场景

    随着人工智能技术的不断发展,模态成为了一个备受关注的研究方向。模态技术旨在将不同类型的数据和信息进行融合,以实现更加准确、高效的人工智能
    的头像 发表于 12-15 14:28 ?1.2w次阅读