0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

思必驰与上海交大联合实验室两篇论文入选ICML 2025

思必驰 ? 来源:思必驰 ? 2025-06-16 09:23 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

ICML(International Conference on Machine Learning)是机器学习领域的顶级学术会议之一,由国际机器学习学会(IMLS)主办,被中国计算机学会认定为A类会议。会议涵盖了机器学习的各个前沿方向,包括但不限于深度学习、强化学习、自然语言处理、计算机视觉、贝叶斯方法及优化算法等。

近日,ICML 2025公布了本届论文审稿结果,思必驰-上海交大联合实验室2篇论文被收录。本次收录的论文成果聚焦大语言模型可靠性、可解释性前沿研究方向,针对复杂任务执行与工具幻觉应对、大模型内部模块功能探测等关键技术取得重要突破,不仅增强了大模型在严肃场景下的可靠任务执行能力,还为产业级大模型的可解释审计、推理加速与低成本定制部署提供了全新技术路径。两项成果共同助力思必驰“让大模型更可靠、更可控、更高效”,以下为两项成果介绍:

大模型与工具协作的可靠性

Reducing Tool Hallucination via Reliability Alignment

针对大语言模型(LLMs)与外部工具交互中出现的工具幻觉问题,提出“Relign” 可靠性对齐框架,通过定义工具幻觉类型并引入RelyToolBench基准集,强化了模型在工具选择和使用上的可靠性,显著降低大模型的工具幻觉率并减少无效调用次数,从而同步提升任务成功率并节省算力与接口成本。

a3cdd544-473b-11f0-b715-92fbcf53809c.png

a47dfb04-473b-11f0-b715-92fbcf53809c.png

论文简介:大型语言模型(LLMs)的能力已从单纯的语言生成扩展到与外部工具的交互,从而实现了自动化和现实世界的应用。然而,工具幻觉(tool hallucinations)——即模型选择不恰当的工具或错误使用工具——带来了重大挑战,导致任务执行错误、计算成本增加以及系统可靠性降低。为系统性地解决这一问题,我们将工具幻觉定义并分类为两种主要类型:工具选择幻觉(tool selection hallucination)和工具使用幻觉(tool usage hallucination)。为评估和缓解这些问题,我们提出了RelyToolBench,该基准集整合了专门的测试案例和新颖的指标,用于评估考虑幻觉的任务成功率和效率。最后,我们提出了Relign,一个可靠性对齐框架,该框架将工具使用的动作空间扩展为包含犹豫性动作,允许LLMs推迟使用工具、寻求澄清或动态调整工具选择。通过大量实验,我们证明Relign 能显著减少工具幻觉,提升任务可靠性,并提高LLM工具交互的效率。

大模型可解释性与轻量化

Heads up! Large Language Models Can Perform Tasks Without Your Instruction via Selective Attention Head Masking

针对大语言模型内部模块组合的功能探测问题,提出二元注意力头掩码功能分区方法,可快速识别执行特定任务所需的关键注意力通路,并支持解释性、剪枝加速与小参数微调三合一,该成果助力思必驰在保持模型性能的同时大幅降低定制与部署成本。

a48f1c2c-473b-11f0-b715-92fbcf53809c.png

a4a2fa4e-473b-11f0-b715-92fbcf53809c.png

论文简介:大语言模型(LLM)由众多Transformer模块构成,虽然这些模型可以执行各种功能,但如何将这些模块组合起来以展现各自独特的内在功能仍然是一个悬而未决的问题。本文研究了LLM内部的模块,并证明在推理过程中,仅通过屏蔽或保留特定的注意力头,LLM便能展现出特定任务的功能,而无需明确的指令或修改模型参数。针对不同模型和任务的实验表明,LLM天生编码了“功能路径”——这是一组结构化的、相互依赖的注意力头群,它们对于执行特定任务至关重要。这些路径不仅决定了模型的功能行为,还提高了参数效率,因为抑制路径之外的注意力头可以改善任务性能。

长期以来,思必驰深度参与国内外学术前沿研究,在ICASSP、INTERSPEECH、ACL、EMNLP、AAAI、ICML等顶级学术会议上屡获佳绩,持续产出高质量科研成果。思必驰-上海交大联合实验室凭借一系列高水平论文,彰显了在人工智能语音语言关键技术领域的深度探索和重大突破,为行业的发展注入了强大动力。思必驰秉持科研与产业应用紧密结合的理念,未来也将持续探索科技成果的应用转化。

作为专业的对话式人工智能平台型企业,思必驰具有源头技术创新和应用创新的能力,自2022年7月获国家科技部批准建设“语言计算国家新一代人工智能开放创新平台”以来,接连于2023-2024年获批组建苏州市、江苏省、长三角三级创新联合体,并于2025年携手上海交通大学、苏州大学,牵头组建“江苏省语言计算及应用重点实验室”,成为国家人工智能战略科技力量的重要组成部分。

思必驰承担了包括国家重点研发计划、国家发改委“互联网+”重大工程和人工智能创新发展工程、国家工信部人工智能与实体经济深度融合项目、长三角科技创新共同体联合攻关计划项目等十余项国家级、省部级项目,展现出卓越的科研实力与项目落地能力。

思必驰深耕语音语言领域,凭借自主研发的核心技术多次在国际研究机构评测中夺得冠军;曾三度斩获国内人工智能最高奖“吴文俊奖”,荣获中国专利优秀奖,以及信通院车载智能语音交互系统最高级别认证等重要荣誉。技术创新能力备受全球瞩目,被高盛全球人工智能报告列为关键参与者,也被Gartner评为东亚五大明星AI公司之一。

截至2024年年底,思必驰拥有近100项全球独创技术,已授权知识产权1597件,其中已授权发明专利633项,参与了71项国家/行业/团体标准,获得23项国家级的产品认证。近期,大模型人机对话技术创新与产业赋能发展提速,思必驰坚持自主的大模型技术路线,即“构建可靠性优先的1+N分布式智能体系统:1 个中枢大模型+ N 个垂域模型及全链路交互组件组成全功能系统”,以任务型交互为核心,结合智能硬件感知优势,构建垂域大模型和中枢大模型系统,服务企业客户。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器学习
    +关注

    关注

    66

    文章

    8510

    浏览量

    134850
  • 思必驰
    +关注

    关注

    4

    文章

    344

    浏览量

    15420
  • 大模型
    +关注

    关注

    2

    文章

    3191

    浏览量

    4147

原文标题:ICML2025|思必驰-上海交大联合实验室2篇论文被收录

文章出处:【微信号:思必驰,微信公众号:思必驰】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    7月份大事件回顾

    近日,声音复刻算法通过国家互联网信息办公第十二批深度合成服务算法备案。该算法能够高精度复刻人类声音,通过少量的录音训练得到极为相似的声音模型,快速“克隆”个性化的声音,为语音服
    的头像 发表于 07-28 17:52 ?240次阅读

    上海交大联合实验室研究成果入选大顶级会议

    近日,计算语言学与自然语言处理领域全球顶级会议ACL 2025及语音研究领域旗舰会议INTERSPEECH 2025相继公布论文录用结果。
    的头像 发表于 07-11 16:24 ?321次阅读
    <b class='flag-5'>思</b><b class='flag-5'>必</b><b class='flag-5'>驰</b>与<b class='flag-5'>上海交大</b><b class='flag-5'>联合</b><b class='flag-5'>实验室</b>研究成果<b class='flag-5'>入选</b><b class='flag-5'>两</b>大顶级会议

    格灵深瞳六论文入选ICCV 2025

    近日,国际顶级会议ICCV 2025(计算机视觉国际大会)公布论文录用结果,格灵深瞳团队共有6论文入选
    的头像 发表于 07-07 18:23 ?581次阅读

    理想汽车八论文入选ICCV 2025

    近日,ICCV 2025(国际计算机视觉大会)公布论文录用结果,理想汽车共有8论文入选,其中5
    的头像 发表于 07-03 13:58 ?380次阅读

    AI办公本助力政企数字化转型

    近期,针对办公场景和职场人群,推出的自主品牌AI办公本,已完成对中国交通建设集团(简
    的头像 发表于 06-16 09:29 ?454次阅读

    AI办公本亮相京东直播间

    近日,董事长、CEO高始兴与IOT事业部首席产品官马斌斌现身「京东3C数码采销」直播
    的头像 发表于 06-09 11:10 ?584次阅读

    技术创新加速AI产业化落地

    作为国内人工智能产业科技创新的领军人物,前不久,联合创始人、首席科学家俞凯教授入选ISCA Fellow
    的头像 发表于 06-04 15:14 ?463次阅读

    后摩智能四论文入选三大国际顶会

    2025 年上半年,继年初被 AAAI、ICLR、DAC 三大国际顶会收录 5 论文后,后摩智能近期又有 4 论文
    的头像 发表于 05-29 15:37 ?420次阅读

    上海交大联合实验室12论文被ICASSP 2025收录

    广大学者的现场交流需求,IEEE信号处理学会特别安排ICASSP 2025在5月23日-25日于苏州举办卫星会议。-上海交大
    的头像 发表于 05-17 11:41 ?818次阅读
    <b class='flag-5'>思</b><b class='flag-5'>必</b><b class='flag-5'>驰</b>与<b class='flag-5'>上海交大</b><b class='flag-5'>联合</b><b class='flag-5'>实验室</b>12<b class='flag-5'>篇</b><b class='flag-5'>论文</b>被ICASSP <b class='flag-5'>2025</b>收录

    江苏省领导莅临调研考察

    近日,江苏省委常委、省委宣传部部长徐缨一行莅临苏州进行调研,受到董事长兼CEO高始兴
    的头像 发表于 03-24 16:32 ?530次阅读

    入选国家级专精特新“小巨人”企业

    凭借深厚的技术积累、卓越的创新能力以及稳健的市场表现,成功入选2024年工信部第六批国家级专精特新“小巨人”企业名单。近日,2025
    的头像 发表于 01-08 16:32 ?909次阅读

    奥拓电子吴涵渠董事长受邀出席上海交大活动

    的合作,一同创立了“智能视讯联合实验室”。作为上海交大杰出的校友,奥拓电子吴涵渠董事长受邀出席了本次活动,并在会上发表演讲。同时,通过路演活动对交大的优秀创业项目有了更深入的了解。
    的头像 发表于 12-10 16:10 ?533次阅读

    携手长城汽车入选2024年人工智能先锋案例集

    日前,中国人工智能产业发展联盟《2024年人工智能先锋案例集》正式发布,长城汽车与联合申报的“长城汽车Coffee Al语音助手”成功入选
    的头像 发表于 11-26 17:56 ?1535次阅读

    AI办公本Turbo重磅发布

    近日,AI办公本新品发布会如约而至,IOT事业部首席产品官马斌斌详细介绍了
    的头像 发表于 10-31 14:23 ?1576次阅读

    10月份大事件盘点

    日前,省科技厅党组书记、厅长徐光辉一行在进行调研。董事长、CEO高始兴,副总裁李春梅
    的头像 发表于 10-30 15:01 ?718次阅读