0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

高通推动终端侧AI释放全新价值

高通中国 ? 来源:高通中国 ? 2025-03-21 09:28 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

通过蒸馏技术将百亿参数模型压缩至端侧设备可运行的创新,让AI推理成本大幅下降,为终端侧AI的爆发按下加速键。低成本、高灵活性的特性引发了行业对这一技术突破的深度思考,也验证了AI格局即将向大规模推理转变的趋势。

小模型也有“大智慧”

近年来,前沿大模型技术不断取得突破。在训练成本下降、快速推理部署以及针对边缘环境的创新推动下,业内已经催生了大量更智能、更小型、更高效的模型。

借助蒸馏技术,大模型能够通过“教学”将强大的推理能力提炼并迁移到小模型中,将复杂的AI模型简化,在保持高性能的同时,减少计算资源的消耗。这一技术不仅打破了“模型越大越聪明”的固有认知,也让更多人以更低成本享受到了AI的高性能。

下图展示了蒸馏的强大能力。比较Llama 3.3 700亿参数模型和同类DeepSeek R1蒸馏模型的LiveBench平均测试结果,在相同参数规模下,蒸馏能够在推理、编程和数学任务中显著提高性能。

683935e0-04bb-11f0-9310-92fbcf53809c.png

Meta Llama 700亿参数模型和DeepSeek对应蒸馏模型的LiveBench AI基准测试平均结果对比。

来源:LiveBench.ai,2025年2月。

在DeepSeek R1蒸馏版本与其他先进模型的基准测试结果对比中。基于通义千问模型和Llama模型的DeepSeek蒸馏版本展现了诸多明显优势,尤其是在GPQA基准测试中,与GPT-4o、Claude 3.5 Sonnet和GPT-o1 mini等先进模型相比,取得了相似或更高的分数。这也进一步反映了在涉及解决复杂问题的深层次、多步骤的推理中,小模型正在接近前沿大模型的质量。

68542f9e-04bb-11f0-9310-92fbcf53809c.jpg

数学和编程基准测试。来源:DeepSeek,2025年1月。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉认为,模型规模将持续减小,同时质量将不断改进。这一趋势至关重要,因为这意味着未来所有这些模型都能够在我们口袋里的终端上运行。

多维度发力,领跑AI推理创新时代

如今,许多主流模型系列包括DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral都推出了小模型版本,且面向特定任务的性能和基准测试都表现出色,从而使此类模型更适合在智能手机、PC和汽车等终端上部署。作为终端侧AI的引领者,高通技术公司凭借面向边缘终端的行业先进硬件和软件解决方案,在推动AI推理时代发展上具有战略优势。

在硬件层面,高通技术公司长期致力于开发定制CPU、NPU、GPU和低功耗子系统,同时拥有封装技术和热设计的技术专长,构成了其行业先进系统级芯片(SoC)产品的基础。通过紧密集成这些核心组件,高通技术公司的平台可在保持电池续航和整体能效表现的同时处理复杂AI任务,这对边缘侧用例至关重要。

软件层面上,高通技术公司还构建了强大的AI软件栈,旨在赋能软件开发者。高通 AI软件栈包括库(libraries)、SDK和优化工具,可简化模型部署并提升性能。开发者可以利用这些资源,面向高通平台高效进行模型适配,缩短AI赋能应用的上市时间。

此外,高通技术公司还与全球伙伴积极合作,构建繁荣开放的AI生态,凭借多年深耕移动产业的影响力、领导力,紧密携手设备厂商、模型厂商、开发者、用户,通过简化在消费和商用产品中集成先进AI特性的过程,不断赋能AI创新,成为加速终端侧AI发展的重要力量。

赋能关键领域,终端侧AI释放全新价值

在MWC巴塞罗那期间,高通技术公司也展示了iQOO、努比亚、OPPO、荣耀、小米和一加等中国生态伙伴搭载骁龙 8至尊版的商用旗舰AI智能手机,包括最新发布的小米15 Ultra,带来基于骁龙平台的终端侧生成式AI的最新应用成果。

骁龙8至尊版为这些先进用例提供了可靠的算力支撑,第二代定制的高通Oryon CPU、全新切片架构的高通 Adreno GPU和增强的高通 Hexagon NPU等这些创新技术将开启终端侧生成式AI新时代——通过直接在终端侧提供个性化的多模态生成式AI,支持语音、情境和图像理解,从而全面增强从生产力到创意任务等各方面的体验。

而这只是AI价值的冰山一角,得益于终端侧本地AI处理带来的增强的性能、效率、响应速度和隐私性,高通技术公司还利用终端侧AI赋能包含PC、汽车、工业互联网、网络等在内的众多行业和边缘细分领域、释放商业价值并支持全新用户体验。

在PC领域,骁龙X系列平台凭借专为实现高性能、高能效的生成式AI推理而打造的、业界先进的定制NPU核心,对定义全新AI PC品类发挥了关键作用。该NPU为Windows应用带来显著加速、增加全新特性、提升性能,并增强隐私保护和电池续航。

随着AI创新在边缘爆发,高通技术公司在可扩展硬件和软件方面的投入将进一步巩固其领导地位,推动一个全新时代的到来,让AI应用更加触手可及、更高效,并且融入日常生活的方方面面,推动全球多个行业的变革。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 高通
    +关注

    关注

    78

    文章

    7630

    浏览量

    193473
  • AI
    AI
    +关注

    关注

    88

    文章

    35476

    浏览量

    281262
  • 模型
    +关注

    关注

    1

    文章

    3531

    浏览量

    50571

原文标题:AI推理时代,终端侧AI如何释放全新价值?

文章出处:【微信号:Qualcomm_China,微信公众号:高通中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI 芯片:终端智能落地的核心引擎

    电子发烧友网报道(文 / 李弯弯)端 AI 芯片,是专门为在诸如智能手机、IoT 设备、自动驾驶汽车等终端设备上,高效运行人工智能算法而设计的处理器。通过硬件级优化,它们能够实现低功耗、
    的头像 发表于 04-14 02:11 ?2583次阅读

    首创开源架构,天玑AI开发套件让端AI模型接入得心应手

    时间。 这不仅仅是工具的升级,更是迈向智能体化用户体验的关键基础设施。 天玑AI开发套件 2.0,全面释放天玑端AI能力 去年,天玑AI
    发表于 04-13 19:52

    通骁龙8至尊版移动平台革新终端AI影像体验

    自智能手机时代以来,人们对于手机摄影的专业追求从未停歇。骁龙凭借前沿的影像和终端AI技术,持续引领移动计算摄影发展。最新的骁龙8至尊版移动平台,实现了突破性的技术升级和影像体验,全新
    的头像 发表于 03-31 11:09 ?1010次阅读

    芯讯通首次发布全新AI全栈解决方案SIMCom AI Stack

    近日,世界移动通信大会MWC 2025在西班牙巴塞罗那正式开幕。芯讯通携5G-A、AIoT、5G RedCap等众多前沿领域的创新成果惊艳亮相,并首次发布全新AI全栈解决方案SIMCom
    的头像 发表于 03-08 09:56 ?639次阅读

    瑞迅科技智能终端接入DeepSeek,开启端AI应用无限可能

    释放,更在多元场景中开辟了"终端+AI"的创新应用范式,为千行百业的智能化转型注入全新动能。通过对模型进行格式转换和部署,目前MTB-780系列可以成功运行Deep
    的头像 发表于 02-21 11:21 ?765次阅读
    瑞迅科技智能<b class='flag-5'>终端</b>接入DeepSeek,开启端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>应用无限可能

    联发科技携手Cocos共建端生成式AI游戏开发生态,推动行业升级

    捷更高效的应用开发体验,助力全球亿万用户享受全新的智能互动体验。 随着智能终端性能的不断提升,端生成式AI技术正成为推动游戏和应用体验变革
    的头像 发表于 01-10 09:24 ?485次阅读

    广和通开启端AI新时代

    AI发展正酣,随着终端芯片算力越来越高、端模型能力越来越强、实时响应及隐私保护的端应用需求增加,端
    的头像 发表于 12-12 10:35 ?842次阅读

    智谱推出四个全新模型 携英特尔按下AI普及加速键

    随着AI的发展,端AI模型越来越受到广大客户及厂商的关注,业界领先的大模型公司智谱于近日推出了四个全新的端模型,加速
    的头像 发表于 12-02 17:13 ?635次阅读
    智谱推出四个<b class='flag-5'>全新</b>端<b class='flag-5'>侧</b>模型 携英特尔按下<b class='flag-5'>AI</b>普及加速键

    把握关键节点,美格智能持续推动AI规模化拓展

    当前,AI大模型走向端已经是大势所趋,端AI的发展将推动人工智能成为影响世界的第四次工业革命。与传统的云端大模型相比,端
    的头像 发表于 11-26 01:00 ?573次阅读
    把握关键节点,美格智能持续<b class='flag-5'>推动</b>端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>规模化拓展

    把握关键节点,美格智能持续推动AI规模化拓展

    当前,AI大模型走向端已经是大势所趋,端AI的发展将推动人工智能成为影响世界的第四次工业革命。与传统的云端大模型相比,端
    的头像 发表于 11-25 16:45 ?806次阅读
    把握关键节点,美格智能持续<b class='flag-5'>推动</b>端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>规模化拓展

    AI风向标|算力与通信的完美融合,SRM6690解锁端AI的智能密码

    当前,5G技术已经成为推动数字经济和实体经济深度融合的关键驱动力,进入5G发展的下半场,5G与AI的融合正推动诸多行业的数字化转型和创新发展,终端
    的头像 发表于 11-15 01:01 ?593次阅读
    <b class='flag-5'>AI</b>风向标|算力与通信的完美融合,SRM6690解锁端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>的智能密码

    AI风向标 算力与通信的完美融合,SRM6690解锁端AI的智能密码

    当前,5G技术已经成为推动数字经济和实体经济深度融合的关键驱动力,进入5G发展的下半场,5G与AI的融合正推动诸多行业的数字化转型和创新发展,终端
    的头像 发表于 11-14 17:19 ?679次阅读

    通推出面向AI时代的全新工业物联网产品组合

    全新高通物联网解决方案框架利用IQ系列芯片以及行业领先的边缘AI工具和参考应用组合开发端到端解决方案,简化开发和部署流程并提高运营效率。这一战略转变助力通技术公司将领先的边缘AI
    的头像 发表于 11-08 10:22 ?718次阅读

    通与智谱推动多模态生成式AI体验的终端侧部署

    此前,骁龙峰会首日,智谱与通技术公司宣布合作将GLM-4V端侧视觉大模型,面向骁龙8至尊版进行深度适配和推理优化,支持丰富的多模态交互方式,进一步推动多模态生成式AI终端
    的头像 发表于 11-08 09:55 ?806次阅读

    华为提出“四新”战略,加速释放网络+AI商业价值

    在第十届全球超宽带高峰论坛(UBBF 2024)上,华为运营商业务总裁陈浩发表了题为“网络+AI释放更多商业价值”的演讲。陈浩表示:“为了深入挖掘AI的潜力,助力运营商拓展市场边界、
    的头像 发表于 11-04 16:01 ?844次阅读