0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Arm CPU适配通义千问Qwen3系列模型

Arm社区 ? 来源:Arm社区 ? 2025-05-12 16:37 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近日,阿里巴巴开源了新一代通义千问模型 Qwen3,Arm 率先成为首批成功适配该模型的计算平台厂商。与此同时,Arm 面向人工智能 (AI) 框架开发者的开源计算内核 Arm KleidiAI 与阿里巴巴开源的轻量级深度学习框架 MNN 已深度集成。得益于此,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能够在搭载 Arm 架构 CPU 的移动设备上无缝运行,为用户提供卓越的端侧 AI 推理能力。

作为阿里巴巴最新开源的混合推理模型,Qwen3 在 AIME、LiveCodeBench 等权威评测集上斩获了同尺寸开源模型 SOTA。其中,Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等三款模型兼具低功耗和高性能等优势,非常适合在移动端进行部署。

在 AI 模型快速迭代、日新月异的当下,开发者亟需一个具备可扩展性的通用技术底座,以便高效利用每一个新模型的优势。作为业界性能最强、能效最高的计算平台,Arm 为开发者提供了无缝优化其 AI 工作负载所需的卓越性能、能效、灵活性和可扩展性。Arm CPU 能满足不断发展的 AI 工作负载需求,是开发者的理想之选,它不仅能在模型推出时迅速实现适配与支持,还能随着模型的演进,通过 Arm 异构计算策略与 GPU、加速器及网络技术的共生协作,实现 AI 系统的最佳优化。在此次阿里 Qwen3 模型推出后,运行结果显示,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型在基于 Arm 架构 CPU 的移动设备上,运行和响应速度大幅提升,为终端用户带来了极致的 AI 推理能力。

双方围绕千问大模型持续紧密合作,今年三月,Arm 与阿里巴巴淘天集团在搭载基于 Arm Cortex-X925 的旗舰移动系统级芯片 (SoC) 的智能设备上,通过 KleidiAI 与 MNN 的集成,模型预填充(指 AI 模型在生成响应之前先对提示词输入进行处理)性能提升了 57%,以及解码(指处理提示词后从 AI 模型生成文本的过程)性能提升了 28%。这一性能提升,使得运行在搭载 Arm CPU 上的通义千问 Qwen2-VL-2B-Instruct,其端侧多模态 AI 工作负载的性能显著增进,带来全新的用户体验!

展望未来,Arm 也将一如既往助力开发者在端侧设备上提供更加复杂的多模态体验,为新一轮智能计算浪潮奠定坚实基础,在 AI 的不断演进中,实现体验的持续跃升!

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ARM
    ARM
    +关注

    关注

    134

    文章

    9373

    浏览量

    378619
  • cpu
    cpu
    +关注

    关注

    68

    文章

    11097

    浏览量

    217648
  • 阿里巴巴
    +关注

    关注

    7

    文章

    1638

    浏览量

    48286
  • 模型
    +关注

    关注

    1

    文章

    3531

    浏览量

    50572

原文标题:Arm CPU 精准适配阿里 Qwen3 开源模型,实现卓越端侧 AI 推理能力

文章出处:【微信号:Arm社区,微信公众号:Arm社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    广和通加速通义Qwen3在端侧全面落地

    6月,广和通宣布:率先完成通义Qwen3系列混合推理模型在高通QCS8550平台端侧的
    的头像 发表于 06-25 15:35 ?401次阅读

    壁仞科技完成Qwen3旗舰模型适配

    近日,在高效适配Qwen3系列模型推理后,壁仞科技宣布完成旗舰版Qwen3-235B-A22B模型
    的头像 发表于 05-16 16:23 ?459次阅读

    Intel OpenVINO? Day0 实现阿里通义 Qwen3 快速部署

    本文将以 Qwen3-8B 为例,介绍如何利用 OpenVINO 的 Python API 在英特尔平台(GPU, NPU)Qwen3 系列模型
    的头像 发表于 05-11 11:36 ?943次阅读
    Intel OpenVINO? Day0 实现阿里<b class='flag-5'>通义</b> <b class='flag-5'>Qwen3</b> 快速部署

    NVIDIA RTX 5880 Ada与Qwen3系列模型实测报告

    近日,阿里巴巴通义团队正式推出新一代开源大语言模型——Qwen3 系列,该
    的头像 发表于 05-09 15:05 ?1059次阅读
    NVIDIA RTX 5880 Ada与<b class='flag-5'>Qwen3</b><b class='flag-5'>系列</b><b class='flag-5'>模型</b>实测报告

    NVIDIA使用Qwen3系列模型的最佳实践

    阿里巴巴近期发布了其开源的混合推理大语言模型 (LLM) 通义 Qwen3,此次 Qwen3
    的头像 发表于 05-08 11:45 ?1411次阅读
    NVIDIA使用<b class='flag-5'>Qwen3</b><b class='flag-5'>系列</b><b class='flag-5'>模型</b>的最佳实践

    MediaTek天玑9400率先完成阿里Qwen3模型部署

    通义模型团队在天玑 9400 旗舰移动平台上率先完成 Qwen3 3)的端侧部署。未来,
    的头像 发表于 05-08 10:11 ?552次阅读

    后摩智能NPU适配通义Qwen3系列模型

    近日,阿里云重磅推出Qwen3 系列开源混合推理模型。用时不到1天,后摩智能自研NPU迅速实现Qwen3 系列
    的头像 发表于 05-07 16:46 ?653次阅读

    寒武纪率先支持Qwen3系列模型

    近日,阿里Qwen团队一口气上新8大模型Qwen3正式发布并全部开源。
    的头像 发表于 05-07 15:51 ?484次阅读

    在openEuler上基于vLLM Ascend部署Qwen3

    近日,阿里巴巴正式发布新一代Qwen大语言模型系列Qwen3Qwen3-MoE),在模型规模
    的头像 发表于 05-07 14:44 ?768次阅读
    在openEuler上基于vLLM Ascend部署<b class='flag-5'>Qwen3</b>

    几B都有!BM1684X一键适配系列Qwen3

    Qwen3发布,大小尺寸通吃Qwen3一发布,登顶开源大模型排行榜!235B、32B、8B、4B、1.7B云边端全尺寸模型,BF16和FP8两种精度,一次性发布,无论云端大卡还是边缘A
    的头像 发表于 04-30 18:37 ?650次阅读
    几B都有!BM1684X一键<b class='flag-5'>适配</b>全<b class='flag-5'>系列</b><b class='flag-5'>Qwen3</b>

    上新:小米首个推理大模型开源 马斯克:下周推出Grok 3.5

    似乎国内外AI竞争日趋白热化,就在阿里巴巴发布Qwen3通义3)之后,引发业界广泛关注;很多大厂在跟进,大
    的头像 发表于 04-30 16:08 ?842次阅读

    壁仞科技完成阿里巴巴通义Qwen3系列模型支持

    4月29日,阿里巴巴通义发布并开源8款新版Qwen3系列“混合推理模型”(简称“
    的头像 发表于 04-30 15:19 ?843次阅读

    阿里通义代码模型系列开源

    近日,阿里云通义模型团队宣布了一项重大决策:将通义代码模型
    的头像 发表于 11-14 15:26 ?1066次阅读

    通义三款主力模型再降价

    阿里云百炼平台再次掀起降价风暴,三款通义主力模型——Qwen-Turbo、Qwen-Plus
    的头像 发表于 09-20 16:46 ?1590次阅读

    通义发布第二代视觉语言模型Qwen2-VL

    阿里巴巴旗下的通义近日宣布,其第二代视觉语言模型Qwen2-VL正式问世,并宣布旗舰模型
    的头像 发表于 09-03 16:31 ?896次阅读