0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

抛弃8GB内存,端侧AI大模型加速内存升级

花茶晶晶 ? 来源:电子发烧友网 ? 作者:黄晶晶 ? 2024-11-03 00:02 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/黄晶晶)端侧AI大模型的到来在存储市场产生了最直接的反应。年初在我们对旗舰智能手机的存储容量统计中,16GB内存+512GB存储成为几乎所有旗舰机型都提供的选择。毕竟AI大模型的运行以及相关应用的激增都比较吃内存和闪存。就在最近,连苹果也开始淘汰8GB版本,逐步走向12GB、16GB内存。智能终端对存储容量的需求有增无减,同时也加速更先进存储规格的采用。

苹果、小米纷纷砍掉8GB内存版本

日前,苹果宣布搭载M2和M3芯片的MacBook Air机型现标配16GB内存,相比此前翻倍,但起售价维持不变,分别仍为7999元和8999元。苹果官网上13英寸M2 MacBook Air、13英寸M3 MacBook Air以及15英寸M3 MacBook Air均淘汰了8GB版本,标配16GB内存,固态硬盘是256GB起步。截至目前,苹果新款MacBook Pro、Mac mini、iMac等设备全部都是16GB内存起步。

近期,小米公司宣布了其旗舰产品小米15系列的内存配置重要调整。小米董事长兼CEO雷军表示,小米15将砍掉8GB内存版本,标准版将从12GB起步。

雷军表示,为了最大程度展现端侧 AI的能力,我们决定取消 8GB 版本。小米15系列,在设计工艺、性能功耗、续航表现和使用体验等方方面面都有巨大的提升。

10月28日,小米中国区市场部副总经理、Redmi品牌总经理王腾在社交平台上解释称,这一决策(指取消8GB内存,从12GB起步)主要是基于未来手机AI应用的发展趋势。随着端侧AI大模型对内存需求的增加,8GB内存已逐渐无法满足高效运行的需求。他建议,在资金允许的情况下,消费者应选择更大内存的版本,以确保手机能够流畅运行各类AI应用。

另外,对于小米15系列的涨价,雷军表示,去年我跟大家说过,小米14首定是最后一次定价3999元。今年3nm工艺升级,同时供应链 RAMROM 成本涨幅很大,我们在研发上投入也非常大,小米15 确实需要涨价。我可以保证,即便涨价,小米15 依旧日物超所值!相比往代同内存版本的涨价幅度,也肯定让大家觉得“贵得有理由”,谢谢大家理解!

端侧AI大模型的内存容量

由于端侧AI大模型需要在内存中加载,即便采用压缩技术,越大的模型越吃容量。一方面现在端侧AI大模型有着轻量化的趋势,另一方面足够大容量和性能更高的内存更能满足端侧AI的需求。

今年6月苹果发布Apple Intelligence,将强大的生成模型置于 iPhone、iPad 和 Mac 的核心。它具有的数据处理和情境感知能力。它能够深入理解设备中的各类数据,包括照片、邮件、信息等,并据此为用户提供个性化的智能服务。分析师郭明錤曾表示,Apple Intelligence采用端侧3B LLM,经过压缩后,随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。

在安卓阵营,早在去年,端侧AI便成为各大手机终端厂商进行手机创新的主航道,彼时大家都将AI端侧大模型的参数集中于7B。然而参数越大所需的处理器、存储等资源越多,轻量化小模型或许更适合于智能终端。

vivo继去年带来了三款端侧大模型(自研十亿、百亿、千亿三个参数量级)之后,发布全新30亿参数量级的蓝心端侧大模型3B。

在对话写作、摘要总结、信息抽取等能力上,蓝心3B可以越级比肩行业7B-9B模型。相比蓝心7B,蓝心 3B极致性能提升300%,平衡模式下功耗优化达46%,极致出词速度可以达到80字/s,系统功耗仅450mA,内存占用仅1.4GB。蓝心端侧大模型3B真正打破了模型小、能力强、消耗低的“不可能三角定律”。

苹果为了支持Apple Intelligence在手机端的应用,将iPhone 16系列的四款机型全部升级到了8GB内存。为何选定为8GB内存,而不是更高?苹果硬件技术高级副总裁Johny Srouji表示,Apple Intelligence是促使使用8GB内存的一个主要原因。他还提到,软硬件和产品的完全集成带来了很多好处,苹果软件团队经过多次的内存优化计算,避免内存浪费,综合考虑之后认为8GB是最适合的选择。

我们看到新发布的vivo X200系列和OPPO Find X8系列等手机都是直接从12GB版本起步。安卓阵营旗舰手机的内存容量升级更加积极,苹果反而显得有点保守了。尽管苹果有其软硬件优化的系统级优势,但相信8GB内存的选择,成本也是考虑因素之一。

内存规格不断提升

旗舰智能手机主要采用LPDDR5X内存规格,LPDDR5X能够更好地加速边缘AI运算,提供高存储器频宽和更佳的功耗效率。此前LPDDR5X速率达8.5Gbps,LPDDR5T速率达9.6Gbps的水平,而最近发布的新机甚至还采用了更高速率的LPDDR5X。

例如,OPPO Find X8 系列搭载潮汐引擎×天玑 9400,采用台积电第二代3nm工艺与新一代ARM架构,搭配高速闪存UFS 4.0与LPDDR5X先进内存规格,带来更强的性能和更均衡的功耗表现。其中,Find X8 Pro采用LPDDR5X内存,Find X8 Pro 卫星通信版采用了LPDDR5X 10667Mbps版内存。在 vivo X200新机中,vivo X200 Pro 16GB + 1TB 卫星通信版本搭载LPDDR5X Ultra Pro,同样达到10667Mbps速度。

此前三星半导体就表示,已成功在联发科下一代天玑旗舰移动平台(天玑9400)完成其最快的10.7千兆比特/秒(Gbps)LPDDR5X DRAM验证。成为当今全球最快的手机内存。

至于苹果新一代新机,iPhone 16采用6400Mbps的LPDDR5,苹果iPhone 16 Pro和16 Pro Max版本都是采用的是LPDDR5X规格的内存,7500Mbps速率。

LPDDR5标准于2019年2月发布,2021年7月JEDEC组织推出了升级版LPDDR5X。为了打造更高性能更能满足端侧AI大模型运算的内存,今年以来JEDEC组织正在积极制定新一代低功耗内存LPDDR6标准,该组织设定了 LPDDR6的速度范围从 10.667Gbps到14.4Gbps。可以看到,三星10.7GbpsLPDDR5X DRAM已经初步达到了该组织拟定的LPDDR6最低速度范围要求。接下来,各大DRAM厂商势必积极跟进LPDD6的技术和产品,手机内存也将上一个新的台阶。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 内存
    +关注

    关注

    8

    文章

    3128

    浏览量

    75363
  • AI
    AI
    +关注

    关注

    88

    文章

    35476

    浏览量

    281279
  • 大模型
    +关注

    关注

    2

    文章

    3191

    浏览量

    4147
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    迅为iTOP-3588S开发板核心板引脚240PIN全部引出8GB内存32GBEMMC存储

    8GB内存,32GBEMMC。 四核心架构GPU内置GPU可以完全兼容0penGLES1.1、2.0和3.2。 内置NPU RK3588S内置NPU,支持INT4/INT8/INT16/FP16混合运算
    发表于 06-23 11:19

    首创开源架构,天玑AI开发套件让AI模型接入得心应手

    ,联发科带来了全面升级的天玑AI开发套件2.0,在模型库规模、架构开放程度、前沿AI技术支持
    发表于 04-13 19:52

    AI模型侧部署正当时:移远端AI模型解决方案,激活场景智能新范式

    AI技术飞速发展的当下,AI模型的应用正从云端向加速渗透。 作为全球领先的物联网整体解决
    发表于 03-27 11:26 ?277次阅读
    <b class='flag-5'>AI</b>大<b class='flag-5'>模型</b><b class='flag-5'>端</b>侧部署正当时:移远端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>解决方案,激活场景智能新范式

    AI模型侧部署正当时:移远端AI模型解决方案,激活场景智能新范式

    AI技术飞速发展的当下,AI模型的应用正从云端向加速渗透。作为全球领先的物联网整体解决方
    的头像 发表于 03-26 19:05 ?527次阅读
    <b class='flag-5'>AI</b>大<b class='flag-5'>模型</b><b class='flag-5'>端</b>侧部署正当时:移远端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>解决方案,激活场景智能新范式

    移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速AI落地

    。 ? 目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速AI技术在各行各业的规模化应用与普及。
    发表于 02-13 11:32 ?268次阅读
    移远通信边缘计算模组成功运行DeepSeek<b class='flag-5'>模型</b>,以领先的工程能力<b class='flag-5'>加速</b><b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>落地

    移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速AI落地

    。目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速AI技术在各行各业的规模化应用与普及。Deep
    的头像 发表于 02-12 19:03 ?480次阅读
    移远通信边缘计算模组成功运行DeepSeek<b class='flag-5'>模型</b>,以领先的工程能力<b class='flag-5'>加速</b><b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>落地

    德明利DDR5内存助力AI PC时代存储性能与市场增长

    2024年作为AIPC元年伴随异构算力(CPU+GPU+NPU)需求高涨及新处理器平台推出DDR5内存以高速率、大容量低延迟与高带宽有效满足高性能算力要求加速本地AI模型运行效率推动
    的头像 发表于 01-21 16:34 ?1591次阅读
    德明利DDR5<b class='flag-5'>内存</b>助力<b class='flag-5'>AI</b> PC时代存储性能与市场增长

    广和通开启AI新时代

    AI发展正酣,随着终端芯片算力越来越高、模型能力越来越强、实时响应及隐私保护的应用需求增
    的头像 发表于 12-12 10:35 ?842次阅读

    讯飞星火模型发布

    参数量小、内存占比小的模型,正成为“兵家必争之地”。
    的头像 发表于 12-04 16:07 ?1427次阅读

    智谱推出四个全新模型 携英特尔按下AI普及加速

    随着AI的发展,AI模型越来越受到广大客户及厂商的关注,业界领先的大模型公司智谱于近日推出了
    的头像 发表于 12-02 17:13 ?635次阅读
    智谱推出四个全新<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>模型</b> 携英特尔按下<b class='flag-5'>AI</b>普及<b class='flag-5'>加速</b>键

    把握关键节点,美格智能持续推动AI规模化拓展

    将成为和系统同样重要的存在,如果说电路是连接身体的“血管”,那么AI就将成为终端的智慧“大脑”。加速演进大模型加速走向
    的头像 发表于 11-26 01:00 ?575次阅读
    把握关键节点,美格智能持续推动<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>规模化拓展

    把握关键节点,美格智能持续推动AI规模化拓展

    将成为和系统同样重要的存在,如果说电路是连接身体的“血管”,那么AI就将成为终端的智慧“大脑”。 ?加速演进,大模型加速走向
    的头像 发表于 11-25 16:45 ?806次阅读
    把握关键节点,美格智能持续推动<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>规模化拓展

    安卓旗舰手机告别8GB,转向更高规格的内存配置

    10月28日资讯,随着人工智能大模型的普及应用,安卓智能手机制造商正积极调整其旗舰机型的内存配置策略。近期推出的多款安卓旗舰已悄然舍弃8GB内存版本,转而标配更高容量的
    的头像 发表于 10-28 15:34 ?1191次阅读

    迅为LPDDR5版本瑞芯微RK3588核心板8GB内存32GB存储升级版本

    ,主频高达2.4GHZ,8GB内存,32GB EMMC。 四核心架构GPU--集成Mali G610 MP4四核GPU、支持OpenGLES 1.1、2.0、3.2OpenCL2.2和Vulkan1.2
    发表于 10-22 10:58

    三星开始量产其最薄LPDDR5X内存产品,助力AI应用

    三星轻薄型LPDDR5X DRAM的封装厚度仅0.65mm,散热控制能力更强,适合AI在移动的应用 LPDDR封装采用12纳米级工艺,四层堆叠,在提升Die密度的同时,减少厚度,
    的头像 发表于 08-06 08:32 ?691次阅读