0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助美光9550高性能SSD提升AI工作负载

Micron美光科技 ? 来源:Micron美光科技 ? 2025-07-14 15:58 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

推理将成为数据中心最常见的工作负载,这一点毋庸置疑。随着数据中日益广泛采用NVIDIA H100,以及非NVL72系统开始部署NVIDIA DGX B200,计算能力正迎来爆炸式增长。

观察PCIe各代产品带宽扩展与计算能力增长的情况可以发现:从PCIe 3.0到6.0,带宽增长了8倍,而GPU FLOPS在同一时期增长了37.5倍。

我们还发现,过去四年间,训练集群的平均FLOPS增加了905倍,而训练数据集中的数据点数量在同一时期增加了2,500倍。

f729de94-5d3a-11f0-baa5-92fbcf53809c.jpg

f7334326-5d3a-11f0-baa5-92fbcf53809c.gif

虽然推理一直是且将继续是计算密集型工作负载,但其对快速存储的依赖正在迅速显现。推理模型将推动大语言模型 (LLM) 的实用性、准确性和资源需求大幅提升。序列长度的增加促使LLM系统设计不断创新,将KV缓存存储到磁盘而非刷新后重新计算正在成为效率更高的做法。这将对企业用于推理的GPU本地系统提出更高的性能要求。

我们关注这一趋势已有一段时间,并因此研发出了美光9550这款性能出色的SSD。其高IOP和卓越能效能够有效契合这些新兴工作负载的需求。

举例而言,我们使用微软的DeepSpeed ZeRO-Inference工具对美光9550与某前沿竞品进行了测试。结果显示,美光9550的读取速度快15%,平均功耗低27%,从而使SSD能耗低37%、系统总能耗低19%。

尽管写入操作只占推理工作负载的一小部分,但不同SSD在写入性能方面存在显著差异。美光9550的写入速度快78%,同时平均功耗低22%。这表明美光9550完成推理任务的能耗仅为其他产品的一半,且系统总能耗低43%。

随着计算能力的迅猛发展以及推理领域令人瞩目的实用性创新成果不断涌现,存储技术亟待跟上步伐。数据中心SSD的开发周期较长;NAND制造、ASIC设计、功耗、散热等环节均对AI系统中存储的最终性能起着关键作用。美光多年来一直在测试人工智能 (AI) 工作负载,并将其视为美光9550以及其他新一代数据中心SSD开发工作的重要组成部分。我们深知,要打造契合未来AI工作负载需求的存储解决方案,就必须在当下先人一步。

f74c648c-5d3a-11f0-baa5-92fbcf53809c.jpg

测试详情:

DeepSpeed ZeRO AIO读取——在GPU内部通过DeepSpeed库模拟合成工作负载。

测试系统:2颗Intel Xeon Platinum 8568Y+、768GB DDR5 DRAM、2块NVIDIA L40S GPU竞品是一款PCIe 5.0高性能数据中心SSD,其在规格和目标用例方面与美光9550相似。

相关数据通过850次测试运行产生,测试历时446小时。

本文作者

Ryan Meredith

美光存储解决方案架构总监

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • SSD
    SSD
    +关注

    关注

    21

    文章

    2994

    浏览量

    119773
  • 数据中心
    +关注

    关注

    16

    文章

    5256

    浏览量

    73631
  • 美光
    +关注

    关注

    5

    文章

    727

    浏览量

    52474

原文标题:推理=IOPS:借助美光9550高性能SSD保持前沿地位

文章出处:【微信号:gh_195c6bf0b140,微信公众号:Micron美光科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    推出自适应写入技术与G9 QLC NAND的2600 NVMe SSD 兼顾出众PCIe 4.0性能

    ? ? 2025年7月1日,爱达荷州博伊西市 — SSD对于提升PC及客户端设备的用户体验和系统性能至关重要。Micron Technology Inc.(
    的头像 发表于 07-02 11:09 ?990次阅读
    <b class='flag-5'>美</b><b class='flag-5'>光</b>推出自适应写入技术与G9 QLC NAND的2600 NVMe <b class='flag-5'>SSD</b> 兼顾出众PCIe 4.0<b class='flag-5'>性能</b>

    12层堆叠36GB HBM4内存已向主要客户出货

    随着数据中心对AI训练与推理工作负载需求的持续增长,高性能内存的重要性达到历史新高。Micron Technology Inc.(
    的头像 发表于 06-18 09:41 ?744次阅读

    为 Motorola 最新款 Razr 60 Ultra 注入 AI 创新动能

    强大的翻盖手机 Motorola Razr 60 Ultra 采用高性能、高能效的 LPDDR5X 内存以及先进的 UFS 4.0 解决方案。该款智能手机搭载 Motorola 基于大型语言模型的
    发表于 05-27 15:01 ?900次阅读

    科技推出两款全新高性能固态硬盘

    在近日开幕的2025台北国际电脑展(Computex 2025)上,科技股份有限公司(纳斯达克股票代码:MU)宣布推出两款全新的高性能固态硬盘(SSD)——Crucial英睿达T7
    的头像 发表于 05-27 14:18 ?766次阅读

    科技推出4600 PCIe 5.0 NVMe SSD

    及专业人士带来卓越的性能与用户体验。4600 SSD采用G9 TLC NAND技术,是
    的头像 发表于 02-21 16:44 ?708次阅读

    科技与Astera Labs合作升级SSD性能

    。正如莱特兄弟通过合作实现了首架动力飞行器一样,与Astera Labs合作,将SSD性能提升到了新的高度,最终实现了突破性的PCIe
    的头像 发表于 02-20 11:28 ?659次阅读

    Supermicro高性能服务器量产供货,优化多重工作负载

    应对计算需求严苛的高性能工作负载而设计。无论是大规模AI应用、集群规模的高性能计算,还是需要大量GPU支持的协作设计、媒体传播等场景,这些服
    的头像 发表于 01-21 11:00 ?519次阅读

    发布60TB SSD新品,速率与能效再创新高

    数据中心的理想选择。 在处理大容量NVMe工作负载时,6550 ION SSD展现出了非凡的实力。无论是网络AI数据湖、数据
    的头像 发表于 12-25 14:01 ?649次阅读

    科技推出业界首款PCIe 5.0 60TB数据中心SSD

    科技股份有限公司(纳斯达克股票代码:MU)近日宣布已开始与客户进行6550 ION NVMe SSD的认证。6550 ION
    的头像 发表于 12-20 09:06 ?771次阅读

    推出速率与能效领先的 60TB SSD

    业界首创 E3.S 封装 60TB SSD 6550 ION SSD 为超大规模数据中心带来业界领先的能效,每机架密度提升高达 67%
    发表于 12-19 16:25 ?632次阅读

    伏逆变器负载何进行负载测试和性能评估?

    和提高性能的重要环节,通过对不同负载条件下的运行性能进行测试和评估,可以为伏逆变器的设计、生产和使用提供科学依据。
    发表于 12-12 09:44

    科技推出新款存储解决方案

    随着人工智能(AI)不断改变行业并推动创新,数据中心需要能够跟上存储解决方案的发展步伐。为满足这一需求,我很高兴地宣布推出新款存储解决方案——9550 NVMeTM
    的头像 发表于 11-18 10:32 ?662次阅读
    <b class='flag-5'>美</b><b class='flag-5'>光</b>科技推出新款存储解决方案

    科技推出新一代6500 ION SSD

    科技近日宣布推出旗舰企业级SSD——6500 ION,这款SSD号称是世界上容量最大、速度最快、能效最高的SSD。它支持PCIe 5.0
    的头像 发表于 11-14 16:22 ?793次阅读

    AI高性能计算平台是什么

    AI高性能计算平台不仅是AI技术发展的基石,更是推动AI应用落地、加速产业升级的重要工具。以下,是对AI
    的头像 发表于 11-11 09:56 ?741次阅读

    研发出世界首款PCIe Gen6 SSD

    公司近期宣布,已成功研发出世界首款PCIe Gen6 SSD,这款设备可实现超26GB/s的顺序读取速度,以此满足未来数据中心需求,再度彰显其在存储技术方面的卓越竞争力。就在最近,他们刚刚推出
    的头像 发表于 08-07 17:16 ?1417次阅读