0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

迈入ZB时代的全新存储架构思路

电子工程师 ? 来源:PChome ? 2019-09-26 13:07 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在过去一年中,几大闪存供应商都在采取手段阻止价格下滑,包括削减投资、减少产能、延迟新工厂投产等,虽然效果不是立竿见影,但预计到2020年随着5G智能手机、企业、机器生成的数据推动着数据中心的存储容量快速地从PB级扩展到EB级,需求的持续提升会令存储市场逐渐回暖。

西部数据高级副总裁兼中国区总经理Steven Craig

“为什么我会这么乐观?因为整个2018年全球产生数据约32ZB,到2023年会有超过100ZB的数据产生,这会改变我们对整个存储行业的看法和预期。“在日前于深圳举办的闪存市场峰会(CFMS2019)上,西部数据高级副总裁兼中国区总经理Steven Craig对闪存市场表达了乐观的态度。

目前我们的数据源主要有三个,包括边缘数据、末端数据,以及在云端(核心端)将大数据转换成经过处理的智能信息。据IDC报告指出,2018年全球产生的32ZB数据中,只有5ZB(Zettabyte,十万亿亿字节 ,1ZB约等于1万亿GB)被存储了下来。

到2023年,大于90%的数据将由机器生成,5G、人工智能机器学习,包括视频监控,甚至4K、8K视频的广泛应用,都催生了海量数据产生。届时存储量将会上升到12ZB,但占据产生数据量的比例却由2018年的15%下降到10%左右。

Steven Craig表示:“这就是我们面临最核心的问题,数据产生后只有一小部分会存储下来。存储行业整个生态环境还没有跟上新的趋势,我们必须要转变思维模式,为未来更大规模的数据存储准备好相关的技术。”

应对数据爆炸,SSD成本吃不消

逐步增长SSD的用量是一个方法,NAND Flash层数的增长也可以进一步增加存储密度。从2014年的24层,到2016年的到48层,2017年的64层,再到2018年的96层以及明年的1XX层……NAND层数似乎也有了一个类似摩尔定律的更新迭代周期。

单纯增加层数的方法看起来最简单,但实际上会增加更多的成本。层数增加,意味着要制造更多的晶圆,导致每平方米单位面积的存储成本上升,如上图所示3D NAND迭代的资本密度。我们需要多管齐下。首先需要不断缩小闪存孔规格,让存储孔(MH)密度不断提升;再来是升维扩展,也就是Z轴纵向发展提升层数,让存储单元(Cell)密度提高;最后提升TLC的比特密度。

“下一代技术要求每个单元实现4 bit数据存储,这是非常艰巨的任务。” Steven Craig说到,“但在这样的情况下,我们才可以获得技术发展的红利。” 预计不同层级的TLC将引领未来存储的增速,应用在包括在企业级、客户级还有移动端,移动端的需求尤其大。

QLC高密度的4 bit每单元是“一步到位”的解决方案,据预测到2025年3D-QLC会占50%以上的总比特数出货量。当然天下没有免费的晚餐,我们必须去接受提升容量带来的成本提升,这对企业来说会造成一定的困扰,有没有两全其美的办法?

把HDD和SSD混在一起做分区存储

“对于西部数据来说,在数据存储迈入ZB时代也遇到了关键挑战。QLC虽然在可扩展性、成本/TCO效益和访问/读取性能上都很优异,但是写入寿命的限制却让人头疼。磁盘存储也是如此,我们将传统的CMR(Conventional Magnetic Recording, 传统磁记录)技术,转为SMR(shingled magnetic recording,叠瓦式磁纪录)技术。 ”Steven Craig表示,“但还是有写入限制。”

什么是SMR?叠瓦式磁纪录可以为HDD带来物理和逻辑上的扩展。物理上,增家磁碟数量、扩大磁碟尺寸和窄化轨道实现;逻辑上则能为每隔区域叠加更多轨道进行。不过SMR在随机写操作时,需要先将叠瓦布局中重叠磁道部门的数据迁移走,这需要操作系统以及应用程序等的支持,对于客户实际部署要求较高。也是因为这个原因,SMR磁盘很难与CMR无缝衔接,但SMR在单盘存储容量方面的潜力,对于爆炸式数据增长带来的存储需求,还是极具诱惑力。

如何发挥SMR在单盘存储容量方面的优势,同时扫除影响SMR使用的障碍?只有SMR-HDD和SSD同时存在,才能在不牺牲性能的情况下提高存储容量,这也是西部数据分区存储计划诞生的背景。

ZNS(Zoned Namespaces,分区命名空间)包含SMR-HDD以及ZNS-SSD的配套技术,其中SMR具有成熟的生态和广泛的开源社区支持,能够享用SMR技术带来的硬盘存储容量最大化红利;融入ZNS标准的NVMe SSD则延续闪存扩展,拥有更好的耐久性、可预知的低延时和QoS(服务质量)性能,实现QLC的规模部署。

Steven Craig表示:“分区存储是一项开源的、基于标准的技术提案,使数据中心能够经济高效地对存储介质进行选取和部署,有效地扩展到ZB时代。”

哪些市场HDD和SSD替换得最激烈?

会后,西部数据产品市场部副总裁朱海翔先生,西部数据公司产品市场部总监-张丹女士接受了《电子工程专辑》采访。

由左至右:西部数据公司全球产品市场部总监-万君玫女士,西部数据公司产品市场部副总裁-朱海翔先生

和西部数据公司产品市场部总监-张丹女士

对于数据端到端的架构,朱海翔认为,数据主要由终端通过不同的应用产生,然后在边缘计算或分布式数据中心进行初步集成和分析。最后,在云数据中心通过一些大数据技术分析,数据价值才会最终体现出来。“今天大多数的数据,还是人为方式产生的。比如说微信,在一些平台上分享我们的文字、图片、视频,以及现在非常流行的短视频抖音、快手等等,这些都是人产生的数据。但是随着5G万物互联的发展,我们可以预见,到2023年全球90%的数据都会由机器产生。而由机器产生的数据有独有的特性,大多数都是顺序型写入的流媒体数据。”

针对机器产生的宏大海量数据类别和新特性,存储行业怎么把这个挑战变成机遇?增加存储量无疑是最需要解决的问题。今年越来越多96层3D NAND被用在数据中心,各个厂商也在积极开发1XX层存储密度的3D NAND,“但是这只局限于存储介质的密度增加上,如果最终想要在数据中心使用最高密度QLC,而不是现在的TLC,我们需要解决QLC在数据中心中批量部署的最大难题——写入寿命问题。” 朱海翔表示,“要解决这个问题,不能停留在介质本身,要重新看整个数据的基础架构。所以今年6月我们推出了分区存储技术,我们相信这个技术可以从全新的维度帮助整个行业,尤其是在数据中心快速的部署最高存储密度的QLC。”

其实在存储介质的选择上,西部数据是一家比较独特的公司,他们在HDD行业有开发和制造的垂直整合能力,在SSD上也是一样。所以在推荐客户才用HDD还是SSD上,“西部数据并没有一个偏好,比如一定要在市场上或是在客户处主动去推其中某一个产品。但是我们看到,在不同的行业里,对于HDD和SSD互相过渡的速度和范围是不一样的,其中三个行业是全球使用传统机械硬盘最大的行业:数据中心、个人电脑以及视频监控行业。”

朱海翔介绍到,“这三个行业情况不一样。在数据中心行业,HDD每年的年负荷增长率可达34%,我们把它叫企业级HDD。因为成本、性能整合的优势,相比之下大多数的云厂商还是愿意大量用HDD来存储。SSD在云数据中心中增长速率比HDD快,每年增长率是44%,但它的起点相对较低。我们预测在大概四五年之后,数据中心绝大多数的存储媒介仍然是HDD,而不是SSD。”

个人电脑行业则完全不一样。去年个人电脑里面的存储介质已经有50%转变为 SSD,今年可能已经达到60%,大概两三年之后会达到80%以上。所有的个人电脑都倾向于使用SSD,而不是传统的机械硬盘。

第三个视频监控市场在中国尤其重要,而且中国有全球领先的安防厂家,近年来中国视频监控存储的需求量,在全球已经超过50%,但绝大多数的存储需求还是HDD,而不是SSD。朱海翔表示:“因为我们和这些厂家都有紧密的合作,并没有看到近期或可预见的将来会有大量SSD会替代HDD,这是我们看到的HDD和SSD互相转变的三个主要重要市场。”

在中国区首发全球新品

在媒体会中,西部数据还发布了一系列针对工业、智能和先进制造(包括多种物联网设备)等需要在严苛环境中操作的新产品。张丹表示,这是西部数据首次在中国,发布全球范围内的新品。

此次发布的新产品采用高耐久度3D NAND技术,以多种产品形态为工业系统设计人员提供适用于工业级市场领域的解决方案,可应用于边缘计算网关、机器人、医疗和监测/安防等领域,同时为工业和物联网系统设计人员在人工智能和机器学习应用领域提供方案。

为什么会有工业级别产品的发布?张丹表示,“当我们以深入视角研判未来万亿字节新时代的时候,发现有两个主要的趋势,一个是数据上云,第二个是算力下发。算力下发的结论就是边缘计算,所以越来越多的计算能力会被推动到边缘端,越来越多的传感和分析在边缘端实现,但是这些数据并没有充分的在边缘端进行存储。我们看到了边缘不具备足够的能力和成本优势来保存更多的数据,因此我们也想尽一些努力来满足行业对这方面的需求。”

据介绍,西部数据工业级存储产品能够在恶劣环境(如高温、潮湿、极端海拔或强振)下保证设备存储正常运行,通过延长数据保存期限而存储和处理更多数据。

西部数据首款针对工业及物联网市场而设计的64层3D NAND e.MMC

西部数据iNAND IX EM132嵌入式闪存盘是公司首款专为工业及物联网设备设计的3D NAND e.MMC,其中搭载了西部数据64层3D NAND技术。该产品有两种版本的宽温范围,分别是-25°C至+ 85°C以及-40°C至85°C。西部数据公司将该产品的e.MMC使用寿命延长并超过了2D NAND,为基于高级操作系统、传感器融合和机器学习技术的工业和消费应用提供更高的容量选择。该产品还有专为密集型工业工作负载而设计的功能特性,包括:

· 高级运行状况管理

· 热管理

· 智能分区

· 自动和手动读刷新

· 电源管理

· 达到JEDEC(固态技术协会)标准的数据保持力

针对工业及物联网市场的高耐久度SD存储卡和microSD存储卡

新款西部数据工业级IX LD342 SD存储卡和IX QD342 micro SD存储卡为OEM商、经销商、分销商、集成商和工业系统设计人员提供了高度耐用的产品特性,为新兴工业应用领域带来更好的灵活性:

· 采用西部数据3D NAND技术

· 提供16GB至512GB的容量选择

· 高耐用性(3,000 P/E循环)保证了更长的使用寿命

· 存储卡的运行状况管理可以检测存储卡的剩余耐用程度,并在需要时主动对存储卡进行维护

产品展示

除此之外,西部数据还在此次闪存市场峰会中展示了诸多产品:

上述刚发布的部分新品,以及ZNS SSD,相较于普通的NVMe SSD可提升吞吐量,显著降低延迟

恩智浦i.MX8 Mini EVK主板,其采用了西部数据最新的iNAND IX EM132工业级e.MMC嵌入式闪存产品,可实现更好的性能表现。

还有Ultrastar系列的SSD产品。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 闪存
    +关注

    关注

    16

    文章

    1849

    浏览量

    116104
  • 存储
    +关注

    关注

    13

    文章

    4542

    浏览量

    87599
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    IPv6 与零信任架构重塑网络安全新格局

    现如今,网络安全形势日益严峻,传统网络安全架构的局限性愈发凸显。在此背景下,IPv6和零信任架构逐渐成为该领域的焦点,它们的融合正为网络安全防护带来全新变革。IPv6:开启网络新时代I
    的头像 发表于 06-10 13:25 ?727次阅读
    IPv6 与零信任<b class='flag-5'>架构</b>重塑网络安<b class='flag-5'>全新</b>格局

    电动车正式迈入闪充时代

    、1000A电流、1兆瓦充电功率与10C充电倍率构建的超级快充体系。这些数字不仅刷新行业认知,更标志着电动车正式迈入“闪充时代”。
    的头像 发表于 05-14 10:07 ?684次阅读

    麦格米特与鸿路钢构合作迈入全新高度

    近日,深圳市麦格米特焊接技术有限公司(以下简称:麦格米特焊接技术)与安徽鸿路钢结构(集团)股份有限公司(以下简称:鸿路钢构)正式签署1800台机器人焊接电源采购协议。鸿路钢构董事长商晓波、麦格米特董事长童永胜等双方高层共同出席签约仪式,标志着两家企业在数字化智能焊接领域的合作迈入
    的头像 发表于 05-08 10:39 ?458次阅读

    华为加速AI时代数据存储产业发展

    近日,在华为中国合作伙伴大会2025上,华为数据存储产品线总裁周跃峰发表“共筑数智解决方案,共享数据存储产业大发展”主题演讲,深入探讨如何加速AI行业化落地,并分享AI时代数据存储产业
    的头像 发表于 04-01 15:35 ?426次阅读

    曙光存储全新升级AI存储方案

    近日,曙光存储全新升级AI存储方案,秉持“AI加速”理念,面向AI训练、AI推理和AI成本等需求,全面重塑AI存储架构
    的头像 发表于 03-31 11:27 ?530次阅读

    新能源汽车充电设备将从“野蛮生长”正式迈入“持证上岗”的强监管时代(CCC认证)

    意味着2026年8月后,新能源汽车充电设备将从“野蛮生长”正式迈入“持证上岗”的强监管时代通过实施CCC认证,可以对电动汽车供电设备防触电、短路保护、耐火耐燃等关键
    的头像 发表于 03-26 23:53 ?480次阅读
    新能源汽车充电设备将从“野蛮生长”正式<b class='flag-5'>迈入</b>“持证上岗”的强监管<b class='flag-5'>时代</b>(CCC认证)

    宝马发布全新一代智能电子电气架构

    "超级大脑"赋能宝马新世代车型智能驾驶乐趣 全新一代电子电气架构搭载新世代车型,覆盖全动力系统和全细分车型 全新一代电子电气架构集成算力提升20倍,支持AI用户体验和场景
    的头像 发表于 03-13 15:42 ?337次阅读

    QLC存储新里程:德明利探索高效存储之路,赋能数据时代新需求

    在大数据和人工智能时代,数据存储需求呈指数级增长,市场对存储媒介的性能、容量和能效提出了更高要求。随着闪存技术向高存储密度发展,一个存储单元
    的头像 发表于 01-21 16:00 ?837次阅读
    QLC<b class='flag-5'>存储</b>新里程:德明利探索高效<b class='flag-5'>存储</b>之路,赋能数据<b class='flag-5'>时代</b>新需求

    NimbleTrack 用户体验共鸣,引领行业迈入智能全无线扫描时代

    NimbleTrack开创性地将全无线理念贯穿产品设计始终,以极具辨识度的工业美学形象和独树一帜的产品力,打造划时代意义的智能无线三维扫描体验,引领行业正式迈入真无线测量时代。 创新灵感:与用户需求
    的头像 发表于 01-02 09:25 ?418次阅读
    NimbleTrack  用户体验共鸣,引领行业<b class='flag-5'>迈入</b>智能全无线扫描<b class='flag-5'>时代</b>

    浪潮信息剖析智能时代数据存储领域面临的挑战与机遇

    在当今数字化时代,算力与存力的协同增长已成为驱动各行各业发展的关键力量。特别是在人工智能(AI)这一前沿领域,随着数据量的爆炸式增长,对存储系统的需求日益复杂和多样。近期,在首届CCF中国存储大会上,浪潮信息
    的头像 发表于 12-30 09:43 ?821次阅读

    一文看懂SoC的架构

    一、SoC 架构图:核心功能和设计目标 SoC 是基于通用处理器这样的思路进行设计的,与 PC 设计思路一样。即通用处理器是由 CORE + MEM 两部分组成,修改软件来实现不同的功能,电脑还是
    的头像 发表于 11-29 09:57 ?3188次阅读
    一文看懂SoC的<b class='flag-5'>架构</b>

    浪潮信息如何应对智能时代下的数据存储需求

    随着智能时代的全面到来,数据量呈现出爆炸性增长,这对存储系统提出了前所未有的高标准要求。从早期的“百模大战”演进至“千模大战”,现已迈入了一个以数据为核心的新时代,其中数据成为了算法与
    的头像 发表于 11-26 13:42 ?682次阅读

    智己汽车迈入“直觉”智驾新时代

    ”的智驾新阶段。这一突破标志着智己汽车正式迈入“直觉”智驾的新纪元,成为国内首个掌握L2至L4级智驾量产技术的汽车品牌。
    的头像 发表于 10-30 16:06 ?635次阅读

    【「大模型时代的基础架构」阅读体验】+ 未知领域的感受

    国庆前就收到《大模型时代的基础架构》一书,感谢电子发烧友论坛。欢度国庆之余,今天才静下心来体验此书,书不厚,200余页,彩色图例,印刷精美! 当初申请此书,主要是看到副标题“大模型算力中心建设指南
    发表于 10-08 10:40

    名单公布!【书籍评测活动NO.41】大模型时代的基础架构:大模型算力中心建设指南

    基于TOGAF方法论,剖析业界知名案例的设计方案。 全书总计13章。第1章讲解AI与大模型时代对基础架构的需求;第2章讲解软件程序与专用硬件的结合,涉及GPU并行运算库、机器学习程序的开发框架和分布式AI训练
    发表于 08-16 18:33