0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从SmartNIC走向DPU,专用加速器的崛起

E4Life ? 来源:电子发烧友网 ? 作者:周凯扬 ? 2022-06-25 01:17 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在计算架构和负载变得愈发复杂和多样的情况下,处理器厂商纷纷开始了自己的造词之路。要想体现产品定位,又要让大家对其缩写印象深刻,所以PU成了最常见的后缀。现在的处理器家族中已经有了不少成员,除了常见的CPUGPU、APU之外,按照处理对象的不同,在人工智能深度学习的崛起下,NPU和TPU也纷纷出现。
DPU模糊的定义
不过这些已经定义明确的处理单元并不是我们今天的主角,而是找到了全新定义的xPU。什么是xPU,其实很难定义,这其中有DPU(数据处理单元)、IPU(基础设施处理单元)和FAC(功能加速卡),这些刚冒头的产品就是xPU,它们代表了从SmartNIC演化过来并超越其定位的新时代加速器硬件。除了SmartNIC以外,这些xPU虽然命名不同,但其实很多时候,它们是完全重合的,现在为了方便,很多时候也以DPU统称。
BlueField-3 DPU / 英伟达
这样说DPU的定义还是很模糊,我们就从其特点来看。SmartNIC往往需要主CPU来完成管理工作,DPU虽然往往也属于一个主系统中的部件,但却可以做到完全独立,可以部署到边缘、JBOF存储和网关上,并为它们提供网络接口和虚拟功能。它的另一项职责就是帮CPU减轻负担,节省服务器上有限的处理器核心。
因此,尽管DPU看起来和一些PCIe智能网卡或GPU差不多,但它本质上就是一个为数据流和数据包处理提供加速、卸载和本地服务的微型服务器,在服务器中提供一个独立单元的同时,又不乏协助其他单元的处理能力。
什么样的任务需要DPU?
至于为什么要用到DPU,这就不得不谈到日益增加的数据密集型任务了,短视频、实时金融交易的兴起,高带宽的数据流要求数据中心对网络、存储、安全和AI/ML进行高效的处理。比如谷歌在数年前就提到,在他们的数据中心里,有三分之一的任务都是数据密集型的,这些都是交由底层基础设施完成的,而且这类任务的占比是在逐步增加的。因为CPU和GPU这样的通用计算单元并不擅长,所以专门针对这类任务优化的DPU就得出来担此大任了。其次就是企业数据中心和公共数据中心也想获得超大规模巨头厂商那样的效率,做到这一点就必须解聚那些昂贵的硬件资源,比如SSD、GPU等,DPU为数据中心的解聚提供了极高的效率,优化了拥有成本、占用面积和安全性。
DPU可以完成各个方面的卸载与加速,尤其是在网络、安全和存储这三大块。在网络端,DPU可以有效实现虚拟路由器,辅助数据包交换、定义交换规则等工作,减少延迟的同时还能够提高吞吐量;在安全上,DPU可以用于下一代防火墙(NGFW)的加速,完成数据包过滤、内容检测和报头检测与重写,将性能提高数倍以上;在存储上,DPU可以卸载高速NVMe/TCP,进一步提升存储性能。最关键的是,这三者都能有效地接管CPU控制面的负载,节省CPU本身的计算核心。

基于DPU的服务器存储方案 / Fungible
以上是DPU为服务器提供的加强,主要以PCIe加速卡的形式来提供,此外,还有单独的DPU存储产品。传统的CPU存储方案中,整个系统由DRAM、x86 CPU、SmartNIC、加速器和PCIe接口组成,而在未来的存储方案,比如高性能存储、计算型存储和软件定义网络应用的存储中,单片集成的方案更能满足要求,这就是与DRAM结合的DPU存储产品。这种方案不仅可以提升IOPS,也能进一步降低能耗。
正因如此,数据中心会用DPU来完成数据密集型任务,从而减少功耗、拥有成本和占用空间。此外,他们也会用到基于DPU的存储、GPU/TPU资源池和主机卡,来高效地完成高成本硬件资源的解聚。
DPU市场混战
在不少厂商对DPU的宣传中,往往都会提到这将是除了CPU和GPU之外的第三大硬件。大家可能觉得类似的承诺,好像一些AI处理器也有提到,但市面上还是GPU占据主导地位,DPU又会有何不同呢?事实证明,市场对DPU的信心很足,这我们从入局DPU的厂商就能看出。
云霄DPU / 云豹智能
如今制造DPU的企业分为三种,一是初创公司,比如:云豹智能、星云智联、中科驭数、云脉芯联、芯启源、大禹智芯、Fungible等;二是市面上一些已有的服务器巨头,比如AMD/Xilinx、英特尔、Marvel、英伟达;三是CSP(云服务供应商)厂商,比如亚马逊AWS、微软Azure、阿里云等等。后者更多是负责设计或者联合设计这些xPU,好专用于自己的云服务器。最终售卖这些DPU的除了DPU厂商外,还有基础设施的OEM和ODM,增值分销商和集成方案厂商,CSP厂商在售卖服务器的时候,自然也会以间接的方式来体现DPU的价值。
随着Mellanox被英伟达收购,Pensando被AMD收购,而Fungible的DPU主要针对存储加速和卸载,虽然没有被收购,但也收获了软银的主导的融资。国内的DPU厂商同样备受青睐,比如腾讯屡次投资的云豹智能,字节跳动投资的云脉芯联,美团和百度投资的星云智联等,这些投资方要么是CSP,要么拥有超大规模的数据中心,他们不像其他CSP大厂,硬件设计能力缺乏或有限,却也看到了DPU的前景。
DPU并不完美
即便大厂看好,但从现状来看,部署DPU对某些中小企业来说依然是双刃剑。固然,DPU可以卸载基础设施的任务,减轻其负担,让服务器的CPU空出来专注在应用本身,更高的效率、更低的拥有成本和更高的安全性也都随之而来,这些优点是几乎每个服务器都能享受到的。
但在部分服务器中,引入DPU不免增加了服务器的资本投入,而且相较于CPU、GPU这类硬件来说,它只能卸载和加速特定的负载,并不是一个通用加速单元。此外,部分服务器在增加DPU的情况下还是会导致功耗提升,在服务器、数据中心纷纷开始节能减排的当下,如何权衡各个组件的功耗无疑会是一个大问题。还有就是相关的开发,DPU的灵活性体现在可编程上,但这需要进行一定的编程能力,加上目前每家厂商都在单干,也没有一个标准的接口,所以在适配上绝对不轻松,这也是不少DPU选择Arm作为核心架构的原因,就是为了减少其编程的难度。
也正是因为以上这些理由,从市场渗透率上来看,DPU主要是还是大规模的CSP厂商用的更多一点,加上托管应用的增加,这一块未来也会驱动DPU产品的销售。对于自研DPU的CSP来说,他们肯定会继续加大这方面的投入,进一步降低成本,而对于第三方厂商来说,英伟达、AMD和英特尔这些服务器CPU、GPU厂商无疑会更有优势,因为他们提供竞争力更强的集成方案。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 服务器
    +关注

    关注

    13

    文章

    9862

    浏览量

    88433
  • DPU
    DPU
    +关注

    关注

    0

    文章

    394

    浏览量

    25088
  • 英伟达
    +关注

    关注

    22

    文章

    3973

    浏览量

    94390
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Arm神经技术是业界首创在 Arm GPU 上增添专用神经加速器的技术,移动设备上实现PC级别的AI图形性能

    Arm 神经技术是业界首创在 Arm GPU 上增添专用神经加速器的技术,首次在移动设备上实现 PC 级别的 AI 图形性能,为未来的端侧 AI 创新奠定基础 神经超级采样是 Arm 神经技术的首款
    的头像 发表于 08-14 17:59 ?664次阅读

    【免费送书】AI芯片,过去走向未来:《AI芯片:前沿技术与创新未来》

    最重大的技术变革无疑就是大模型的横空出世,人类的时间仿佛被装上了加速器ChatGPT到DeepSeek,大模型应用密集出现、频繁升级,这让作者意识到有必要撰写一本新的AI芯片图书,以紧跟时代
    的头像 发表于 07-29 08:06 ?204次阅读
    【免费送书】AI芯片,<b class='flag-5'>从</b>过去<b class='flag-5'>走向</b>未来:《AI芯片:前沿技术与创新未来》

    高压放大器在粒子加速器研究中的应用

    粒子加速器是现代科学研究中不可或缺的大型实验装置,广泛应用于物理学、化学、材料科学、生物学等多个领域。其核心原理是利用电场和磁场对带电粒子进行加速和约束,使粒子达到极高的能量,从而为研究微观世界
    的头像 发表于 06-19 17:09 ?235次阅读
    高压放大器在粒子<b class='flag-5'>加速器</b>研究中的应用

    粒子加速器?——?科技前沿的核心装置

    粒子加速器全称“荷电粒子加速器”,是一种利用电磁场在高真空环境中对带电粒子(如电子、质子、离子)进行加速和控制,使其获得高能量的特种装置。粒子加速器技术现已发展成为集高能物理、核物理、
    的头像 发表于 06-19 12:05 ?999次阅读
    粒子<b class='flag-5'>加速器</b>?——?科技前沿的核心装置

    基于双向块浮点量化的大语言模型高效加速器设计

    本文提出双向块浮点(BBFP)量化格式及基于其的LLMs加速器BBAL,通过双向移位与重叠位设计显著降低量化误差,提升非线性计算效率,实现精度、吞吐量和能效的显著优化,相关成果被国际顶级会议 DAC 2025 接收。
    的头像 发表于 05-14 13:40 ?1705次阅读
    基于双向块浮点量化的大语言模型高效<b class='flag-5'>加速器</b>设计

    第三期 “亚马逊云科技创业加速器” 正式启动

    新 助力生成式 AI 初创企业释放潜能,加速全球化进程 ? 北京 ——2025 年 4 月 18 日 亚马逊云科技今日宣布,第三期 "亚马逊云科技创业加速器" 正式启动。亚马逊云科技将联合包括启明创
    发表于 04-18 10:46 ?201次阅读

    小型加速器中子源监测系统解决方案

    小型加速器中子源是一种基于先进加速器技术的中子产生装置,凭借体积小、成本低、安全性高的优势,在医学、工业、科研、安全、能源等多个领域展现出巨大的应用潜力和价值。无论是用于医学领域的精准放疗,还是工业
    的头像 发表于 03-13 11:19 ?781次阅读
    小型<b class='flag-5'>加速器</b>中子源监测系统解决方案

    利用NVIDIA DPF引领DPU加速云计算的未来

    DPU 的强大功能,并优化 GPU 加速计算平台。作为一种编排框架和实施蓝图,DPF 使开发者、服务提供商和企业能够无缝构建 BlueField 加速的云原生软件平台。
    的头像 发表于 01-24 09:29 ?866次阅读
    利用NVIDIA DPF引领<b class='flag-5'>DPU</b><b class='flag-5'>加速</b>云计算的未来

    EE-436:使用ADSP-SC59x/2159x高性能FIR/IIR加速器

    电子发烧友网站提供《EE-436:使用ADSP-SC59x/2159x高性能FIR/IIR加速器.pdf》资料免费下载
    发表于 01-07 14:12 ?0次下载
    EE-436:使用ADSP-SC59x/2159x高性能FIR/IIR<b class='flag-5'>加速器</b>

    版本控制到全流程支持:揭秘Helix Core如何成为您的创意加速器

    加速器
    龙智DevSecOps
    发布于 :2024年11月26日 13:42:47

    IBM将在云平台部署AMD加速器

    IBM与AMD近期宣布了一项重要合作协议,根据协议,IBM将在其云平台上部署AMD Instinct MI300X加速器。这一举措旨在提升企业客户在生成式AI模型方面的性能和能效,进一步推动AI技术的创新与应用。
    的头像 发表于 11-19 16:24 ?663次阅读

    磁调制式电流传感在粒子加速器中的应用

    粒子加速器是一种利用电磁场加速带电粒子(如质子、电子、离子等)至极高速度的装置。其工作原理基于洛伦兹力定律,即当带电粒子在电磁场中运动时,会受到垂直于其速度方向的力作用,从而改变其运动状态。粒子
    的头像 发表于 11-14 11:43 ?622次阅读

    具有边沿速率加速器的TXB和TXS电压电平转换的注意事项

    电子发烧友网站提供《具有边沿速率加速器的TXB和TXS电压电平转换的注意事项.pdf》资料免费下载
    发表于 09-04 09:52 ?0次下载
    具有边沿速率<b class='flag-5'>加速器</b>的TXB和TXS电压电平转换<b class='flag-5'>器</b>的注意事项

    利用边沿速率加速器和自动感应电平转换

    电子发烧友网站提供《利用边沿速率加速器和自动感应电平转换.pdf》资料免费下载
    发表于 09-02 11:58 ?1次下载
    利用边沿速率<b class='flag-5'>加速器</b>和自动感应电平转换<b class='flag-5'>器</b>

    适用于数据中心应用中的硬件加速器的直流/直流转换解决方案

    电子发烧友网站提供《适用于数据中心应用中的硬件加速器的直流/直流转换解决方案.pdf》资料免费下载
    发表于 08-26 09:38 ?0次下载
    适用于数据中心应用中的硬件<b class='flag-5'>加速器</b>的直流/直流转换<b class='flag-5'>器</b>解决方案