0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助 NVIDIA 融合加速器开发套件加速数据中心 AI

NVIDIA英伟达 ? 来源:NVIDIA 英伟达 ? 作者:NVIDIA 英伟达 ? 2021-11-16 16:12 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

现代数据中心变得越来越难以管理。应用程序和 PB 级日志数据之间有数十亿条可能的连接路径。静态规则不足以适应动态微服务的安全策略,而且人工已经无法应对数量庞大的日志数据的分析。

AI 是通往未来安全和自主管理式数据中心的唯一出路。

NVIDIA 融合加速器在业界率先推出 AI 增强型 DPU。它将 GPU 的强大计算能力与 DPU 的网络加速和安全优势相结合,为 AI 增强型数据中心管理创造了统一平台。融合加速器可将 AI 生成的规则应用于数据中心网络中的每个数据包,为实现实时安全和管理创造新的可能性。图像展示了将 BlueField-2 DPU 和 Ampere GPU 相结合的 NVIDIA 新型融合加速器。

在 NVIDIA GTC 大会上,我们推出了两款新型融合加速器。A100X 在单一模组中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 DPU。A30X 则融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有独特的能力,除了 BlueField-2 的卸载、隔离和加速网络功能,进一步拓展到 AI 推理和训练功能。

两款加速器都包含一个集成的 PCIe 交换机实现DPU 和 GPU 连接。集成交换机能够消除对主机资源的争用,实现线速 GPUDirect RDMA 性能。集成交换机还通过隔离 GPU 和网卡之间移动的数据来提高安全性。

AI 增强型 DPU

融合加速器支持两种运行模式:

标准模式 – BlueField-2 DPU 和 GPU 分别独立运行。

BlueField-X模式 – PCI 交换机进行了重新配置,GPU 将专用于 DPU,并且对于主机系统不可见。

在 BlueField-X 模式下,只有 DPU 上运行的操作系统可见到GPU。BlueField-X 模式在业界首创了一种新型加速器类型:GPU 加速的 DPU。图像展示了在 BlueField-X 模式下,主机服务器中的 CPU 连接到融合加速器。融合加速器的 PCIe 交换机连接到 CPU 和 DPU。而 GPU 仅通过 PCIe 交换机与 DPU连接。

在 BlueField-X 模式下,GPU 可以对流经 DPU 的数据运行 AI 模型,成为 “bump in the wire”。保障安全同时,无性能损耗。AI 模型无需消耗主机资源,实现完全加速。

BlueField-X 为网络安全、数据中心管理和 I/O 加速解锁新颖使用场景。例如,Morpheus 网络安全框架使用机器学习对以往无法识别的安全威胁进行有效处理。Morpheus 通过 DPU 从数据中心的各个服务器获取遥测数据,并将其发送到配备 GPU 的服务器进行分析。

有了 BlueField-X,AI 模型可以在每个服务器的融合加速器上直接本地运行。这使 Morpheus 能够更快地分析更多数据,同时消除代价很高的数据移动,并缩小恶意攻击面。由 BlueField-X 加速的 Morpheus 使用案例包括恶意软件检测、数据泄漏预防和动态防火墙规则创建等。

Morpheus 示例仅仅是 BlueField-X 实现加速的一种使用场景。我们的客户经常与我们分享一些我们尚未考虑到的新想法。为了对 AI 增强的网络进行更多创造性的探索,我们现正推出 NVIDIA 融合加速器开发套件。

结合此开发套件,我们为有意构建新一代加速 AI 网络应用的特定客户和合作伙伴提供 A30X 加速器的抢先体验计划。在边缘计算或数据中心管理中探索 BlueField-X 的新应用场景。以下例子为您做参考:

透明视频预处理 – Bump-in-the-wire 视频预处理(解密、交错、格式转换等),以提高 IVA 吞吐量和摄像头密度。

小基站 RU 解决方案 – RAN 信号处理聚合加速器,以增加商业 gNodeB 服务器上的用户密度和吞吐量。

计算存储 – Bump-in-the-wire 存储加密、索引和哈希,为长期存储主机数据准备处理卸载昂贵的 CPU 资源。

作弊检测 – 检测流式游戏服务中的恶意游戏/作弊

开始使用 NVIDIA 融合加速器开发套件

NVIDIA 融合加速器开发套件包含有结合 CUDA 和 NVIDIA DOCA 的示例应用程序,以及帮助安装、配置新型融合加速器的文档。最重要的是,可提供 A30X 及应用支持来换取用户的宝贵反馈。

要开始使用,只需在 NVIDIA 融合加速器开发套件网页上完成注册。获得批准后,一旦硬件准备好发货,将由工作人员主动联系。之后就可以开启新一代加速应用之旅了。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    828

    浏览量

    39201
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4968

    浏览量

    131685
  • 主机
    +关注

    关注

    0

    文章

    1039

    浏览量

    36040
  • 数据中心
    +关注

    关注

    16

    文章

    5257

    浏览量

    73639
  • DPU
    DPU
    +关注

    关注

    0

    文章

    394

    浏览量

    25009

原文标题:GTC21 | 借助 NVIDIA 融合加速器开发套件加速数据中心 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA携手诺和诺德借助AI加速药物研发

    NVIDIA 宣布与诺和诺德开展合作,借助创新 AI 应用加速药物研发。此次合作也将支持诺和诺德与丹麦 AI 创新
    的头像 发表于 06-12 15:49 ?576次阅读

    首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手

    倍,可见天玑的AI开发者解决方案已经被开发者高度认可,天玑AI生态圈正在飞速成长起来。 联发科与OPPO深度合作,共同研发,借助天玑
    发表于 04-13 19:52

    是德科技推出AI数据中心构建

    是德科技(NYSE:KEYS)推出Keysight AI (KAI)数据中心构建,这是一款先进的软件套件,通过模拟真实工作负载来评估新算法、组件和协议对
    的头像 发表于 04-07 11:06 ?539次阅读

    适用于数据中心AI时代的800G网络

    和性能隔离能力,以保障不同用户任务互不干扰。 分布式AI计算与网络架构设计 分布式计算已成为AI训练的主流方式,通过将工作负载分配到多个GPU节点并行处理,以加速模型训练。这对数据中
    发表于 03-25 17:35

    NVIDIA加速的Apache Spark助力企业节省大量成本

    随着 NVIDIA 推出 Aether 项目,通过采用 NVIDIA 加速的 Apache Spark 企业得以自动加速数据中心规模的分析
    的头像 发表于 03-25 15:09 ?587次阅读
    <b class='flag-5'>NVIDIA</b><b class='flag-5'>加速</b>的Apache Spark助力企业节省大量成本

    Cadence 利用 NVIDIA Grace Blackwell 加速AI驱动的工程设计和科学应用

    融合设计专业知识与加速计算,推动科技创新、实现能效和工程生产力方面的突破性进展,引领全球生活新范式 内容提要 ●?Cadence 借助 NVIDIA 最新 Blackwell 系统,将
    的头像 发表于 03-24 10:14 ?819次阅读

    FPGA+AI王炸组合如何重塑未来世界:看看DeepSeek东方神秘力量如何预测......

    FPGA的硬件加速能力处理传感数据。? 低功耗设计:针对边缘设备和物联网应用,开发低功耗的FPGA解决方案,以满足严格的功耗限制。 4.借助
    发表于 03-03 11:21

    数据中心中的FPGA硬件加速器

    ? 再来看一篇FPGA的综述,我们都知道微软包括国内的云厂商其实都在数据中心的服务中部署了FPGA,所以这篇论文就以数据中心的视角,来看下FPGA这个硬件加速器。 还是一样,想要论文
    的头像 发表于 01-14 10:29 ?707次阅读
    <b class='flag-5'>数据中心</b>中的FPGA硬件<b class='flag-5'>加速器</b>

    从版本控制到全流程支持:揭秘Helix Core如何成为您的创意加速器

    加速器
    龙智DevSecOps
    发布于 :2024年11月26日 13:42:47

    NVIDIA加速AI在日本各行各业的应用

    企业借助基于 NVIDIA AI Enterprise 与 Omniverse 工业 AI 构建的创新中心和服务
    的头像 发表于 11-19 15:45 ?828次阅读

    日本企业借助NVIDIA产品加速AI创新

    日本领先企业和大学正在使用 NVIDIA NeMo、NIM 微服务和 NVIDIA Isaac 加速 AI 创新。
    的头像 发表于 11-19 14:34 ?1000次阅读

    借助OpenUSD和NVIDIA Omniverse开发数字孪生应用

    接口、软件开发套件和服务组成的,使开发者能够开发基于 OpenUSD 的应用 NVIDIA Omniverse开发了一款数字孪生应用。
    的头像 发表于 09-06 14:18 ?801次阅读

    【xG24 Matter开发套件试用体验】深入了解Silicon Labs xG24 Matter开发套件

    -使用Silicon Labs xG24开发套件支持智能加速器以构建声音感知门锁”(Creating a Smarthome Device That Is Truly Smart - Building
    发表于 08-27 20:23

    适用于数据中心应用中的硬件加速器的直流/直流转换解决方案

    电子发烧友网站提供《适用于数据中心应用中的硬件加速器的直流/直流转换解决方案.pdf》资料免费下载
    发表于 08-26 09:38 ?0次下载
    适用于<b class='flag-5'>数据中心</b>应用中的硬件<b class='flag-5'>加速器</b>的直流/直流转换<b class='flag-5'>器</b>解决方案

    借助NVIDIA NIM加速AI应用部署

    大语言模型(LLM)在企业组织中的应用日益广泛,许多企业都将其整合到 AI 应用中。虽然从基础模型着手十分高效,但需要花费一定的精力才能将它们整合到生产就绪型环境中。NVIDIA NIM简化了这一过程,使企业能够在数据中心、云、
    的头像 发表于 08-23 16:38 ?796次阅读
    <b class='flag-5'>借助</b><b class='flag-5'>NVIDIA</b> NIM<b class='flag-5'>加速</b><b class='flag-5'>AI</b>应用部署