0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Fleet新功能使部署Edge AI变得简单

星星科技指导员 ? 来源:NVIDIA ? 作者:Troy Estes ? 2022-04-11 15:07 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

NVIDIA Fleet Command是一种云服务,可跨分布式边缘基础设施安全部署、管理和扩展 AI 应用程序。自 7 月舰队司令部启动以来,已经实现了几个重要里程碑,并在 NVIDIA GTC 上展示。

Fleet 命令增加了远程控制台 2.0 、 MIG 支持、加密文件存储等功能

舰队司令部不断增加新功能。除了使平台更加健壮和安全外,还结合了来自客户和合作伙伴的反馈,使组织更容易在边缘开始使用人工智能

今天提供的新功能包括:

多实例 GPU ( MIG )支持:允许将 GPU 安全地划分为单独的 GPU 实例。

远程控制台 2.0 :无需额外端口,启动速度更快,以提供及时安全的远程访问。

安全 NFS 支持:允许使用现有的加密存储解决方案。

高级网络:支持代理、无 DHCP 的网络对 IP 地址更改的弹性以及云端的相应可观察性。

有了 NVIDIA LaunchPad ,用户完全可以免费体验 Fleet Command

在今年的 GTC 会议上,我们宣布了 NVIDIA LaunchPad 在全球范围内的可用性。

NVIDIA LaunchPad是一个让企业和组织能够立即、短期访问运行在加速计算上的 NVIDIA AI 的计划,以加速现代数据驱动应用程序的开发和部署。它允许您在可以购买和部署的同一个完整堆栈上快速测试和原型化整个人工智能工作流。

组织可以使用 LaunchPad 获得对舰队司令部的完全访问权,以体验免费部署和扩展 AI 。用户可以访问优化模型和应用程序的目录,以探索 AI 如何为他们的组织带来好处。他们还可以了解一种交钥匙云服务,用于在真实服务器上部署和监控真实应用程序,以及用于无缝调配和运行应用程序的加速边缘计算基础设施。

图 1 。 NVIDIA LaunchPad 允许用户试用 AI 开发的每个阶段,从数据准备到部署。

有兴趣开始使用 NVIDIA LaunchPad 上的 Fleet Command 吗?申请立即访问。

Mavenir 基于 NVIDIA AI-On-5G 平台发布 MaveEdge AI

英伟达 AI ON 5G 平台可用于构建连接智能和工业 4 解决方案。该平台基于 NVIDIA Aeror 5G ,由舰队司令部管理,通过使企业能够在同一计算基础设施上部署 AI 和 5G ,在边缘提供互联智能。这种方法提供了灵活、高效、可靠和安全的智能边缘网络,重新定义了业务流程,并在边缘为 AI 提供了新的用例。

MavEdEi 是基于英伟达 AI ON 5G 平台的第一个 AI-ON 5G 解决方案。该解决方案通过 5G 无线电将 5G 连接到 AI-on-5G 硬件和软件,为制造业、采矿业、零售业和医疗保健行业的用例提供视频分析。

MAVedge AI 为 NVIDIA 的 AI-on-5G 平台增加了不断增长的生态系统。 NVIDIA 还与戴尔、富士康和软银等合作伙伴合作,加快在本地或云中构建 AI-on-5G 。

引入英伟达 A2 张量核 GPU 用于边缘推理

今年在 GTC 上发布的还有NVIDIA A2,用于入门级和边缘服务器。

NVIDIA A2 张量核心 GPU 是优化入门级推理,智能视频分析,和英伟达 AI 部署。这对于受空间和散热要求限制的边缘服务器尤其有用,例如 5G 边缘和工业环境。 A2 提供了在低功耗外壳中运行的轻巧外形,从 60W 到 40W 的 TDP ,非常适合任何边缘服务器。

A2的多功能性、紧凑的尺寸和低功耗超过了大规模边缘部署的要求,可立即升级现有入门级 CPU 服务器以处理推理。与 CPU 相比,A2 GPU 加速的服务器提供了高达37倍的推理性能,并且比以前的 CPU 部署效率高1.3倍 GPU 各代产品均以入门级价位销售。

A2 在领先的 OEM NVIDIA 认证系统中可用?, 它跨边缘、数据中心和云提供突破性的推理性能,确保启用 AI 的应用程序部署时使用更少的服务器、更少的电源和更低的成本。作为我们 NVIDIA 认证计划的一部分,基于 NVIDIA A2 GPU 的系统与 Fleet Command 兼容。

NVIDIA 认证系统的两个新类别

NVIDIA 认证系统现在包括边缘系统类别。这些系统经过认证,可提供在传统数据中心之外运行加速应用程序的能力,包括:

推理的优良性能:已经显示了英伟达 A30 系统在一系列推理工作量上提供领先的性能,正如 2021 年 9 月 MLPRF 基准测试结果所证明的。 A30 多实例 GPU ( MIG )支持还允许最多四个工作负载同时运行,并保证其自身的服务质量,从而最大限度地提高计算利用率和效率。

低功耗:新的 A2 GPU 将很快纳入 NVIDIA 认证系统计划。它提供入门级、低功耗、紧凑型加速,用于边缘 AI 和推理,并提供英伟达企业 GPU 组合的最小足迹。

安全性:对 Trusted Platform Module 功能的验证可实现安全引导、磁盘加密和数字签名应用程序的使用。

这是两类经认证的边缘系统。企业边缘系统旨在部署在受控环境中,如零售店。 Industrial edge 系统专为坚固的部署而设计,如高温环境。

Fleet Command 与所有经 NVIDIA 认证的系统兼容,包括 Enterprise Edge 和 Industrial Edge 系统。了解有关NVIDIA-Certified Systems的更多信息。

新的合作伙伴意味着舰队司令部有了新的应用程序

数十个新合作伙伴已添加到我们的生态系统中,为企业提供数百种应用程序选择,以便使用 Fleet Command 在边缘部署。通过将我们的应用程序合作伙伴与构建边缘解决方案的客户联系起来,我们加快了人工智能的时间,并简化了可能需要数周或数月时间的流程。

一些合作伙伴包括Data Monsters,该公司正在使用计算机视觉进行工业检查和制造。Ironyun正在利用 AI 支持的视频分析进行安全、访问控制以及安全和搜索。Kinetic Vision正在为消费品包装企业的 AI 支持的计算机视觉构建端到端解决方案。

舰队司令部继续与客户和合作伙伴保持密切联系。要保持最新状态,请务必检查与舰队指挥和边缘计算相关的所有 GTC 会话。

关于作者

Troy Estes 是 NVIDIA Edge 和企业计算解决方案的产品营销经理。在加入 Edge & Enterprise 业务部门之前,特洛伊曾在自主汽车业务部门和 NVIDIA 电网产品集团从事营销活动和支持产品 GTM 。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5348

    浏览量

    106855
  • 计算机
    +关注

    关注

    19

    文章

    7689

    浏览量

    91197
  • 应用程序
    +关注

    关注

    38

    文章

    3339

    浏览量

    59223
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    如何本地部署NVIDIA Cosmos Reason-1-7B模型

    近日,NVIDIA 开源其物理 AI 平台 NVIDIA Cosmos 中的关键模型——NVIDIA Cosmos Reason-1-7B。这款先进的多模态大模型能够理解视频、进行物理
    的头像 发表于 07-09 10:17 ?252次阅读

    NVIDIA携手合作伙伴提升AI智能体的交互能力

    NVIDIA Enterprise AI Factory 的经验证设计和全新的 NVIDIA AI Blueprint 可帮助企业部署具有沟
    的头像 发表于 05-22 09:52 ?440次阅读

    NVIDIA实现神经网络渲染技术的突破性增强功能

    发者能使NVIDIA GeForce RTX GPU 中的 AI Tensor Cores,在游戏的图形渲染管线内加速神经网络渲染。
    的头像 发表于 04-07 11:33 ?521次阅读

    英伟达GTC2025亮点:NVIDIA认证计划扩展至企业存储领域,加速AI工厂部署

    全新的存储认证和参考架构让企业 IT 部门能更轻松地选择和部署 AI 基础设施,实现最优的性能和能效。 AI 部署的成功依靠速度、数据和规模。因此,
    的头像 发表于 03-21 19:38 ?1260次阅读

    NVIDIA与合作伙伴推出代理式AI Blueprint

    开发者现在可以使用全新 NVIDIA AI Blueprint 构建和部署具备推理、规划和行动能力的定制化 AI 智能体。这些蓝图囊括了 NVIDI
    的头像 发表于 01-09 11:08 ?740次阅读

    Amazon Q Business新功能发布,助力企业提效

    Business作为一款先进的生成式AI助手,其核心使命在于帮助企业员工轻松查找信息、获取深度洞察,并在日常工作中迅速采取实际行动。通过智能化的操作,它极大地减轻了员工的负担,使得繁琐耗时的工作变得更为高效。 此次新功能的发布
    的头像 发表于 12-24 10:42 ?553次阅读

    解析NVIDIA JetPack 6.1的新功能

    NVIDIA JetPack一直在不断发展,通过提供量身定制的先进软件满足边缘 AI 和机器人开发者日益增长的需求。每次发布的 JetPack 新版本都会升级性能、加入新功能与优化现有工具,以便为
    的头像 发表于 11-28 10:41 ?1177次阅读
    解析<b class='flag-5'>NVIDIA</b> JetPack 6.1的<b class='flag-5'>新功能</b>

    在设备上利用AI Edge Torch生成式API部署自定义大语言模型

    使用 TFLite 运行时的设备上实现高性能的 PyTorch 模型推理。 AI Edge Torch 生成式 API 使开发者能够在设备上引入强大的新功能,例如摘要生成、内容生成等。我们之前已经通过
    的头像 发表于 11-14 10:23 ?1307次阅读
    在设备上利用<b class='flag-5'>AI</b> <b class='flag-5'>Edge</b> Torch生成式API<b class='flag-5'>部署</b>自定义大语言模型

    NVIDIA与德勤共同部署适用于医疗健康的数字AI智能体

    渥太华医院使用 NVIDIA AI 驱动的德勤 Frontline AI Teammate 来部署 AI 助手,以提供更好的患者体验并减轻管
    的头像 发表于 11-13 11:37 ?872次阅读

    印度头部IT企业与NVIDIA合作加速AI采用

    Infosys、TCS、Tech Mahindra 和 Wipro 这四家公司的近 50 万名开发者和顾问使用 NVIDIA AI Enterprise 软件设计和部署 AI 智能体,
    的头像 发表于 10-29 15:08 ?1145次阅读

    NVIDIA NIM助力企业高效部署生成式AI模型

    Canonical、Nutanix 和 Red Hat 等厂商的开源 Kubernetes 平台集成了 NVIDIA NIM,将允许用户通过 API 调用来大规模地部署大语言模型。
    的头像 发表于 10-10 09:49 ?849次阅读

    NVIDIA新增生成式AI就绪系统认证类别

    借助全新的 NVIDIA Spectrum-X Ready 和 NVIDIA IGX 认证,领先的制造业合作伙伴将提供高性能系统,帮助客户轻松部署 AI
    的头像 发表于 10-10 09:44 ?891次阅读

    NVIDIA JetPack 6.0版本的关键功能

    NVIDIA JetPack SDK 支持 NVIDIA Jetson 模块,为构建端到端加速 AI 应用提供全面的解决方案。JetPack 6 通过微服务和一系列新功能,扩展了 Je
    的头像 发表于 09-09 10:18 ?1172次阅读
    <b class='flag-5'>NVIDIA</b> JetPack 6.0版本的关键<b class='flag-5'>功能</b>

    NVIDIA AI助力SAP生成式AI助手Joule加速发展

    在美国佛罗里达州奥兰多举行的 SAP Sapphire 大会上,NVIDIA 与这家企业软件公司公布了搭载NVIDIA AI Enterprise软件的生成式 AI 合作成果,其为 S
    的头像 发表于 09-09 09:37 ?886次阅读

    NVIDIA RTX AI套件简化AI驱动的应用开发

    NVIDIA 于近日发布 NVIDIA RTX AI套件,这一工具和 SDK 集合能够帮助 Windows 应用开发者定制、优化和部署适用于 Windows 应用的
    的头像 发表于 09-06 14:45 ?972次阅读