0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

当AI遇上云原生,绿色算力助力开启AI新时代

安晟培半导体 ? 来源:安晟培半导体 ? 2023-02-24 11:23 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

撰写文章、编写代码、谱写 Rap,上知天文,下知地理,十八般武艺样样精通……从 2022 年底开始,一款由美国人工智能研究实验室 OpenAI 发布的自然语言处理工具 ChatGPT 备受关注,成为现象级的 AI 产品,掀起全球的 AI 浪潮。

在以 ChatGPT 为代表的 AI 应用蓬勃发展的背后,离不开数据中心提供的算力支撑。而随着相关应用的不断发展,它们所需的算力将呈指数级增长,所需的能耗也不容小觑。根据 2021 年国外研究人员年发表的研究结果,部分基于 GPT-3 模型的训练共消耗1,287 兆瓦时电力,并产生了超过550 吨二氧化碳当量的排放,这相当于一个人往返纽约和旧金山550 次所消耗的二氧化碳量[1]。

Ampere Computing 一直致力于为数据中心带来高性能、高能效的云原生处理器,助力减少环境足迹,构建绿色数据中心,降低总体拥有成本(TCO),以更可持续的方式为用户提供更多的绿色算力。在 AI 领域,Ampere 提供的 AI 解决方案具备卓越的推理性能和优越的能效,帮助用户轻松应对算力及能耗的挑战。

想知道 ChatGPT 如何看待AI 在“减碳”方面的作用吗?快来参与文末的趣味互动吧!

云原生设计,强力赋能 AI 推理

Ampere Altra Max 基于高性能、高能效及可预测的创新架构,非常适合在云中执行 AI 推理工作,不仅可以满足延迟和吞吐量的要求,而且性能优于基于 x86 架构的 CPU。让我们一起来看一下在 Ampere Altra Max 处理器上运行 AI 推理的收益吧!

开箱即用,畅享便捷体验

在 Ampere Altra Max 上运行 AI 推理不需要修改或转换已有神经网络,即可在 TensorFlow、PyTorch 或 ONNX 框架上开发和运行 AI 推理的工作负载。用户可从 Ampere 或 Ampere 云服务合作伙伴处免费获得优化框架,高效地部署和运行应用程序。同时,Ampere Altra Max 是目前唯一支持 fp16 数据格式,并已广泛可用的云原生处理器,将 fp32 训练的网络量化为 fp16 极为简单,且不会导致明显的精度损失。

此外,Ampere 还提供一系列不断优化、预训练的模型,供用户下载用于演示或在实际应用程序中进行调整并使用。并且,Ampere Altra Max CPU 还可与 NVIDIA GPU 协同工作,满足用户的训练需求。

高度可扩展,有效抵抗干扰

凭借创新的可横向扩展架构,Ampere Altra Max 处理器具有更高的核心数和出色的单线程性能。结合所有内核可同时一致频率运行的特性,Ampere Altra Max 的单 CPU 整体性能比目前最好的 x86 服务器更高、更稳定,在多租户的云环境中对“嘈杂邻居”的干扰也更具抵抗力。

基准测试,彰显卓越推理性能

为展示 Ampere Altra Max CPU 在多个具有代表性的 AI 推理任务中的卓越性能,Ampere 按照 MLCommons 指南运行了一系列基准测试(包括计算机视觉和 NLP 应用),部分测试的结果如下。

计算机视觉方面,使用 SSD ResNet-34 测试典型的对象检测应用,在 fp32 模式下与比较对象相比,Ampere Altra Max 在低延迟方面最高可领先近 4 倍。在 fp16 模式下,Altra Max 将领先优势扩大了两倍,同时保持了相同的精度。

52ae8e84-b371-11ed-bfe3-dac502259ad0.png

在性能功耗比方面,Ampere Altra Max 也具有显著优势。在 fp16 分辨率下,Ampere Altra Max 的能效与比较对象相比高约 5 倍。而在 fp32 分辨率下,Ampere Altra Max 则拥有高约 2 倍的领先优势。

52d9a40c-b371-11ed-bfe3-dac502259ad0.png

面对蓬勃发展的 AI 应用,Ampere AI 解决方案将为 AI 应用和数据中心的发展提供更可持续的绿色算力支撑,助力解决不断升级的算力需求和日益突出的环境问题。一直以来,Ampere 着眼未来、不断创新,将卓越性能和能效融入到为云定制的解决方案中,助力释放数字经济生产力,助推科技产业在可持续发展的道路上一路“狂飙”。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    88

    文章

    35758

    浏览量

    282426
  • 人工智能
    +关注

    关注

    1810

    文章

    49221

    浏览量

    251505
  • 云原生
    +关注

    关注

    0

    文章

    263

    浏览量

    8330
  • 算力
    +关注

    关注

    2

    文章

    1233

    浏览量

    15809
  • ChatGPT
    +关注

    关注

    29

    文章

    1591

    浏览量

    9248

原文标题:创芯课堂|当 AI 遇上云原生,绿色算力助力开启 AI 新时代

文章出处:【微信号:AmpereComputing,微信公众号:安晟培半导体】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    睿海光电:以敏捷交付与全域兼容领跑AI光模块赛道,赋能智新时代

    睿海光电:以敏捷交付与全域兼容领跑AI光模块赛道,赋能智新时代
    的头像 发表于 08-15 16:51 ?166次阅读

    睿海光电领航AI光模块:超快交付与全场景兼容赋能智时代——以创新实力助力全球客户构建高效底座

    到全场景兼容,从800G量产突破到1.6T前瞻布局,睿海光电始终以客户需求为导向,以技术创新为引擎,为全球AI基础设施建设提供坚实底座。凭借智能制造实力与开放生态策略,睿海光电正携手合作伙伴,共同推动智能时代
    发表于 08-13 19:03

    睿海光电以高效交付与广泛兼容助力AI数据中心800G光模块升级

    核心网络支撑。未来,随着1.6T光模块的落地,睿海光电将进一步推动数据中心向更高性能、更智能化演进,携手全球伙伴开启AI新时代。 睿海光电——AI网络升级的可靠伙伴!
    发表于 08-13 19:01

    AI 边缘计算网关:开启智能新时代的钥匙?—龙兴物联

    流量动态分析、违章行为智能识别;在智慧城市建设里,可检测周界入侵、消防通道占用等安全隐患。 AI 边缘计算网关正以其独特的魅力,为各行业带来前所未有的变革与机遇,引领我们大步迈向智能新时代
    发表于 08-09 16:40

    一文看懂AI集群

    最近这几年,AI浪潮席卷全球,成为整个社会的关注焦点。大家在讨论AI的时候,经常会提到AI集群。AI
    的头像 发表于 07-23 12:18 ?198次阅读
    一文看懂<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>集群

    迅为RK3576核心板高AI开发板开启智能应用新时代

    迅为RK3576核心板高AI开发板开启智能应用新时代
    的头像 发表于 06-10 14:13 ?693次阅读
    迅为RK3576核心板高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>AI</b>开发板<b class='flag-5'>开启</b>智能应用<b class='flag-5'>新时代</b>

    AI与云端生产结合应用场景及技术解析(2025)

    AI与云端生产结合应用场景及技术解析(2025) 一、核心技术架构? 云原生与智能网络? 采用容器化、微服务等
    的头像 发表于 04-15 08:41 ?402次阅读
    <b class='flag-5'>AI</b>与云端生产<b class='flag-5'>力</b>结合应用场景及技术解析(2025)

    DeepSeek推动AI需求:800G光模块的关键作用

    随着人工智能技术的飞速发展,AI需求正以前所未有的速度增长。DeepSeek等大模型的训练与推理任务对的需求持续攀升,直接推动了服务
    发表于 03-25 12:00

    英伟达GTC25亮点:NVIDIA Blackwell Ultra 开启 AI 推理新时代

    英伟达GTC25亮点:NVIDIA Blackwell Ultra 开启 AI 推理新时代
    的头像 发表于 03-20 15:35 ?850次阅读

    云原生AI服务怎么样

    云原生AI服务,是指采用云原生的原则和技术来构建、部署和管理人工智能应用及工作负载的方法和模式。那么,云原生AI服务怎么样呢?下面,
    的头像 发表于 01-23 10:47 ?528次阅读

    中国信通院栗蔚:云计算与AI加速融合,如何开启时代新纪元?

    中国信通院栗蔚:云计算与AI加速融合,如何开启时代新纪元?
    的头像 发表于 01-17 18:48 ?1074次阅读
    中国信通院栗蔚:云计算与<b class='flag-5'>AI</b>加速融合,如何<b class='flag-5'>开启</b>智<b class='flag-5'>算</b><b class='flag-5'>时代</b>新纪元?

    云原生LLMOps平台作用

    云原生LLMOps平台是一种基于云计算基础设施和开发工具,专门用于构建、部署和管理大型语言模型(LLM)全生命周期的平台。以下,是对云原生LLMOps平台作用的梳理,由AI部落小编整理。
    的头像 发表于 01-06 10:21 ?518次阅读

    什么是云原生MLOps平台

    云原生MLOps平台,是指利用云计算的基础设施和开发工具,来构建、部署和管理机器学习模型的全生命周期的平台。以下,是对云原生MLOps平台的介绍,由AI部落小编整理。
    的头像 发表于 12-12 13:13 ?595次阅读

    企业AI租赁是什么

    企业AI租赁是指企业通过互联网向专业的提供商租用所需的计算资源,以满足其AI应用的需求。
    的头像 发表于 11-14 09:30 ?2509次阅读

    大模型时代需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问题,我需要在此书中找到答案。
    发表于 08-20 09:04