0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AMD推出MI300X,可运行多达800亿参数模型

星星科技指导员 ? 2023-06-15 10:39 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

6月13日(星期二),AMD举行新品发布会,最重磅的新品当属于具有大模型训练功能的GPU Instinct MI300。

该芯片是针对LLM的优化版,拥有192gb的hbm3内存、5.2 tb/s的带宽和896gb/s的Infinity Fabric带宽。amd将1530亿个晶体管集成在12个5纳米芯片内。使用cdna 3 gpu结构、24个zen 4 cpu核心、128gb hbm3内存。与前作mi250、mi300相比,性能和效率分别提高了8倍和5倍。

mi300x提供的hbm与英伟达ai芯片h100的密度相比,最大2.4倍,带宽最大1.6倍。amd的芯片将可以运行比英伟达更大的模型。

amd首席执行官苏姿丰表示,mi300x支持400亿个hugging face ai模型运行,并演示llm可以写关于旧金山的诗。单一mi300x最多可运行一个参数800亿个模型,这是世界上第一次在单一gpu上执行如此大的模型。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    460

    文章

    52737

    浏览量

    444170
  • amd
    amd
    +关注

    关注

    25

    文章

    5604

    浏览量

    136825
  • cpu
    cpu
    +关注

    关注

    68

    文章

    11116

    浏览量

    218310
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AMD最强AI芯片,性能强过英伟达H200,但市场仍不买账,生态是最大短板?

    。 ? 其中,全新旗舰AI芯片的型号为AMD Instinct MI325X GPU,虽然仍然是采用CDNA 3架构,但是相较于AMD Instinct MI300X GPU还是有一些
    的头像 发表于 10-14 01:32 ?4510次阅读
    <b class='flag-5'>AMD</b>最强AI芯片,性能强过英伟达H200,但市场仍不买账,生态是最大短板?

    请问InDTU IHDMP协议使用的CRC校验使用的什么参数模型

    InDTU IHDMP协议使用的CRC校验使用的什么参数模型
    发表于 08-06 07:57

    AMD将DeepSeek-V3模型集成至Instinct MI300X GPU

    AMD近日宣布了一项重要进展,成功将全新的DeepSeek-V3模型集成到其Instinct MI300X GPU上。这一举措标志着AMD在AI推理优化方面迈出了重要一步。 据了解
    的头像 发表于 02-06 09:41 ?624次阅读

    消息称AMD Instinct MI400 AI加速器将配备8个计算芯片

    近日,据外媒 videocardz 报道,参考 AMD 最新推出AMD - GFX 补丁程序,其中暗示 AMD 旗下的 Instinct MI
    的头像 发表于 02-05 15:07 ?1039次阅读

    AMD集成DeepSeek-V3模型至Instinct MI300X GPU

    AMD近日宣布了一项重要的技术进展,即将全新的DeepSeek-V3模型成功集成到其旗舰级GPU产品——Instinct MI300X上。这一举措标志着AMD在人工智能推理领域迈出了坚
    的头像 发表于 02-05 13:58 ?595次阅读

    AMD MI300X AI芯片面临挑战

    力不从心。 Semianalysis的报告详细阐述了AMD所面临的问题。报告指出,由于AMD的软件存在显著缺陷,若未经过大量的调试和优化,使用MI300X进行AI模型的训练几乎是不可能
    的头像 发表于 12-25 10:57 ?861次阅读

    IBM与AMD携手部署MI300X加速器,强化AI与HPC能力

    举措预计将于2025年上半年正式推出。 此次合作的核心目标是提升通用人工智能(AI)模型的性能与能效,并为企业客户提供高性能计算(HPC)应用的强大支持。AMD的Instinct MI300X
    的头像 发表于 11-21 11:07 ?867次阅读

    IBM将在云平台部署AMD加速器

    IBM与AMD近期宣布了一项重要合作协议,根据协议,IBM将在其云平台上部署AMD Instinct MI300X加速器。这一举措旨在提升企业客户在生成式AI模型方面的性能和能效,进一
    的头像 发表于 11-19 16:24 ?658次阅读

    IBM与AMD合作明年部署推出 MI300X加速器服务

    行业资讯
    电子发烧友网官方
    发布于 :2024年11月19日 13:36:21

    IBM与AMD携手将在IBM云上部署AMD Instinct MI300X加速器

    近日,全球领先的科技企业IBM与AMD共同宣布了一项重要合作。双方计划在IBM云上部署AMD的Instinct MI300X加速器服务,以满足企业客户对于高性能和高效能AI模型的需求。
    的头像 发表于 11-19 11:03 ?937次阅读

    AMD发布10亿参数开源AI模型OLMo

    AMD公司近日宣布了一项重大进展,推出了首个完全开放的10亿参数语言模型系列——AMD OLMo
    的头像 发表于 11-12 18:08 ?821次阅读

    苹果发布300亿参数多模态AI大模型MM1.5

    苹果近日推出了全新的多模态AI大模型MM1.5,该模型拥有高达300亿参数规模,是在前代MM1
    的头像 发表于 10-14 15:50 ?707次阅读

    AMD发布新版Instinct MI325X

    今日,芯片行业的老牌巨头AMD在AI领域交出了一份令人瞩目的答卷。   美国时间10月10日,AMD在旧金山成功举办了Advancing AI发布会。会上,AMD隆重推出了三款核
    的头像 发表于 10-12 16:54 ?1364次阅读

    AMD发布新一代AI芯片MI325X

    在旧金山举办的Advancing AI 2024大会上,AMD正式推出了其新一代AI芯片——GPU AMD Instinct MI325X。这款芯片的发布标志着
    的头像 发表于 10-11 15:55 ?1000次阅读

    三星首度引入AMD MI300X,缓解AI GPU短缺

    三星电子近日斥资约270亿韩元(约合1.42亿元人民币),购买了AMD Instinct MI300X加速器。这一举措标志着三星电子首次引入非英伟达品牌的AI GPU,以应对企业内部算
    的头像 发表于 10-10 17:15 ?934次阅读