6月13日(星期二),AMD举行新品发布会,最重磅的新品当属于具有大模型训练功能的GPU Instinct MI300。
该芯片是针对LLM的优化版,拥有192gb的hbm3内存、5.2 tb/s的带宽和896gb/s的Infinity Fabric带宽。amd将1530亿个晶体管集成在12个5纳米芯片内。使用cdna 3 gpu结构、24个zen 4 cpu核心、128gb hbm3内存。与前作mi250、mi300相比,性能和效率分别提高了8倍和5倍。
mi300x提供的hbm与英伟达ai芯片h100的密度相比,最大2.4倍,带宽最大1.6倍。amd的芯片将可以运行比英伟达更大的模型。
amd首席执行官苏姿丰表示,mi300x支持400亿个hugging face ai模型运行,并演示llm可以写关于旧金山的诗。单一mi300x最多可运行一个参数800亿个模型,这是世界上第一次在单一gpu上执行如此大的模型。
审核编辑:郭婷
-
芯片
+关注
关注
460文章
52737浏览量
444170 -
amd
+关注
关注
25文章
5604浏览量
136825 -
cpu
+关注
关注
68文章
11116浏览量
218310
发布评论请先 登录
AMD最强AI芯片,性能强过英伟达H200,但市场仍不买账,生态是最大短板?

AMD将DeepSeek-V3模型集成至Instinct MI300X GPU
消息称AMD Instinct MI400 AI加速器将配备8个计算芯片
AMD集成DeepSeek-V3模型至Instinct MI300X GPU
AMD MI300X AI芯片面临挑战
IBM与AMD携手部署MI300X加速器,强化AI与HPC能力
IBM将在云平台部署AMD加速器

评论