0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

摩尔线程、无问芯穹合作完成国产全功能GPU千卡集群

微云疏影 ? 来源:综合整理 ? 作者:综合整理 ? 2024-05-27 14:40 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近日,摩尔线程与无问芯穹共同披露,他们成功地完成了由国产全功能GPU——摩尔线程MTT S4000所构成的千卡集群驱动的大规模AI模型“MT-infini-3B”的训练工作,并使用无问芯穹的AI Studio PaaS平台进行构建。

据介绍,此项训练历时13.2天,过程稳定而有序,集群整体运行稳定性达到了100%。相较于单机训练,千卡集群的扩展效率提升了超过90%。

此次实训被誉为“充分证明了夸娥千卡智算集群在大模型训练中的可靠性,同时开创了国产大语言模型与国产GPU千卡智算集群深度合作的新模式”。

值得注意的是,经过此次实训,MT-infini-3B模型的性能在同类模型中名列前茅。在C-Eval、MMLU、CMMLU三个测试集中,其表现均优于其他在国际主流硬件上训练的模型。

无问芯穹的联合创始人兼CEO夏立雪表示,公司正致力于开发“M种模型”和“N种芯片”间的“MxN”中间层产品,以实现多种大模型算法在多元化芯片上的高效、统一部署。

他还透露,无问芯穹已与摩尔线程建立了深度战略合作关系,而本次“MT-infini-3B”的训练成果则是业内首例基于国产GPU芯片的从零开始到全面大模型实训的成功案例。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4985

    浏览量

    132236
  • 语言模型
    +关注

    关注

    0

    文章

    565

    浏览量

    10897
  • 摩尔线程
    +关注

    关注

    2

    文章

    243

    浏览量

    5594
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    摩尔线程吴庆详解 MUSA 软件栈:以技术创新释放 KUAE 集群潜能,引领 GPU 计算新高度?

    在 2025 年世界人工智能大会(WAIC?2025)期间,摩尔线程举办的技术分享日活动现场气氛热烈,众多业内人士齐聚一堂,翘首以盼这家即将IPO上市的国产全功能
    的头像 发表于 07-28 13:47 ?4308次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>吴庆详解 MUSA 软件栈:以技术创新释放 KUAE <b class='flag-5'>集群</b>潜能,引领 <b class='flag-5'>GPU</b> 计算新高度?

    摩尔线程与AI算力平台AutoDL达成深度合作

    近日,摩尔线程与国内领先的AI算力平台AutoDL宣布达成深度合作,双方联合推出面向个人开发者的“摩尔线程专区”,首次将
    的头像 发表于 05-23 16:10 ?967次阅读

    摩尔线程与当虹科技达成深度合作

    近日,摩尔线程与当虹科技达成深度合作,基于国产GPU成功完成了与BlackEye多模态视听大模型
    的头像 发表于 03-20 15:22 ?757次阅读

    摩尔线程GPU原生FP8计算助力AI训练

    近日,摩尔线程正式开源MT-MegatronLM与MT-TransformerEngine两大AI框架。通过深度融合FP8混合训练策略和高性能算子库,这两大框架在国产全功能
    的头像 发表于 03-17 17:05 ?882次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>GPU</b>原生FP8计算助力AI训练

    摩尔线程支持阿里云通义QwQ-32B开源模型

    近日,阿里云团队正式开源全新推理模型——通义QwQ-32B。摩尔线程在该模型发布后2小时内,迅速且高效完成了对
    的头像 发表于 03-07 17:48 ?861次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>支持阿里云通义<b class='flag-5'>千</b><b class='flag-5'>问</b>QwQ-32B开源模型

    摩尔线程完成DeepSeek开源库FlashMLA和DeepGEMM适配

    MUTLASS,快速支持了FlashMLA。不仅如此,摩尔线程还基于MUTLASS在全新GPU架构上优化实现了FP8矩阵乘法,支持DeepGEMM的相应功能,充分展示了
    的头像 发表于 02-27 14:40 ?706次阅读

    实现七家国产芯片DeepSeek适配

    近日,宣布了一个重大进展:其DeepSeek-R1、V3系列模型已成功适配并优化至壁仞、海光、摩尔
    的头像 发表于 02-13 16:04 ?802次阅读

    天数智合作突破千卡集群训练优化

    近日,天数智宣布达成深度合作,并在千卡
    的头像 发表于 01-21 14:31 ?1028次阅读

    摩尔线程开源高性能线性代数模板库MUTLASS

    近日,摩尔线程宣布开源高性能线性代数模板库MUTLASS,以便开发者能够更高效针对摩尔线程全功能GPU
    的头像 发表于 11-13 11:53 ?871次阅读

    性能提升近一倍!壁仞科技携手,在千卡训练集群等领域取得技术新突破

    随着智能算力需求的倍增,到2024年,千卡算力集群已成为国内大模型训练的必备场景。壁仞科技,作为国内少数拥有原创训推一体架构的高端算力芯片厂商之一,与在AI算力市场具有重要影响力的
    发表于 11-05 18:45 ?1761次阅读
    性能提升近一倍!壁仞科技携手<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>,在<b class='flag-5'>千卡</b>训练<b class='flag-5'>集群</b>等领域取得技术新突破

    摩尔线程GPU与超图软件大模型适配:共筑国产地理空间AI新生态

    10月24日,摩尔线程公司宣布与超图软件达成重要合作里程碑。经过双方的严格测试,摩尔线程的MTT S/X系列
    的头像 发表于 10-24 11:29 ?1580次阅读

    摩尔线程与超图软件完成产品兼容认证

    10月24日,摩尔线程官方正式对外宣布,其MTT S/X系列全功能GPU已成功与超图软件最新发布的大模型系列产品完成产品兼容认证。这一消息的
    的头像 发表于 10-24 10:25 ?1127次阅读

    完成5亿元A轮融资

    近日,大模型基础设施领域的创新企业宣布成功完成5亿元人民币的A轮融资。此轮融资由社保基金中关村自主创新专项基金(君联资本担任管理人)
    的头像 发表于 09-03 15:41 ?691次阅读

    摩尔线程与羽人科技完成大语言模型训练测试

    近日,摩尔线程与羽人科技携手宣布,双方已成功实现夸娥(KUAE)千卡智算集群与羽人系列模型解决方案的训练兼容适配。在本次测试中,羽人科技通过摩尔
    的头像 发表于 08-27 16:19 ?908次阅读

    摩尔线程夸娥智算中心解决方案重磅升级

    摩尔线程重磅宣布其AI旗舰产品夸娥(KUAE)智算集群解决方案实现重大升级,从当前的千卡级别大幅扩展至万卡规模。摩尔
    的头像 发表于 08-27 16:09 ?1212次阅读