0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮信息发布"元脑SD200"超节点,面向万亿参数大模型创新设计

全球TMT ? 来源:全球TMT ? 作者:全球TMT ? 2025-08-08 22:17 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群


北京2025年8月8日 /美通社/ -- 8月7日,浪潮信息发布面向万亿参数大模型的超节点AI服务器"元脑SD200"。该产品基于浪潮信息创新研发的多主机低延迟内存语义通信架构,以开放系统设计向上扩展支持64路本土GPU芯片。元脑SD200可实现单机内运行超万亿参数大模型,并支持多个领先大模型机内同时运行及多智能体实时协作与按需调用,目前已率先实现商用。在实际评测中,元脑SD200运行DeepSeek R1和Kimi K2等全参模型的64卡整机推理性能实现超线性扩展。

wKgZO2iWBvSAWSl0AAD6jZAs1Wk311.jpg


当前,混合专家模型(MoE)的高效架构正在驱动大模型参数规模持续扩展,国内外前沿大模型的参数量快速突破万亿规模,这给算力系统架构提出新的挑战。一方面,模型参数量增加和序列长度增加带来的键值缓存(KV cache)激增,需要智能计算系统具有超大显存空间承载,依靠单芯片或节点的性能提升已难以为继;且其推理过程作为通信敏感型计算,对分布式计算通信延时要求极高,需要构建更大向上扩展(Scale up)高速互连域。另一方面,智能体AI开启多模型协作的新范式,其推理过程需要生成比传统模型多近百倍的数据词元(token),导致计算量激增。

元脑SD200超节点AI服务器是浪潮信息面向万亿参数大模型AI时代而设计,创新研发多主机低延迟内存语义通信架构,基于开放总线交换技术构建,在单机内实现了64路GPU芯片的高速统一互连,成功解决万亿大模型对超大显存空间和超低通信延时的核心需求。在开放架构之上,元脑SD200通过智能总线管理和开放的预填充-解码(Prefill-Decoder)分离推理框架实现软硬件深度协同,智能化管理复杂AI计算任务。

- 在架构层面,元脑SD200基于自主研发的开放总线交换技术首创多主机三维网格系统架构,实现64路本土GPU芯片高速互连;通过创新远端GPU虚拟映射技术,突破多主机交换域统一编址难题,实现显存统一地址空间扩增8倍,单机可以提供最大4TB显存和64TB内存,为万亿参数、超长序列大模型提供充足键值缓存空间。同时,依托百纳秒级超低延迟链路,构建64卡大高速互连域统一原生内存语义通信,实测结果表明,在推理过程常见的小数据包通信场景中,全规约(All Reduce)性能表现优异,显著提升计算与通信效率。

- 在系统层面,根据万亿参数大模型计算、通信需求特征,浪潮信息开发智能总线管理系统,实现超节点64卡全局最优路由的自动创建,支持不同拓扑切换,资源按需切分。对于全规约、全聚集(All Gather)等典型通信算子,开展不同数据量大小的细粒度通信策略设计,如多层级通信机制等,实现通信延时进一步降低。同时依托开放的PD分离框架,支持异步KV Cache高效传输与差异化并行策略,在提升业务服务级别目标的同时保持对多元算力的兼容性,实现计算与通信架构的深度协同优化。

元脑SD200超节点AI服务器通过软硬协同系统创新,成功向上扩展突破芯片性能边界,在大模型场景中展示出优异的性能表现。结合优化的PD分离框架,SD200超节点满机运行DeepSeek R1全参模型推理性能超线性提升比为3.7倍,满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍。

wKgZPGiWBvWAcd4gAADlyNPyP2o769.jpg


当前,开源模型的飞跃式进步正在加速智能时代的到来,推动研发范式从封闭走向开放协作。同时,随着大模型参数量的持续提升,对算力基础设施的建设提出了更高要求。浪潮信息通过开放系统架构创新,为开源大模型的规模化落地和应用创新提供关键支撑。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 半导体
    +关注

    关注

    335

    文章

    29147

    浏览量

    242175
  • 大模型
    +关注

    关注

    2

    文章

    3231

    浏览量

    4227
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    万亿参数企智一体机率先支持Kimi K2大模型

    北京2025年7月21日 /美通社/ --?浪潮信息宣布企智一体机已率先完成对Kimi K2 万亿参数
    的头像 发表于 07-22 09:27 ?214次阅读
    <b class='flag-5'>万亿</b><b class='flag-5'>参数</b>!<b class='flag-5'>元</b><b class='flag-5'>脑</b>企智一体机率先支持Kimi K2大<b class='flag-5'>模型</b>

    地热发电环网柜局放监测设备:清洁能源电网的&amp;amp;quot;安全卫士&amp;amp;quot;

    文章由山东华科信息技术有限公司提供在&quot;双碳&quot;目标驱动下,地热发电作为稳定基荷电源,其电网接入设备的可靠性至关重要。环网柜作为地热电站与主网连接的关键节点,其内部绝缘
    的头像 发表于 07-16 10:15 ?176次阅读
    地热发电环网柜局放监测设备:清洁能源电网的&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;安全卫士&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;

    电缆局部放电在线监测:守护电网安全的&amp;amp;quot;黑科技&amp;amp;quot;

    文章由山东华科信息技术有限公司提供在万家灯火的背后,有一张覆盖全国的&quot;能源神经网络&quot;昼夜不息地运转。电缆作为电力输送的&quot;主动脉&
    的头像 发表于 04-14 18:12 ?394次阅读
    电缆局部放电在线监测:守护电网安全的&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;黑科技&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;

    隧道管廊变压器局放在线监测:为地下&amp;amp;quot;电力心脏&amp;amp;quot;装上智能听诊器

    文章由山东华科信息技术有限公司提供在城市的地下脉络中,隧道管廊承载着电网的&quot;主动脉&quot;,而变压器堪称其中的&quot;动力心脏&q
    的头像 发表于 04-09 16:37 ?408次阅读
    隧道管廊变压器局放在线监测:为地下&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;电力心脏&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;装上智能听诊器

    筑基&amp;quot;AI+人才&amp;quot;培养,浪潮信息携手伙伴拓尔思推出智慧教育新平台

    北京2025年3月22日?/美通社/ -- 近期,生态伙伴拓尔思信息技术股份有限公司(以下简称:拓尔思)携手浪潮信息,联合为高校AI人才培养推出"AI
    的头像 发表于 03-27 16:56 ?407次阅读
    筑基&<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;AI+人才&<b class='flag-5'>amp</b>;<b class='flag-5'>quot</b>;培养,<b class='flag-5'>浪潮信息</b>携手<b class='flag-5'>元</b><b class='flag-5'>脑</b>伙伴拓尔思推出智慧教育新平台

    浪潮信息EPAI已接入DeepSeek,大幅提升DeepSeek企业应用准确率

    北京2025年2月21日?/美通社/ -- 浪潮信息宣布企智EPAI企业大模型开发平台已全面接入支持DeepSeek大模型。通过
    的头像 发表于 02-23 07:32 ?676次阅读
    <b class='flag-5'>浪潮信息</b>:<b class='flag-5'>元</b><b class='flag-5'>脑</b>EPAI已接入DeepSeek,大幅提升DeepSeek企业应用准确率

    浪潮信息发布R1推理服务器

    近日,浪潮信息正式推出了其创新R1推理服务器。这款服务器通过系统的创新与软硬件的协同优化,实现了对DeepSeek R1 671B
    的头像 发表于 02-17 10:32 ?786次阅读

    浪潮信息与智源研究院携手共建大模型多元算力生态

    人工智能技术的快速发展。浪潮信息与智源研究院将充分整合各自在算力、算法和技术创新方面的优势资源,共同探索大模型多元算力的新应用和新模式。 目前,智源研究院的Triton算子库FlagGems已正式接入
    的头像 发表于 12-31 11:49 ?680次阅读

    浪潮信息与智源研究院达成战略合作协议

    正式接入浪潮信息企智EPAI企业大模型开发平台,助力企业实现更快速、更广泛、更高效的多元算力适配与使用。
    的头像 发表于 12-26 10:25 ?668次阅读

    浪潮信息发布&amp;quot;源&amp;quot;Yuan-EB,刷新RAG检索最高成绩

    检索任务的第一名,以78.41的平均精度刷新了大模型RAG检索的最高成绩。 "源"Yuan-EB的发布,标志着浪潮信息在知识向量化技术方面取得了重要进展。该模型基于
    的头像 发表于 12-25 15:54 ?599次阅读

    浪潮信息与17家伙伴共签亿级分销协议

    。 此次签约标志着浪潮信息与这些伙伴将在产品技术创新、市场拓展及解决方案等多个领域展开深入合作。双方将充分发挥各自优势,共同推动技术革新,加速智能化转型的步伐,为千行百业的数字化转
    的头像 发表于 12-25 15:46 ?821次阅读

    借助浪潮信息企智EPAI高效创建大模型RAG

    生成能力,提高生成质量和可靠性。但企业构建知识检索系统并非易事,通常面临开发门槛高、生成内容差等难题。而借助浪潮信息企智EPAI企业大模型开发平台,企业仅需三步即可高效创建大
    的头像 发表于 12-19 14:32 ?798次阅读
    借助<b class='flag-5'>浪潮信息</b><b class='flag-5'>元</b><b class='flag-5'>脑</b>企智EPAI高效创建大<b class='flag-5'>模型</b>RAG

    浪潮信息发布KOS AI定制版,大幅提升大模型训练效率

    浪潮信息近期推出了“服务器操作系统KOS AI定制版”,为人工智能领域带来了革命性的变化。这款定制版操作系统通过简单的两步操作,即可实现大模型训练环境的快速部署。
    的头像 发表于 10-30 17:23 ?1032次阅读

    浪潮信息发布企智一体机

    在2024中国算力大会上,浪潮信息正式发布了其创新企智一体机。这款一体机融合了
    的头像 发表于 09-30 16:50 ?2053次阅读

    浪潮信息企智EPAI助力金融大模型快速落地

    近日,2024金融科技应用创新发展大会暨农村金融机构信息化发展创新座谈会在上海举办。浪潮信息推出
    的头像 发表于 09-20 16:07 ?761次阅读
    <b class='flag-5'>浪潮信息</b>:<b class='flag-5'>元</b><b class='flag-5'>脑</b>企智EPAI助力金融大<b class='flag-5'>模型</b>快速落地