0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

算力不开放,智能难平权:万亿参数时代,谁为开源模型托底?

脑极体 ? 来源:脑极体 ? 作者:脑极体 ? 2025-08-12 00:19 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

wKgZO2iaGAeASj8UAApQPro1q3c709.jpg

2025 年8月7日,恰逢开放计算技术大会开幕,立秋的北京酷热难耐,仍然无法阻止全球ICT、智算从业者,以及不少想用好AI的企业前来参会的热情。人潮涌动的展厅,座无虚席的会场,说明各个行业都有不少落地AI的困惑与问题,迫切渴望寻找解决之法。

企业做AI,一定都遇到过这样的情况:

下载了开源大模型,想自己训练专有模型,但服务器显存不够,万亿参数模型的推理频繁中断,跑一次崩一次;

业务部门的同事对AI的响应时间极为敏感,多个模型及智能体协同作业时,等待时间一长就怨声载道,IT部门没少吃投诉;

听说超节点技术能解决算力问题,一打听,这东西也太贵了,部署之前还得解决液冷、高压供电、复杂互联系统之类的要求,只有巨头能玩,自家企业的现有IT设施无法上车。

如何在业务中用好开源大模型,是当下企业智能化最迫切的任务。而具备开放架构、成熟技术、稳定高效部署的超节点,成了希望所在。2025开放计算技术大会现场,浪潮信息展厅的元脑SD200超节点,就吸引了不少观众驻足。

wKgZPGiaGAiAclyuAACIXiU0jek120.jpg

据了解,元脑SD200超节点AI服务器是浪潮信息面向万亿参数大模型AI时代而设计,以开放设计支持64路本土GPU芯片,可单机运行超万亿参数大模型,实现多模型机内并行与智能体实时协作,采用创新多主机低延迟内存语义通信架构,64卡整机推理性能呈超线性扩展,更重要的是已实现商用部署,可高效支持企业实现多开源大模型的规模化应用。

实现AI普惠化需要开源大模型与开放超节点的协同创新。以DeepSeek、KIMI等开源大模型为基础,结合元脑SD200商用开放超节点的强大算力支撑,将产生怎样的技术倍增效应?

咱们就从这场开放计算技术大会上行业热议的话题聊起。

wKgZO2iaGAiAcBglAAIyW4V_Fjc343.jpg

先进的大模型开源了,意味着所有企业都能用好AI了?没那么简单。所谓智能平权,是指不同规模的企业、组织乃至个人,都能公平获取和运用AI能力。

开源大模型的普及,确实为各类企业提供了技术底座。但许多企业在部署开源大模型时,还会面临一个共性问题:如何找到能高效承载万亿级模型的AI基础设施,让技术潜力真正落地为业务生产力?

首先,开源大模型迈向万亿级,稳定运行的前提是放得下。KIMI-K2为代表的先进开源大模型参数量达万亿规模,特别是当迈入Agentic AI(代理式AI)阶段,企业一般不会只用一个大模型。为了充分发挥不同大模型的特色优势,多个超大规模参数的大模型同时跑起来,产生的KV Cache超过了传统多卡服务器的承载极限,实时交互时往往因内存溢出导致任务中断。如何解决这个问题?

wKgZPGiaGAiADPptAACVhK8taBw153.jpg

本次开放计算技术大会上,业内讨论了scale out(横向扩展)与scale up(纵向扩展)两条技术路线,共识是:超节点通过scale up在单机内高密度集成计算单元,构建单一统一计算域,实现超大统一显存空间,是必然选择

其次,AI应用不仅要能跑,还要跑得快。将多张加速卡连起来,但这还不够。传统架构中,跨节点链路过长会导致通信延迟飙升,尤其在推理场景中,几MB的小数据包高频交互,对延迟极为敏感。特别是当AI应用从训练阶段转向推理与后训练为主,海量token的实时处理需要极致的通信效率,所以scale up系统还需要解决高效通信的问题。

更关键的是,技术方案必须能落地。再好的超节点系统,如果不能被部署到企业现有设施中,不能响应实际业务需求,那也只是画饼而无法充饥。目前,企业普遍存在多品牌多批次芯片的混搭算力现状,而模型在异构算力平台间迁移困难的问题,正成为AI落地的主要障碍。而开放架构的超节点,可以兼容多元算力芯片,让企业原来的IT投资不浪费,掌握选择权,并通过开源软件生态,支持模型的快速迁移与AI应用的敏捷上线。

wKgZO2iaGAmAKjmuAAAAXaO79mA066.jpg

所以,能落地的开放超节点,也就和开源大模型一起,成为智能平权的两大基本要素,让企业真正实现“技术平权、智能平权”。

回应最终用户的所想所要,才是企业级市场真正需要的超节点,而以应用导向、客户需求来研发,才能构成对市场的正向引导。客观来看,市面上成熟可商用的开放超节点,并不多见。所以,元脑SD200在此次大会上让大家格外关注。

那么,打造开放超节点,究竟存在什么难点呢?

wKgZO2iaGAmARmKVAAI8eZHYOm0617.jpg

基于开放架构的超节点,为开源大模型的规模化落地和应用创新提供支撑,二者协同才能真正突破算法与算力的双重壁垒。这个理想很丰满,但把开放超节点从理念转化为成熟可商用的产品,并非易事。

首要挑战就是构建大规模、高集成度的Scale Up系统,Scale out技术比较成熟,实现起来更简单。而Scale Up的复杂度更高,以前的一些成熟技术和管理软件也不够用,需要针对性地开发。

其次,便是工程化的问题。芯片的跨距离传输会受到光模块的影响,故障率和功耗都会影响传输性能。铜缆又有连接极限,怎么在有限的空间内堆积更多的计算芯片,需要创新的架构设计和工程实践。

显然,要把开放超节点带进现实,必须得系统性创新。因此,元脑SD200率先闯过重重难关,为行业提供了有益的实践参考。具体是怎么做的?

第一步,开放架构,构建AI可用的算力底座。

基于OCM(开放算力模组)+OAM(开放加速模块)融合架构,元脑SD200实现多元算力芯片兼容,单机可集成64路本土GPU芯片,满足万亿规模大模型运行的算力需求。采用3D Mesh开放架构,实现8倍显存扩增,单机可提供4TB显存与64TB内存,支持1.2万亿参数Kimi K2模型的流畅推理。这种模块化设计支持灵活扩展,解决了传统架构在部署成本、扩展难度和长期运维上的痛点,显著降低开源大模型的落地门槛。

wKgZO2iaGAqALIbbAACLOt9y-IU764.jpg

第二步,软硬协同,实现AI好用的性能优化。

软件在超节点复杂的系统当中,发挥着非常重要的作用。元脑SD200通过智能总线管理,实现64卡全局最优路由自动创建,支持多拓扑灵活切换与资源按需分配。结合预填充-解码(Prefill-Decoder)分离推理框架,系统实现软硬件深度协同,智能化调度复杂AI计算任务。

软硬协同的创新设计,实现了性能的超线性扩展,让元脑SD200在大模型场景中展示出非常好的性能表现,比如,满机运行DeepSeek R1全参模型推理性能超线性提升比为3.7倍,满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍。说明超节点并不是堆更多卡就够了,还要有软硬协同、系统优化,才能拉开差距。

第三步,产业链整合,打造AI易用的成熟方案。

据了解,元脑SD200采用了很多开源开放的技术,作为系统级厂商,浪潮信息牵引产业链上下游开展协同创新。比如,元脑SD200原生支持PyTorch、TensorFlow等主流框架,确保本土顶级开源模型的无缝迁移与Day0快速上线。其高效风冷散热设计无需改造现有机房,成熟度与稳定性优势显著,可以灵活部署到企业已有的数据中心机房里,快速上线业务。

这种系统性创新使元脑SD200成为开放超节点的标杆产品。万亿级模型也放得下、跑得快、能落地,元脑SD200的成功闯关,把智能平权从口号变成了可触摸的现实,让业内看到了开放超节点的可行性。

wKgZPGiaGAuAPkLdAAKVzs5MxGk300.jpg

今年一月,OpenAI CEO山姆?奥特曼坦言在开源问题上“OpenAI可能站错了历史的一边”,中国的DeepSeek、通义千问等开源模型迅速崛起,特朗普政府呼吁美国AI 开发商更多开源技术……

这些2025年的AI产业新变化,可以汇总出一个清晰的趋势:通过开源开放,让AI成为全社会的生产力工具,实现智能平权,是技术演进与产业发展的必然选择。

但开源大模型爆发式增长的同时,大模型落地的算力门槛,却让不少企业只能望“智”兴叹。

这时候,浪潮信息以元脑SD200开放超节点为支点,将开放架构与开源模型深度耦合,正站在历史前进的方向上。

为什么浪潮信息会成为开放超节点的破局者?打造成熟可商用的开放超节点,要求企业具备横跨硬件架构、软件栈优化、生态协同的系统级能力。元脑SD200从芯片互连到应用调度的全栈创新,正是系统级厂商独有的技术壁垒。

更关键的是系统级厂商的产业链整合能力。

浪潮信息副总经理赵帅表示,以应用为导向,以系统为核心,聚焦系统架构的创新,在当前的成本和应用性能约束的条件下,思考怎么为用户创造更大的价值,这是最佳的突破路径。

wKgZPGiaGAyARtQQAABZC9S1GaE433.jpg

他提到,后续浪潮信息也会持续超节点架构的开放战略,通过技术共享促进产业链协同创新,加速超节点技术的产业化进程。随着产业生态的成熟和市场选择的多元化,企业将获得更优化的技术方案选择:既能够满足高性能计算需求,又能实现更合理的成本。这一开放策略将有效降低技术应用门槛,推动AI基础设施的规模化普及。

当更多企业加入超节点应用阵营,智算产业的市场蛋糕将持续做大,整个产业链也将在规模效应中共享增长价值。

不难发现,开放的生态活力,最终会反哺系统级厂商自身。通过开放架构,浪潮信息的技术壁垒与标准壁垒,有望构建起长期优势,在全球市场获得更大竞争力,打开广阔商业空间。

以开源开放牵引产业链升级,进击全球智算市场,中国智算企业正站在历史前进的方向上——这或许是开放计算技术大会和元脑SD200超节点,带给我们的终极启示。

这条智能平权之路,值得中国智算产业链全力以赴。

wKgZO2iaGAyALAK9AAHX_M32jO8196.jpg

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    88

    文章

    35747

    浏览量

    282351
  • 开源
    +关注

    关注

    3

    文章

    3779

    浏览量

    44121
  • 算力
    +关注

    关注

    2

    文章

    1231

    浏览量

    15804
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    面向万亿参数模型,“超节点”涌现

    UniPoD系列超节点产品,旨在为万亿参数模型的训练与推理提供更强劲、更智能且更绿色的
    的头像 发表于 08-03 02:37 ?5888次阅读

    科技上线赤兔推理引擎服务,创新解锁FP8大模型

    模型轻量化部署方案。用户通过远程平台预置的模型镜像与AI工具,仅需50%的GPU即可解
    的头像 发表于 07-30 21:44 ?207次阅读

    RK3576核心板高AI开发板开启智能应用新时代

    RK3576核心板高AI开发板开启智能应用新时代
    的头像 发表于 06-10 14:13 ?692次阅读
    迅<b class='flag-5'>为</b>RK3576核心板高<b class='flag-5'>算</b><b class='flag-5'>力</b>AI开发板开启<b class='flag-5'>智能</b>应用新<b class='flag-5'>时代</b>

    RAKsmart智能架构:异构计算+低时延网络驱动企业AI训练范式升级

    在AI大模型参数量突破万亿、多模态应用爆发的今天,企业AI训练正面临效率与成本的双重挑战。RAKsmart推出的
    的头像 发表于 04-17 09:29 ?387次阅读

    智能最具潜力的行业领域

    智能最具潜力的行业领域 一、金融行业 智能风控与精准服务?:大型银行通过集群(6.27万
    的头像 发表于 04-11 08:20 ?505次阅读
    <b class='flag-5'>智能</b><b class='flag-5'>算</b><b class='flag-5'>力</b>最具潜力的行业领域

    开源模型DeepSeek的开放内容详析

    代码、数据到模型的完全开源是人们渴求的方向。那么 DeepSeek 的开源究竟开放了什么?开放到了何种程度?本文作者——资深程序员+资深律师
    的头像 发表于 02-19 09:48 ?1624次阅读
    <b class='flag-5'>开源</b>大<b class='flag-5'>模型</b>DeepSeek的<b class='flag-5'>开放</b>内容详析

    AI智能时代的核心驱动力

    引言在当今数字化时代的重要性不言而喻。12月28日,央视和国务院国资委联合制作的纪录片《大国基石》第三期《引擎》中所强调的“
    的头像 发表于 01-22 12:58 ?856次阅读
    AI<b class='flag-5'>算</b><b class='flag-5'>力</b>:<b class='flag-5'>智能</b><b class='flag-5'>时代</b>的核心驱动力

    科技云报到:要更要“利”,“精装”触发大模型产业新变局?

    科技云报到:要更要“利”,“精装”触发大模型产业新变局?
    的头像 发表于 01-16 10:24 ?538次阅读

    浪潮信息与智源研究院携手共建大模型多元生态

    近日,浪潮信息与北京智源人工智能研究院正式签署战略合作协议,双方将紧密合作,共同构建大模型多元开源创新生态。 此次合作旨在提升大
    的头像 发表于 12-31 11:49 ?673次阅读

    【「大模型启示录」阅读体验】+开启智能时代的新钥匙

    垄断了显卡外,很重要的是开源精神在国外很得到认可,一群人能够为理想与兴趣而设计,而不单单为了盈利与上市,再有对知识产权的尊重,想起前期某同学剽窃开源代码的事,不禁感叹,国内还有很长
    发表于 12-24 13:10

    AI时代的重要性及现状:平衡发展与优化配置的挑战

    在AI时代扮演着至关重要的角色。如果说数据是AI大模型的“燃料”,那么则是其强大的“动
    的头像 发表于 11-04 11:45 ?1304次阅读

    【「大模型时代的基础架构」阅读体验】+ 未知领域的感受

    国庆前就收到《大模型时代的基础架构》一书,感谢电子发烧友论坛。欢度国庆之余,今天才静下心来体验此书,书不厚,200余页,彩色图例,印刷精美! 当初申请此书,主要是看到副标题“大模型
    发表于 10-08 10:40

    模型时代需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型,以及相关的稳定性和性能
    发表于 08-20 09:04

    名单公布!【书籍评测活动NO.41】大模型时代的基础架构:大模型中心建设指南

    工作日内未联系,视为放弃本次试用评测资格! 书籍介绍 大模型是近年来引人注目的热点之一。大模型蓬勃发展的基础,是针对其需求设计的及基础架构。本书针对如何为大
    发表于 08-16 18:33