模型当道 开源聚力｜2023开放原子全球开源峰会开源大模型分论坛圆满收官

6 月 13 日，2023 开放原子全球开源峰会开源大模型分论坛圆满举行。本场论坛汇聚了中国大模型领域的专家，包括工业界和学术界的主流玩家，共同探讨大模型的最新技术和应用，为业内人士提供时新的技术资讯、深入的技术解析和实用的应用指南。开放原子开源基金会 TOC、上海市人工智能行业协会、哈工大(深圳)计算机学院、清华大学、百度、阿里、华为、腾讯、深圳数据交易所、第四范式等单位嘉宾分享前沿观点。

孙文龙在致辞中表示，随着开源成为构建技术生态圈最有效的路径之一，以开源开放的形式推动大模型发展，有利于汇聚全球智慧，建设一个有生命力，能够持续迭代更新的技术生态，通过开源大模型体系各企业都可以共享数据，共担算力，共建算法。当前，基金会也正在筹建大模型工作委员会，旨在依托基金会开源公益平台，组织社会各界力量聚焦上下游伙伴，以开源开放合作方式，提供数据算力和算法的公益服务，加速大模型的行业应用落地，推动大模型开源生态的发展。

谭中意从宏观视角介绍了开源大模型的重要性。他认为大模型浓缩了全世界的知识，将彻底改变知识的产生、传播和发展。大模型需要通过开源协作的方式持续推动生态健康、持续进化。目标是打造下一代数字经济核心基础设施，其关键是合规地使用开源数据集和开源训练程序，并通过国产算力训练生成开源通用大模型。建议从开源数据集、开源的数据集合规清洗程序，以及提供模型和数据存储和分发功能的平台做起。目前基金会 TOC 已经成立开源大模型 SIG（Special Interest Group，类似工作组），基金会也开始筹建大模型工委会，欢迎各界同仁参与。

徐琦阐释了大模型的机遇和挑战。他认为大模型的分布式训练考验的是算法、数据、框架、资源调度等全栈和全流程的综合能力，呼吁国内大模型要做中国特色的开源，百花齐放、百舸争流。

聂礼强介绍了多模态大模型的发展历程、研究现状、并展示了自主研发的多模态对话系统——九天。

东昱晓介绍了从千亿模型 GLM-130B 到 ChatGLM 的开源尝试，并展示了对模型的训练情况以及在技术迭代上所做的努力。

张军介绍了产业级深度学习开源开放平台飞桨的大模型训练能力，并介绍了百度对深度学习分布式训练技术突破的开创性贡献。

林俊旸介绍了阿里大模型通义千问的模型能力，其中包括自然语言和多模态的理解和生成能力，并介绍了相关开源工作。此外，他还谈到了通义千问和魔搭社区的结合，未来基础大语言模型和外部各类开源模型的结合将会打造出更加通用的 AI 系统。

金小贤分享了 MindSpore 近几年在 AI 超大模型相关的实践。他从当前大模型的发展和面临的挑战入手，重点介绍了 MindSpore 的技术实践和在大模型中的实践。

李宝嘉介绍了腾讯自研的星脉高性能算力网络利用自研交换机构建了超大规模网络架构，实现了 90%的网络负载以及 2K 规模集群下 16%的有效算力提升。并分享了全栈运营系统如何有效减少网络原因所导致的业务训练中断问题，以保证 GPU 集群的高可靠性和高可用性。

王腾认为我国数据要素市场处于培育期，发展迅速，但数据孤岛现象仍然存在。开源生态鼓励数据共享和开放性，鼓励用户和开发者之间的合作与创新。在大模型领域，深圳数据交易所愿意成为开源大模型训练数据集供给的交通枢纽，同时借助深圳数据交易所数据交易合规师 DEXCO 社群解决开源大模型训练数据集合规处理问题。此外，他还介绍了开放群岛开源社区的发展情况及开放群岛隐私计算 FATE 框架，旨在保护数据隐私。

来自第四范式的资深系统架构师卢冕介绍大模型训练和服务背后的底层国产算力要求，还包括如 GPU 虚拟化方案、异构计算技术等等。

本场论坛充分探讨大语言模型的最新技术和应用，带领观众们领略国内各大名企大模型的实践情况并解析大模型下的国产算力调度，打造了一场干货满满的“技术盛宴”，为开源大模型的未来指出了更为明晰的方向。

审核编辑黄宇