0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

全光深度储备池计算机突破大模型训练难题

微云疏影 ? 来源:综合整理 ? 作者:综合整理 ? 2024-01-23 10:01 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

当前,人工智能的飞速发展催生了大模型对海量算力的无尽渴望,使得原本基于冯诺依曼结构的计算机遇到了巨大的挑战。为此,寻找一种新的高效计算机结构来替代经典架构,成为了业内专家们长久以来的探索方向。近期,来自上海科技大学的研究团队便取得了突破性进展,他们首次研发出了全光深度储备池计算机,并在著名学术刊物《Optica》上公开发表了这一开创性的成果——名为“Deep photonic reservoir computing recurrent network”的论文。

储备池计算(Reservoir Computing)作为在2000年被提出的先进理念,是一类以较少培训成本和低硬件投入实现的可逆循环神经网络(RNN),在时序数据处理中拥有广泛的适用领域,诸如波形辨别、语音识别及时间序列预测等。尽管其使得训练成本更低且具有高效率、低延迟的优点,但却不适应那些需要深度神经网络多层次处理信息的大型模型,因为多数硬件储备池计算机只有一层厚度,无法胜任处理现实生活中纷繁复杂任务的需求。

然而,该研究团队这次创新性的成就便是通过运用级联光注入锁定的全新技术,成功组建了共4个隐藏层。这种储备池光计算机的独特之处在于,每个隐藏层都是由半导体激光芯片与光学反馈环组成,且两个层面之间的联系采用全光形式进行,无需经过光电变换或数模转换,这不仅大大降低了能源消耗,也有效缩短了延迟时间。

据悉,此款计算机工作频率高达20GHz,延迟时间仅为263ns,具备生成超过5000个神经元节点以及101TOPS强大算力的能力。此外,由于每一层都由相应的激光芯片提供能量,故而无论储备池深度如何扩展,系统中的光功率均不受影响。

为了论证这一计算机解决实际问题的能力,科研团队选取了四个隐藏层共计320个互连神经元(每层80个)来解决光纤通信领域的重要挑战——非线性信道均衡问题,这也是华为早先提出的后香农时代十大数学难题之一。试验结果显示,这款深度储备池光计算机展现出极强的光纤非线性补偿功能,有力提升了光纤信道的通信容量。

据了解,相较于市场主流的边缘计算产品,同功耗下的储备池光计算机算力至少高出1个数量级,且能将时延降低3至4个数量级。因此,未来这一新形态的储备池光计算机将被广泛应用于如智能制造、机器人、智慧医疗、智慧交通、智能家居等各类边缘计算应用场景。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4815

    浏览量

    104607
  • 大模型
    +关注

    关注

    2

    文章

    3250

    浏览量

    4247
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    DCU率先展开文心系列模型深度技术合作 FLOPs利用率(MFU)达47%

    模型深度技术适配,预训练模型FLOPs利用率(MFU)达到47%,在多个文本与多模态基准测试中取得SOTA水平。此次合作标志着国产算力基础设施与大
    的头像 发表于 07-01 14:35 ?1143次阅读

    NVIDIA驱动的现代超级计算机如何突破速度极限并推动科学发展

    现代高性能计算不仅使得更快的计算成为可能,它正驱动着 AI 系统解锁更多领域的科学突破。 高性能计算经历了多次迭代,每一次都源于对技术的创造性再利用。例如,早期的超级
    的头像 发表于 06-26 19:39 ?674次阅读
    NVIDIA驱动的现代超级<b class='flag-5'>计算机</b>如何<b class='flag-5'>突破</b>速度极限并推动科学发展

    一文带你了解工业计算机尺寸

    一项艰巨的任务。本博客将指导您了解关键的工业计算机尺寸、使用案例。关键工业计算机外形要素及其使用案例一、工业微型PC尺寸范围:宽度:100毫米-180毫米深度:10
    的头像 发表于 04-24 13:35 ?450次阅读
    一文带你了解工业<b class='flag-5'>计算机</b>尺寸

    RAKsmart智能算力架构:异构计算+低时延网络驱动企业AI训练范式升级

    在AI大模型参数量突破万亿、多模态应用爆发的今天,企业AI训练正面临算力效率与成本的双重挑战。RAKsmart推出的智能算力架构,以异构计算资源
    的头像 发表于 04-17 09:29 ?416次阅读

    软通计算机重磅发布DeepSeek大模型一体机产品

    。 在人工智能技术加速赋能千行百业的背景下,随着AI应用场景的深度拓展,模型部署复杂度高、场景适配难度大、运维成本居高不下等问题日益凸显,严重制约了技术普惠进程。此次,软通计算机发布的DeepSeek大
    的头像 发表于 03-22 10:40 ?1106次阅读
    软通<b class='flag-5'>计算机</b>重磅发布DeepSeek大<b class='flag-5'>模型</b>一体机产品

    忆联PCIe 5.0 SSD支撑大模型流程训练

    当前,大模型流程训练对数据存储系统的要求已突破传统边界。企业级SSD作为AI算力基础设施的核心组件,其高可靠性、高性能及智能化管理能力,正成为支撑大
    的头像 发表于 03-11 10:26 ?515次阅读
    忆联PCIe 5.0 SSD支撑大<b class='flag-5'>模型</b><b class='flag-5'>全</b>流程<b class='flag-5'>训练</b>

    微软OmniParser V2:大模型转化为计算机智能体

    的精度和更快的推理速度。这一显著提升得益于V2采用了更大规模的交互元素检测数据集和图标功能描述数据进行训练。通过这些训练,OmniParser V2能够更好地理解和识别计算机
    的头像 发表于 02-18 09:31 ?2438次阅读

    腾讯公布大语言模型训练新专利

    近日,腾讯科技(深圳)有限公司公布了一项名为“大语言模型训练方法、装置、计算机设备及存储介质”的新专利。该专利的公布,标志着腾讯在大语言模型训练
    的头像 发表于 02-10 09:37 ?521次阅读

    加州理工学院开发出超100GHz时钟速度的计算机

    加州理工学院的研究人员取得重大突破,开发出一款能实现超过100GHz时钟速度的计算机。 长期以来,电子计算机时钟频率在近20年停滞于5G
    的头像 发表于 01-23 10:32 ?568次阅读

    AI模型部署边缘设备的奇妙之旅:目标检测模型

    1、简介 人工智能图像识别是人工智能领域的一个重要分支,它涉及计算机视觉、深度学习、机器学习等多个领域的知识和技术。图像识别主要是处理具有一定复杂性的信息。计算机采用与人类类似的图像识别原理,即对
    发表于 12-19 14:33

    云端超级计算机使用教程

    云端超级计算机是一种基于云计算的高性能计算服务,它将大量计算资源和存储资源集中在一起,通过网络向用户提供按需的计算服务。下面,AI部落小编为
    的头像 发表于 12-17 10:19 ?632次阅读

    工业中使用哪种计算机

    在工业环境中,工控机被广泛使用。这些计算机的设计可承受极端温度、灰尘和振动等恶劣条件。它们比标准消费类计算机更耐用、更可靠。工业计算机可控制机器、监控流程并实时收集数据。其坚固的结构和专业功能
    的头像 发表于 11-29 14:07 ?797次阅读
    工业中使用哪种<b class='flag-5'>计算机</b>?

    量子计算机与普通计算机工作原理的区别

    ? 本文介绍了量子计算机与普通计算机工作原理的区别。 量子计算是一个新兴的研究领域,科学家们利用量子力学,制造出具有革命性能力的计算机。虽然现在的量子
    的头像 发表于 11-24 11:00 ?1751次阅读
    量子<b class='flag-5'>计算机</b>与普通<b class='flag-5'>计算机</b>工作原理的区别

    计算机接口位于什么之间

    计算机接口是计算机硬件和软件之间、计算机与外部设备之间以及计算机各部件之间传输数据、控制信息和状态信息的硬件设备和软件程序。它在计算机系统中
    的头像 发表于 10-14 14:02 ?1474次阅读

    简述计算机总线的分类

    计算机总线作为计算机系统中连接各个功能部件的公共通信干线,其结构和分类对于理解计算机硬件系统的工作原理至关重要。以下是对计算机总线结构和分类的详细阐述,内容将涵盖总线的基本概念、内部结
    的头像 发表于 08-26 16:23 ?5455次阅读