0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

畅享DeepSeek自由,忆联高性能CSSD为端侧大模型加速

全球TMT ? 来源:全球TMT ? 作者:全球TMT ? 2025-03-13 15:35 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

深圳2025年3月13日/美通社/ -- 当下,开源大模型DeepSeek凭借其强大的语言理解和生成能力,已成为全民追捧的AI工具。无论是文案创作还是代码编写,只需"DeepSeek一下"即可轻松解决。然而,随着用户访问量的激增,服务器无响应、等待时间长等问题也屡见不鲜。一时间,能够离线运行,且更具隐私性的DeepSeek端侧部署也成为新风向。

本地部署虽具备诸多优点,但对电脑的硬件配置却有一定的要求。大模型包含大量参数,即使是蒸馏过的小模型,模型大小也动辄几十GB甚至上百GB。电脑除了需要CPUGPU能够高效运行之外,一款高性能的SSD也必不可少。忆联AM541搭载新一代Jaguar6020主控,内置高容量SRAM及IO加速模块,顺序读取速度高达7000 MB/s,能够轻松应对DeepSeek大模型加载等高负载场景,为用户提供流畅的使用体验,让用户真正实现"DeepSeek自由"。

适配度100%,大模型首次加载丝滑流畅

在DeepSeek本地加载运行过程中,SSD是整个数据流的第一棒。当DeepSeek完成本地部署后,模型文件即保存在SSD中。当用户加载模型时,会先将大模型文件从SSD读取到系统内存中,再由内存中转传输到显存,由GPU进行推理运算。因此,SSD的性能越好,就能越快将数据传输到GPU进行计算,体现在实际应用中就是大模型的加载时间越短。

wKgZO2fSiraAOzFnAABPs3KgOBI535.jpg


加载大模型时数据流方式

为了验证忆联AM541的性能及场景适配度,我们通过Ollama模型框架在本地部署了Deepseek-R1 8B模型,采用忆联AM541 1TB SSD及国内友商1TB A产品搭配GeForce RTX 3060 Ti 显卡,在同等环境下进行了模型加载测试。

wKgZPGfSiraALYQAAAAxHQEAfWQ359.jpg


系统配置

wKgZO2fSireAYhIYAAB5Av61IkI537.jpg


大模型加载时SSD状态(见右侧图)

测试结果显示,搭载AM541的PC在加载大模型时表现出色,首次加载时间(最快)仅为2.486秒,领先国内一线SSD厂商同类产品约9%。这一成绩充分体现了AM541对DeepSeek等高负载应用100%适配,能够为用户带来更加流畅的使用体验。

wKgZPGfSireATgnaAABumCHk6Hw084.jpg


顺序读突破7GB/s,硬核性能助力用户畅享"DeepSeek自由"

更短加载时间背后,反映的是SSD更高的性能及更加灵活的场景适应性。得益于SoC内置的加速模块,AM541的标称顺序读写速度达到了7000 MB/s、5600 MB/s ,4KB随机读写速度可达800K IOPS、800K IOPS。从DeepSeek加载时的pattern解析来看,AM541性能波峰接近7GB/s,这与其标称的性能高度吻合。

AM541缘何更快?测试人员进一步对加载过程进行了trace解析,发现模型加载过程主要以大size命令的低QD顺序读为主,而AM541自带的Big SRAM策略及延迟控制机制在处理此类命令时优势明显,使得大模型加载时间大幅领先友商。

此外,经测试发现,当大模型在搭载AM541的电脑上完成首次加载后,模型文件即被DRAM缓存,因此当设备Idle后再次加载时,模型文件可以直接从DRAM传输到VRAM,加载时间比首次更快,真正将DeepSeek变为用户的"私人工具",随时畅享"DeepSeek自由"。

拥抱大模型,忆联为AI生态持续助力

随着AI本地化趋势的加速,DeepSeek一体机等终端设备也逐渐普及。在消费电子领域,已有主流 PC厂商将DeepSeek大模型嵌入AIPC中,多款手机也开始发力AI大模型。未来,个人电脑、手机等终端设备极有可能会搭载多种大模型,甚至各种行业应用也会接入大模型。面对不同参数规模的AI模型,以及不同模型频繁切换带来的高频读写过程,SSD不仅要有足够大的容量,同时对SSD的全面性能及稳定性都是一种考验。

依托硬件加速及先进的软件算法,AM541不仅在低QD Latency上具备优势,在多种混合读写中均有出色表现,可轻松应对多应用场景。

在PCMark10测试中,AM541跑分超过了3700,比友商同类产品A高出约300分,在办公、游戏、内容创作等多个场景中性能领先,其中,在常见的数字内容创作中,AM541平均比友商同类产品快10.5%。

wKgZO2fSiriAPSD4AABdenmcsEA782.jpg


AI浪潮奔涌不停,技术创新日新月异,作为底层硬件支撑,SSD在AI本地化进程中扮演着关键角色。忆联AM541凭借其硬核性能,不仅为DeepSeek大模型的本地化部署提供了高效解决方案,也为用户带来了前所未有的使用体验。未来,忆联将紧跟行业趋势,聚焦端侧大模型的技术痛点,推进技术创新与产品迭代,为AI生态的繁荣发展提供持续动能。


审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • CSSD
    +关注

    关注

    0

    文章

    9

    浏览量

    6663
  • 大模型
    +关注

    关注

    2

    文章

    3231

    浏览量

    4229
  • DeepSeek
    +关注

    关注

    2

    文章

    807

    浏览量

    1947
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    首创开源架构,天玑AI开发套件让AI模型接入得心应手

    AI巨头强强联手,势必智能体化AI体验时代按下超级加速键。 AI终端的下一步是“普适智能”,而不是“极限性能”。发科凭借天玑9400+强悍的
    发表于 04-13 19:52

    硅基觉醒已至前夜,发科携手生态加速智能体化用户体验时代到来

    ,大幅节省模型分析时间。 加速实现智能体化用户体验愿景,发科还在会上开发者带来了全新升级后的AI应用开发武器库——天玑AI开发套件2
    发表于 04-13 19:51

    DeepSeek自由高性能CSSD模型加速

    响应、等待时间长等问题也屡见不鲜。一时间,能够离线运行,且更具隐私性的DeepSeek侧部署也成为新风向。 本地部署虽具备诸多优点,但对电脑的硬件配置却有一定的要求。大模型包含大量参数,即使是蒸馏过的小
    的头像 发表于 03-13 10:18 ?422次阅读
    <b class='flag-5'>畅</b><b class='flag-5'>享</b><b class='flag-5'>DeepSeek</b><b class='flag-5'>自由</b>!<b class='flag-5'>忆</b><b class='flag-5'>联</b><b class='flag-5'>高性能</b><b class='flag-5'>CSSD</b><b class='flag-5'>为</b><b class='flag-5'>端</b><b class='flag-5'>侧</b>大<b class='flag-5'>模型</b><b class='flag-5'>加速</b>

    聆思CSK6大模型语音开发板接入DeepSeek资料汇总(包含深度求索/火山引擎/硅基流动华为昇腾满血版)

    调用DeepSeek节点,最终将大模型输出的结果进行语音合成实现播报 下载工程模板导入,配置参数后绑定开发板ID即可。 关键参数说明(以火山引擎版
    发表于 03-06 17:02

    RK3588开发板上部署DeepSeek-R1大模型的完整指南

    -R1与OK3588-C开发板的深度融合,标志着国产AI大模型从云端向边缘的延伸。这种“先进算法+定制化芯片”的协同模式,不仅解决了边缘实时性、隐私保护等关键需求,更构建起从技术研发到产业赋能的完整价值链条,
    发表于 02-27 16:45

    推出DeepSeek模型一体机

    加速人工智能大模型技术在企业级场景中的规模化落地,宁正式发布DeepSeek模型一体机解决
    的头像 发表于 02-15 14:51 ?1488次阅读

    添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略

    的 AI 处理效率,成为部署各类 AI 模型的关键依托。 凭借这些卓越的硬件性能,RK3588 开发板在保持低功耗的同时,展现出强大的运算能力,无疑是部署 DeepSeek 模型的不二
    发表于 02-14 17:42

    了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择

    DeepSeek-V3 和 DeepSeek-R1 是深度求索公司(DeepSeek)推出的两个不同定位的大模型,其核心差异主要体现在目标场景、能力侧重和技术优化方向上。以下是二者的实
    发表于 02-14 02:08

    移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速AI落地

    。 ? 目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速AI技术在各行各业的规模化应用与普及。 ? ?
    发表于 02-13 11:32 ?284次阅读
    移远通信边缘计算模组成功运行<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b>,以领先的工程能力<b class='flag-5'>加速</b><b class='flag-5'>端</b><b class='flag-5'>侧</b>AI落地

    【实测】用全志A733平板搭建一个Deepseek算力平台

    ? 随着DeepSeek 的蒸馏技术的横空出世, SoC 芯片上运行大模型成为可能。那么
    发表于 02-13 10:19

    利用全志A733平板构建DeepSeek算力平台

    随着DeepSeek 的蒸馏技术的横空出世, SoC 芯片上运行大模型成为可能。那么芯片
    的头像 发表于 02-13 10:18 ?979次阅读
    利用全志A733平板构建<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>DeepSeek</b>算力平台

    移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速AI落地

    。目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速AI技术在各行各业的规模化应用与普及。DeepSeek
    的头像 发表于 02-12 19:03 ?504次阅读
    移远通信边缘计算模组成功运行<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b>,以领先的工程能力<b class='flag-5'>加速</b><b class='flag-5'>端</b><b class='flag-5'>侧</b>AI落地

    DeepSeek模型成功部署,物通博联在 AI 赋能工业上持续探索、不断前行

    和二次开发,DeepSeek R1模型的发布迅速点燃了AI产业的革命之火。 DeepSeek R1 通过蒸馏将大模型的推理能力“压缩”至小模型
    的头像 发表于 02-12 11:15 ?834次阅读

    AI服务器全面支持DeepSeek模型

    DeepSeek凭“以小博大”火爆全球,AI大模型赛道开辟了一条低成本实现高性能训练的新路径,撬动巨大的模型推训需求。纵观算力战场,不同段
    的头像 发表于 02-10 10:34 ?1086次阅读

    智谱推出四个全新模型 携英特尔按下AI普及加速

    随着AI的发展,AI模型越来越受到广大客户及厂商的关注,业界领先的大模型公司智谱于近日推出了四个全新的
    的头像 发表于 12-02 17:13 ?655次阅读
    智谱推出四个全新<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>模型</b> 携英特尔按下AI普及<b class='flag-5'>加速</b>键