近日,基于兆芯高性能通用处理器的PC终端、工作站以及服务器成功实现DeepSeek-R1-Distill模型(1.5B/7B/32B/70B/671B等)的本地部署,在保证推理效率的同时,能够提供灵活的算力选择,以满足不同规模和需求的推理生成应用,面向用户提供安全、智能、高效的AI应用体验。
自春节至今,国内AI大模型DeepSeek成功成为这段时间最火的“中国力量”,短短数周,中国智算产业的大半壁江山,都在拥抱DeepSeek!无论是互联网科技大厂,还是行业巨头,都纷纷接入Deepseek以实现性能更强大、成本更优异的AI功能与服务。
兆芯高性能通用处理器具备覆盖笔记本、台式机、工作站、服务器的全栈硬件解决方案能力,以及强大的软件生态,原生支持以Linux、Windows、国产操作系统、及国产GPU加速卡等为基础的DeepSeek大模型生态。
基于兆芯高性能通用处理器的PC终端、工作站以及服务器成功实现DeepSeek-R1-Distill模型(1.5B/7B/32B/70B/671B等)的本地部署,在保证推理效率的同时,能够提供灵活的算力选择,以满足不同规模和需求的推理生成应用,面向用户提供安全、智能、高效的AI应用体验。
KX-7000台式机成功本地部署DeepSeek-R1-7B模型
基于开先KX-7000桌面处理器的台式机,通过搭配国内显卡及加速卡,在本地成功部署DeepSeek-R1-7B模型,实现高性能桌面平台与先进AI模型的完美结合,充分发挥DeepSeek强大的语义理解和推理能力, 通过与WPS Word、Excel以及VSCode等常用工具的整合,可以实现智能文档处理、数据处理以及智能编程等功能,为用户带来显著的生产力提升和智能化体验。
KX-7000是兆芯新一代的高性能桌面PC处理器系列,采用全新的“世纪大道”自主内核微架构和先进的Chiplet 互连架构,集成8个CPU 核心,共享32MB 三级缓存,最高工作频率可达3.7GHz。
KH-40000/16工作站成功部署DeepSeek-R1-32B模型
基于KH-40000/16服务器处理器的工作站部署了DeepSeek-R1-7B、DeepSeek-R1-14B、DeepSeek-R1-32B模型。采用联和东海XRS302 AI工作站平台,搭配4张国内高性能GPU推理加速卡,可以提供信创+AI融合的高性价比、稳定高效的推理能力。设备通过优化的CPU与多GPU间互连架构,有效提升了整体数据传输带宽,降低延迟。
在双路KH-40000/16工作站上部署DeepSeek 32B模型,不仅能够更好发挥模型的强大能力,还能在性能、效率和稳定性上实现全面优化,为更智能的AI应用提供强有力的支持。另外,充分考虑部署需求,工作站采用了低功耗、静音设计,可以灵活便捷应用于如智能办公等企业级的桌面本地化AI推理场景。
KH-40000/32双路服务器支持本地部署DeepSeek R1 671B模型
在服务器端,开胜KH-40000/32处理器可提供双路64核的高性能计算能力,支持2TB海量内存,同时提供强大的扩展能力。目前,通过搭配国内加速卡,在KH-40000/32服务器上成功完成了DeepSeek-R1-70B版本的适配和部署,能够为数学、编程和推理等多个领域应用提供安全可靠、高性能的平台与解决方案。
同时,针对DeepSeek-R1-671B大模型,为了更有效的测试服务器的兼容性,在不插入任何外界加速卡的情况下,基于开胜KH-40000/32处理器已经完成本地DeepSeek-R1-671B大模型的部署,完整的验证了兆芯服务器CPU架构承载千亿参数模型的硬件支撑能力。
“小而美”且开源的DeepSeek不仅让全球反思“大力出奇迹”的OpenAI路线,也为国内算力芯片企业打开了通往AGI(通用人工智能)的另一扇窗。兆芯凭借已建立的完善且成熟的软硬件自主生态,支持多款国产GPU卡以及麒麟、统信、中科方德等国产操作系统,为部署DeepSeek模型提供了高性能、低成本、自主可控的解决方案。通过硬件与软件的深度优化,兆芯平台能够充分发挥DeepSeek的能力,满足多种AI应用场景的需求,同时符合国家对信息技术的战略要求。
关于兆芯
兆芯坚持自主创新、生态完善、好用不贵的发展理念,掌握自主通用处理器及其系统平台芯片研发设计的核心技术,全面覆盖其微架构与实现技术等关键领域,构建了健全的知识产权体系,致力于为用户提供高效、兼容、安全的自主通用处理器和芯片组等产品,构建从云到边再到端等各种应用场景下的计算解决方案,支撑政务、金融、教育、通信与广播电视、能源、交通、医疗、工业制造等行业应用的平滑迁移,帮助用户节约成本,支撑产业创新升级,助力加快构建“双循环”新发展格局,推动国民经济高质量发展。
-
服务器
+关注
关注
13文章
9826浏览量
88224 -
兆芯
+关注
关注
2文章
234浏览量
17975 -
大模型
+关注
关注
2文章
3191浏览量
4147 -
DeepSeek
+关注
关注
2文章
804浏览量
1829
原文标题:兆芯全系列整机形态成功部署DeepSeek R1大模型
文章出处:【微信号:gh_dff030a16604,微信公众号:兆芯】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
速看!EASY-EAI教你离线部署Deepseek R1大模型

DeepSeek开源新版R1 媲美OpenAI o3
RK3588开发板上部署DeepSeek-R1大模型的完整指南
行芯完成DeepSeek-R1大模型本地化部署
研华发布昇腾AI Box及Deepseek R1模型部署流程
研华边缘AI Box MIC-ATL3S部署Deepseek R1模型

了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择
超星未来惊蛰R1芯片适配DeepSeek-R1模型
Deepseek R1大模型离线部署教程

Gitee AI 联合沐曦首发全套 DeepSeek R1 千问蒸馏模型,全免费体验!

扣子平台支持DeepSeek R1与V3模型
云天励飞上线DeepSeek R1系列模型

评论