0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

讯飞星辰MaaS平台实现高性能DeepSeek V3上线

讯飞开放平台 ? 来源:讯飞开放平台 ? 2025-06-04 10:15 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

以DeepSeek模型为代表的MoE技术路线,正不断突破通用大模型的效果上限。其创新的PD优化与大EP推理方案,推动大模型迈向“高性能、低成本、强普惠”的新阶段。

事实上,早在1991年,两位人工智能界的泰斗Michael Jordan与Geoffrey Hinton在论文《Adaptive Mixture of Local Experts》中,就首次提出了MoE框架。随着大模型应用场景愈加复杂和垂直,大模型参数增大的同时,消耗的算力资源和时间成本也随之增加。凭借“稀疏激活、低资源消耗、高模型容量”的优势,MoE逐渐成为大模型开发者的新宠。

DeepSeek模型的成功实践,为MaaS平台厂商指明了方向,也带来了挑战:如何在提供高性能大模型推理服务的同时,实现对成本的极致控制?四月份,科大讯飞技术团队通过深度解析DeepSeek-V3 / R1 推理系统成本,发现除了极致的推理性能及吞吐优化外,大模型成本与算力资源有效利用率、首响用户体验等体系化的综合策略紧密关联。

基于以上洞察,讯飞星辰MaaS平台成功复现了生产级PD(生产部署优化)+大EP(大规模跨节点专家并行),实现了高性能的DeepSeek V3上线:

万路并发保障:大规模并发场景下,系统稳定、延迟低,用户体验更流畅;

请求级指标提升 :TTFT(首Token延迟)性能提升30%,TPOT(单Token生成时间)性能提升35%,显著减少延迟,降低用户「等候感」;

弹性混合云架构:支持多源异构算力调度,灵活应对流量波峰波谷。

高性能DeepSeek V3上线:

万路并发无压力,批量处理享半价

讯飞星辰 MaaS 平台始终致力于打造高效、稳定、低成本的大模型推理服务。目前平台上提供星火全系列,以及DeepSeek、Qwen3等共50+个行业主流模型。在对DeepSeek V3推理系统成本进行深度分析基础上,实现了DeepSeek V3推理性能的阶跃:

关键指标对齐官网,万路并发流畅响应

实现生产级PD+大EP复现,极致压榨硬件性能,TTFT、TPOT等关键指标对齐DeepSeek官网,其中TTFT性能提升30%,TPOT性能提升35%。大规模生产集群吞吐再翻倍,即使在万级并发压力下,依然能保持低延迟与流畅响应。

Batch API升级,高效低价数据处理

重点升级了支持DeepSeek V3的Batch API,为需要处理大规模数据且非实时场景的任务,如:企业级数据分析、内容生产、客户反馈处理等,提供高性价比推理服务且无并发限制,可实现价格比传统调用降低50%,并在24小时内完成任务处理。

弹性混合云架构,流量洪峰更有保障

星辰MaaS平台自研了弹性多源异构混合云架构,以自建算力为中心扩展接入多个混合算力,提供稳定可靠的算力保障用户的流量洪峰,确保服务的稳定性。 针对有大量调用需求的开发者和企业,讯飞星辰MaaS平台提供了专人对接的定制化方案。

模型工具升级:

精调方案随心用,500+开源模型自主托管

为进一步降低模型定制门槛,助力开发者快速创新,在提供高性能开源模型的同时,近期,讯飞星辰MaaS平台实现了多项功能上新:精调方案共享:开放数据分类、表格问答、剧本生成等多个精调方案,零门槛上手,开箱即用,可快速落地在真实业务场景中。

星辰MaaS平台提供了多种精调方案

以营销创作脚本为例,用户只需输入推广场景、产品卖点、脚本风格、面向人群等资料,即可实现从「创意构思」到「爆款脚本」的全链路智能化生产。

Qwen3全系上线:继率先支持Qwen3旗舰模型Qwen3-235B-A22B和Qwen3-30B-A3B推理之后,目前Qwen3全系模型均已在星辰MaaS平台上线,支持推理/训练,为开发者提供了更为多元的模型选择空间。

开放自主托管渠道:支持开发者自主托管开源模型,包括HuggingFace提供的开源模型(500+)及平台预置模型,均可一键部署,即用即销,进一步降低了开发成本,使开发者和企业得以专注于业务逻辑创新,推动AI创新应用落地。

开发者可在“模型选择”中搜索HuggingFace提供的开源模型平台预置模型

秉承开放开源理念,下一步,星辰MaaS平台将开源面向大规模生产级的支持PD调度的集群镜像方案,实现拓扑感知调度,兼容SGlang、自研等多种推理框架、自带多源异构弹性混合云调度,支持训推一体潮汐调度,进一步降低多模型、多算力、高并发的大模型集群部署复杂度。

关于讯飞星辰MaaS平台:

低门槛一站式大模型精调训练平台,助力企业高效构建专属大模型。

开箱即用,上手快:覆盖数据工程、精调训练、推理服务等全生命周期工具链,提供开箱即用、即用即销的平台服务能力。

模型丰富,应用快:支持星火全系列并兼容DeepSeek、Qwen3等,共50+行业主流大模型版本的微调与服务,微调到应用的工期从几天降低到小时级。

成熟训推框架,高可用:构建开箱即用的训推工具与框架,支持lora、full sft等多种训练方式,定制模型按需托管,服务可用性99.95%。

算力利用率高,成本低:实现基于弹性混合云训推算力的潮汐调度,支持即用即销的大模型自主托管推理模式,持续提升算力资源利用率,实现大模型推理成本持续降低。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 科大讯飞
    +关注

    关注

    19

    文章

    842

    浏览量

    62555
  • 大模型
    +关注

    关注

    2

    文章

    3191

    浏览量

    4146
  • DeepSeek
    +关注

    关注

    2

    文章

    804

    浏览量

    1823

原文标题:高性能DeepSeek V3上线,更快、更稳定

文章出处:【微信号:讯飞开放平台,微信公众号:讯飞开放平台】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    星辰Agent开发平台发布

    随着以星火X1和DeepSeek-R1为代表的深度推理模型实现阶跃式突破,模型自主规划使用工具能力得到极大提升。在复杂任务拆解、多工具协同领域,AI Agent正展现出类人的认知决
    的头像 发表于 05-06 09:34 ?478次阅读

    科大深度解析DeepSeek-V3/R1推理系统成本

    本篇分析来自科大技术团队,深度解析了DeepSeek-V3 / R1 推理系统成本,旨在助力开发者实现高性价比的MoE集群部署方案。感谢
    的头像 发表于 04-15 13:46 ?2744次阅读
    科大<b class='flag-5'>讯</b><b class='flag-5'>飞</b>深度解析<b class='flag-5'>DeepSeek-V3</b>/R1推理系统成本

    DeepSeek全新API上线星辰MaaS平台

    近日,DeepSeek最新推出DeepSeek-V3-0324版本,在以下方面实现明显提升。
    的头像 发表于 03-28 17:29 ?759次阅读

    星火原生应用接入DeepSeek

    DeepSeek全系模型已正式上线开放平台,支持一键独享部署,首发精调服务,为开发者打造API高效稳定服务。
    的头像 发表于 02-25 14:14 ?1076次阅读

    商汤大装置DeepSeek企业版上线

    今年2月,商汤大装置万象平台正式上线DeepSeek-R1、DeepSeek-V3等模型,并为免费版提供3个月内千万Token额度,受到客
    的头像 发表于 02-25 10:07 ?586次阅读

    DeepSeek V3昇思MindSpore版本上线开源社区

    近日,基于昇腾AI硬件与昇思MindSpore AI框架版本的DeepSeek-V3完成开发支持并上线昇思开源社区,面向开发者提供开箱即用的预训练和推理能力,并已成功在大规模集群上预训练和部署。
    的头像 发表于 02-18 10:12 ?1287次阅读
    <b class='flag-5'>DeepSeek</b> <b class='flag-5'>V3</b>昇思MindSpore版本<b class='flag-5'>上线</b>开源社区

    了解DeepSeek-V3DeepSeek-R1两个大模型的不同定位和应用选择

    功能对比: 1. 核心定位差异 维度 DeepSeek-V3 DeepSeek-R1 目标场景 通用型任务(文本生成、多轮对话等) 复杂推理与数学能力优先(如STEM领域) 优化方向 平衡性能与成本,覆盖广泛
    发表于 02-14 02:08

    DeepSeek V3/R1满血版登陆华为云

    为云平台上已经完成了全面的优化和准备工作,正式满足了业务商用部署的需求。 据悉,DeepSeek是华为在人工智能领域的一项重要成果,其V3/R1版本更是凭借其强大的性能和广泛的应用场景
    的头像 发表于 02-13 11:19 ?904次阅读

    开放平台支持DeepSeek

    今天,DeepSeek全系大模型正式上线开放平台(包括DeepSeek-V3
    的头像 发表于 02-11 09:27 ?1452次阅读

    开放平台上线DeepSeek大模型

    作为首批“人工智能国家队”,开放平台致力于为全球开发者提供领先的人工智能技术与解决方案,依托研究院源头技术创新和能力星云计划的行业共
    的头像 发表于 02-10 14:20 ?947次阅读

    扣子平台支持DeepSeek R1与V3模型

    用户快速实现基于大模型的各类Bot的搭建,并将其轻松发布至社交平台、通讯软件、网站等多个渠道。此次新增对DeepSeek R1和V3模型的支持,无疑为扣子
    的头像 发表于 02-08 13:42 ?1177次阅读

    DeepSeek-R1全尺寸版本上线Gitee AI

    DeepSeek 全套蒸馏模型以及 V3 版本上线后,经过 Gitee AI 和沐曦团队两天紧锣密鼓的适配和机器筹备,DeepSeek-R1全尺寸版本现在已
    的头像 发表于 02-07 15:25 ?1393次阅读

    云天励飞上线DeepSeek R1系列模型

    -R1-Distill-Llama-70B大模型、DeepSeek V3/R1 671B MoE大模型也在有序适配中。适配完成后,DeepEdge10芯片平台将在端、边、云全面支持DeepSe
    的头像 发表于 02-06 10:39 ?715次阅读
    云天励飞<b class='flag-5'>上线</b><b class='flag-5'>DeepSeek</b> R1系列模型

    采用FP8混合精度,DeepSeek V3训练成本仅557.6万美元!

    的模型需要花费约4684.8万美元。然而,随着技术的进步,这一成本正在迅速降低。DeepSeek V3的出现,标志着训练成本的大幅下降,其训练成本仅为557.6万美元,相较于之前的模型,成本下降了11倍。 二,DeepSeek
    的头像 发表于 01-13 11:12 ?1326次阅读

    星火大模型V4.0正式发布

    日前,星火V4.0正式发布,升级成为更懂你的AI助手!星火4.0 API同步上线,Ult
    的头像 发表于 10-14 10:06 ?1364次阅读