把大模型装进手机，总共分几步？-电子发烧友网

年初ChatGPT爆火的时候，我去上海参加华为春季新品发布会，用一页keynote提到了大模型技术与手机硬件的结合。虽然只有短短的一两分钟，但我专门发了一条朋友圈，看好自然语言交互能力在手机上的应用。

当时我就有预感，大语言模型跟手机结合，应该会很快。

时间拉回到现在，苹果、三星，以及“华米OV”国产手机厂商，都先后宣布了落地大模型。对手机来说，有没有大模型，已经不是一道选择题了，而是一道必答题。

提起这段故事，不是想说我们预判有多准，做科技观察不是玄学算命，一切都是有规律可循的。2023即将尾声，但大模型手机的热闹方兴未艾，是时候总结性地聊一聊，手机和大模型结合的深层逻辑，目前各家的差异化打法和挑战是什么，以及未来会如何发展。

2023，手机大模型的基建元年

首先有必要解释一下，为什么我们会预判，大模型与手机的结合，是一种必然？

了解手机市场近况的读者应该知道，在辉煌了十余年之后，移动智能终端已经陷入了某种瓶颈，增长低迷、缺少亮点，厂商创新如同挤牙膏，开发者巧妇难为无米之炊，可施展的创意空间有限。与此同时，一个用户身边至少环绕着三四个移动设备，每天要为繁琐交互，付出大量的隐形劳动，甚至有人不胜其烦，开始尝试“数字戒断”。

可以说，移动数字服务的供需双方，都在期待一种新的变革技术，可以让移动智能终端生态化繁为简、重塑体验。而在今天的技术世界中，大模型是最佳选项。

大语言模型的强大理解和生成能力，各种功能用同一个模型基座和自然语言交互来获取，可以改变手机的多个基本能力，说是重新定义手机，也不为过。

让大模型跑在手机上，成了手机厂商的必争之地，开发者所需要的机会窗口，也是重新点燃用户热情的一种必然选项。

大家今年都听说了“百模大战”，但跟主要在云端训练、web调用的通用大语言模型不同，高度集成化的手机，端侧算力、OS操作系统、应用并发、UI交互等一系列软硬件，都有自身的特性，也给大模型落地带来了不少限制。

结合华米OV等头部厂商的行动方略来看，我们预判，2023将是手机大模型的基建元年。

大模型落地手机，基建工程刚刚开始，后面会有更多好戏可看。具体来说，厂商必须搞定：

1.三座基建。

2.一个入口。

3.一群人。

我们就从这三个层面，来看看目前，各家的情况都怎么样？有哪些共同挑战和差异化思路？

第一步，端侧部署，三个基建

大语言模型的参数量动辄百亿、千亿，其训练和推理过程，需要耗费大量计算资源，对于手机这样的移动智能终端来说，SoC芯片的算力是远远达不到数据中心万卡集群的规模的，怎么支撑大模型的端侧运算呢？

就算勉强带起来了，大模型占据过多的手机工作内存，抢占其他应用的资源，会不会出现卡顿或快速掉电？

本地计算不足，引入云计算又会产生很多问题，比如大模型在云上分析处理个人数据，会不会暴露我的隐私啊？

要在端侧部署，手机和大模型都要进行一番改造。

首先，模型层。

目前主要有两条路线。

一是把大模型做小，也就是在端侧引入轻量级大模型，通过量化、剪枝、蒸馏等压缩技术，调整模型结构和参数大小，以适配端侧芯片的内存和算力特点，没网也能用，以荣耀、小米为代表。

荣耀Magic6搭载的，是自研的7B端侧AI大模型（即70亿参数规模），雷军在2023年度演讲宣布“小米全面拥抱大模型”，主攻的是轻量化和本地部署，目前训练出1.3B和6B参数规模的大模型。

二是把大模型做多，提供不同参数量级的大模型，来支撑不同场景、不同任务，云端协同，以vivo、OPPO为代表。

11月vivo发布的自研AI大模型矩阵，其中包括十亿、百亿、千亿三个不同参数量级的5款大模型。其中，10亿量级模型是主要面向端侧场景打造的专业文本大模型，70亿模型是面向手机打造的端云两用模型，700亿模型是面向云端服务的主力模型。

同样采用矩阵方式的，还有OPPO的安第斯大模型（AndesGPT），包括从10 亿至千亿多种不同参数规模的模型。

我在VDC大会，实地体验了基于蓝心大模型的“vivo看见”，可以在完全没有网络的情况下，为视障群体提供物品实时识别，辨认出植物、二维码、公交卡等物体，响应很及时，手机的发热和续航也在可接受范围内，确实能解决视障群体出行在外时感知外界环境的实际需求。

这个功能让我很受触动，还特地发了条朋友圈分享。

不过，产品人员也直言，这种完全断网、本地计算的大模型应用，对手机芯片的性能要求很高，目前只能在部分旗舰机型上落地。

其次，芯片层。

大模型再小，也是“大”模型，一味压缩可能会降低模型性能和输出质量，导致识别精准度、生成内容下降。所以，大模型落地，硬件的升级，尤其是手机移动芯片，是必不可少的先决条件。

根据目前得到的信息，vivo和联发科、高通等都有联合研发合作，来加速优化手机端侧的AI推理性能，小米也透露，再跟芯片公司（高通和联发科）共同推动端侧大模型的落地。此外，今年麒麟芯片回归，与华为鸿蒙操作系统、盘古大模型可以实现深度的协同优化。

必须承认，大模型应用才刚刚开始，与移动芯片的协同调校也才迈出了第一步，未来手机要承载视频、图像类AIGC任务，绝大多数用户应该是都不愿意上传到云端的，所以本地AI计算硬件的优化调校，接下来会是手机厂商的竞争力之一。

然后，系统层。

最终，高效可用的大模型应用，一定是端云协同的，来兼顾体验与隐私。这就带来了一些问题，比如数据和业务上云，如何保障用户的隐私和数据安全？基于大模型的AI应用，是否会影响手机性能、续航等使用感？要解决这个问题，必须从底层操作系统上下功夫。

其中，华为旗舰手机通过HarmonyOS 4系统接入盘古大模型，鸿蒙系统作为底层源代码全部自己写出来的OS，加上微内核架构，将核心的操作系统服务和安全服务分离，以及安全芯片和隔离技术，从软硬件全方位的安全保障机制。

此外，OPPO的ColorOS，小米澎湃OS，vivo蓝心大模型与其手机系统OriginOS 4，也都成为自研大模型的落地土壤。

而大模型能否与操作系统深度融合，以及操作系统自身的流畅、安全、智能，决定了大模型后续表现的关键。

据vivo的一位工作人员分享，除了基座模型本身的性能质量之外，大量的工程化细节也是必不可少的。要让操作系统快速执行用户的指令，不仅需要大模型对输入的语音/文本，通过思维链进行目标拆解，而且需要大模型深入理解手机技能，对几百个技能进行智能编排，自动选择和调用相应的API，这样才能自动执行复杂任务，把复杂留给自己，把简单交给用户。

不难看出，底层模型、芯片、操作系统，是大模型端侧部署，必不可少的三座基础设施。同时也应该看到，下一阶段的手机市场，是高技术、高难度、高投入、高风险的，需要扎扎实实的“硬功夫”，竞争将变得严酷，玩家也会变得更少。

第二步：触达用户，一个入口

大模型火了一整年，大厂、媒体和创业者心心念念的超越ChatGPT、对标GPT4，到了普通读者那里，似乎还是不明就里：大模型究竟怎么改变我的生活呢？

那么，把智能手机变成“阿拉丁神灯”怎么样？

看过童话故事的读者知道，灯中乾坤大，藏着无数资源和宝藏，但不需要阿拉丁费心琢磨，他只需要说出愿望，都有“灯神”为他将一切事务安排妥当。大模型的理解、创造能力，赋能给手机语音助手，就将它们变成了一个个“灯神”。

接入大模型能力的语音助手，是手机厂商触达用户的直接路径。

目前来看，大模型到手机，就干三件事：一是利用大语言模型的自然对话能力，改变终端交互体验；二是利用大模型的理解能力，提供个性化的服务，熟悉用户的日常偏好、习惯，更懂用户；三是借助大模型的创造能力，进行摘要提取、文案生成、图像制作，提高生产力……

而上述能力，基本都是通过语音助手来一步直达的。

比如华为的智慧助手小艺，接入盘古大模型的底层能力，在智慧交互、高效生产力提升和个性化服务三个方向上获得增强。

vivo蓝心大模型与手机系统OriginOS 4结合，打造了首款全局智能辅助“蓝心小V”，可以通过自然交流，帮用户完成很多复杂任务，化繁为简。

基于OPPO安第斯大模型的新小布助手，以及升级了小米AI大模型的小爱同学，也都上线了测试版、体验版。

万物智联时代，智能终端用户会面临设备大爆炸、信息大爆炸、服务大爆炸，如果一切都需要用户自己进行查找，犹如大海捞针，这对每一个人的耐心、时间、数字信息素养等，都提出了很高的要求。而大模型与智能助手的融合，就是解药。

智能助手可以调度手机、耳机、汽车、平板、智慧屏、电脑PC、智能家居等物联网设备，是用户和AIoT之间的最短路径。

而依靠大模型的加持，智能助手的分析理解能力、知识水平、记忆水平、生成能力，都大大得到了提升，让手机厂商说了多年的“千人千机”真的可实现、可感知。

但很长一段时间以来，用户并没有觉得智能助手是不可或缺的，有的人还会觉得跟智能助手对话很尴尬、人工智障等，甚至觉得有点鸡肋。

毫不夸张地说，大模型好不好用，普通用户不一定关心，但智能助手好不好用，一句对话就能试出差距，将是接下来手机厂商的竞争焦点。

总结一下，仅有大模型还不够，智能助手才是触达用户的最短路径，也是手机厂商的必争之地。

第三步：应用繁荣，一群开发者

在手机和用户已经具备了接入大模型的前提条件之后，下一步就是如何让开发者真正走入大模型的世界。

今天，在华为、vivo、OPPO等厂商的发布会上，我看到的基于大模型的AI应用已经不少，但都偏向于示范，比如自然语言的智慧搜索、一句话生成图像、AI作曲等。这些功能对于大众用户来说，还是太过于基础了。

就拿火爆的AIGC应用来说，生成最美证件照、为宠物作画、制作漫画头像、写一段小红薯分享文案、赛博菩萨、拍图做数学题、生成智能手表壁纸……都是需求极为细分的。手机厂商不能，也不应该，将这些AI应用都全部自己干了，这就必须引入千千万万开发者，去发挥创意，去基于大模型做无数小而美的AI应用。

但是，从开发端到市场端，大模型AI应用的路看似很有诱惑力，但对于开发者来说，还是面临着技术、学习成本、市场压力等各种顾虑，需要厂商强有力的技术体系、工具平台、赋能方案以及商业势能的加持。

目前，我们能看到几种生态策略：

鸿蒙的技术之路。为全场景智慧的市场空间，以及鸿蒙分布式系统的产业容纳能力，对开发者的吸引力还是很大的。华为已经准备开启全新的HarmonyOS NEXT，全面启动鸿蒙原生应用。

vivo的开源之路。Vivo走上了一条开源共建之路，70亿蓝心大模型成为业界首个中文开源大模型，开源的好处是可以吸引群体智慧，更适合在技术探索期，进行广泛、不设边界的探索，从而催生出更多更新更好的创意应用。vivo也发布了对应的微调框架以及大模型开发套件BlueKit，为开发者提供全方位的支持。

OPPO的伙伴之路。此前OPPO公布了2023 OPPO开发者大会的内容前瞻，其中潘塔纳尔系统能力向开发者全面开放，支持一次开发、多形态多模态多入口的快速适配，并提供相应的工具资源，帮助开发者快速接入泛在服务，吸引更多合作伙伴来提供多元化的智能服务。