3500Tokens每秒/瓦！Ceva徐明：新一代NPU IP全面赋能端侧AI基础设施

(电子发烧友原创 章鹰)2025年，在快速复苏的半导体市场里，边缘人工智能市场是一个重要的分支领域。Markets and Markets报告显示，全球边缘计算市场规模将从2023年的600亿美元增长至2029年的1106亿美元，复合年增长率达到13%。
作为边缘实现人工智能的专业厂商，Ceva拥有广泛的NPU IP组合，涵盖将人工智能嵌入MCU等微型处理器所需的IP，一直扩展到能够在笔记本电脑和智能手机中实现生成式人工智能的NPU IP，和运行ADAS自动驾驶汽车的IP。

7月4日，在上海张江举办的端侧AI技术峰会上，来自Ceva中国技术支持总监徐明带来对于端侧AI市场的最新趋势分析和新品NPU IP的介绍。Ceva IP出货量达190亿，四大需求推动了端侧AI高速增长“据我们统计，全球每秒钟有60个包含Ceva IP的芯片在出货，我们历年来包含Ceva IP的芯片出货量达到190颗以上，覆盖了无人机、移动设备、AI、车载、多媒体等设备。” Ceva中国技术支持总监徐明表示。

什么驱动了边缘AI高速发展？一、实时性要求，比如ADAS和辅助驾驶要求AI部署在本地；二、隐私保护，数据私密性需求日益上升，如果数据保留在本地，将大幅度降低数据被侵犯的可能性；三、端侧推理可以减少功耗，从使用者成本考虑，一旦端侧AI平台部署完成后，使用者的成本接近为零，除了一些电费外，不需要租用云端服务器；四、更多的算法公司和软件公司推出性能优异的网络，有利于AI在端侧的部署。

国际大公司比如英伟达、谷歌、高通和ARM都看好AI在端侧增长的趋势，先后推出了新芯片和新IP，在IOT和汽车端进行部署。高通正在从定制解决方案转向可扩展的人工智能边缘平台，包括对Edge Impulse的收购和Dragonwing AI soc的开发使边缘人工智能更容易被开发人员使用。英伟达边缘人工智能平台旨在直接在机器人(17.050, 0.32, 1.91%)和边缘设备上训练、模拟和部署人工智能模型，为工业、物流和自治系统的实时决策提供支持。

端侧AI兴起的三大要素，包括AI网络的支持，尺寸更加精简；硬件能力的提升来支持AI网络的部署和落地，Ceva作为IP供应商，我们和AI芯片公司合作，一起来打造这些硬件平台；将优秀的硬件和平台协同起来，加速AI设备的落地。
在云端，GPU被广泛应用，在端侧应用中，我们认为NPU将会大展拳脚，支持百亿数量级的端侧设备。Ceva中国技术支持总监徐明分享他的观点。

端侧部署面临挑战，Ceva NPU IP带来哪些助力？

“端侧设备众多，肯定具备重大挑战。它需要我们具备端到端的解决方案。NPU要有一定的剪裁性，现在的应用算力不同，未来新需求还会冒出来，架构要具备可持续发展，需要配套成熟的软件SDK，用于参考/优化AI模型的Model zoo框架，可互补解决方案的生态系统，以及面向未来的人工智能架构。” 徐明分析说。

Ceva推出了可以剪裁的NPU IP，加上成熟的SDK，来服务于整个端侧AI的应用。徐明强调，Ceva针对性地提出了相关人工智能战略，即通过可扩展的NPU+SDK助力智能边缘，在可扩展的NPU系列方面，包括支持从数据中心到边缘设备的AI推理，以及优化超低功耗和实时性能。在全栈集成方面，硬件工具主要有NeuPro NPUs+ SensPro DSP，软件工具主要包括NeuPro-Studio SDK、图形编译器。

徐明强调，Ceva的NeuPro NPU具备重要的优势和差异化特征，即可扩展性、极致能效比和高度集成性。CEVA针对transformer网络做了原生的支持和优化，特别适合生成式AI。可以实现高吞吐量的人工智能应用，且只消耗最小的功耗——针对Llama 2 和Llama3.2的一些网络可达3500Tokens每秒/瓦的性能。

其次，在NPU架构可扩展性方面，单核算力可横跨MCU到高端SoC（10 GOPS - 400 TOPS），以支持音频、视觉、故障检测、智能手机、ADAS等应用。另外，CEVA融合了DSP与NPU，具有传感器数据前处理、AI推理、后处理的统一平台。

从应用上来讲，正是Ceva具备可以剪裁的NPU IP， 我们可以支持从低算力应用到高算力应用，比如从可穿戴的低功耗设备，到目标检测、目标识别和智能安防监控等设备。大算力应用包括ADAS、智能驾驶、生成式AI应用都可以覆盖。
据悉，Ceva的NeuPro-M和NeuPro-Nano两大产品解决方案，是适用于各种工作负载的全套NPU IP，同时统一的AI SDK易于采用，可广泛应用于预测与维护、健康及健身、物体识别、监控、ADAS和Co-Pilot等应用场景。整体上，根据10GOPS-1TOPS、1-10 TOPS、10-400 TOPS三个不同算力等级划分，Ceva针对性布局了Edge AI – 32-512 MACs、1K-4K MACs和8K-128K产品，使得NeuPro NPU系列支持任何边缘人工智能部署。

本文由电子发烧友原创，转载请注明以上来源。微信号zy1052625525。需入群交流，请添加微信elecfans999，投稿爆料采访需求，请发邮箱zhangying@huaqiu.com。