阿里MNN支持华为NPU，优化MNN的性能和精度问题
今天上午据软件绿色联盟消息，阿里MNN已经接入华为 HiAI生态，正式支持华为NPU。
据了解，阿里MNN为Mobile Neural Network，是阿里巴巴淘系技术部开源的端侧推理引擎，目前已覆盖淘宝、天猫、优酷和UC等20多个手机应用，每天稳定运行超过500亿次，已经接受了两届“双11”的考验。
官方表示，当App功能日益强大时，性能和精度的矛盾就逾显尖锐；官方表示利用HiAI Foundation芯片能力开放，阿里MNN快速转化和迁移已有模型，并借助异构调度和NPU加速，大幅提升应用算力和能效比，可以优化MNN的性能和精度问题。比如会加快以图搜图的搜索速度，耗电方面也会降低；此外，扫商家Logo也是运用了此功能。
责任编辑：gt
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
华为
+关注
关注
216文章
35260浏览量
256554 -
阿里
+关注
关注
6文章
455浏览量
33384
发布评论请先 登录
相关推荐
热点推荐
无法在NPU上推理OpenVINO?优化的 TinyLlama 模型怎么解决？
在 NPU 上推断 OpenVINO?优化的 TinyLlama 模型。
遇到的错误：
get_shape was called on a descriptor::Tensor with dynamic shape
发表于 07-11 06:58
芯原超低能耗NPU可为移动端大语言模型推理提供超40 TOPS算力
AI需求而设计，不仅能够为AI PC等终端设备提供强劲算力支持，而且能够应对智慧手机等移动终端对低能耗更为严苛的挑战。 芯原的超低能耗NPU IP具备高度可配置、可扩展的架构，支持混合精度
超越CPU/GPU：NPU如何让AI“轻装上阵”？
和计算速度上更具优势，尤其适合移动设备、边缘计算和嵌入式AI场景。 ? NPU有几大核心特点：其一是专用架构，针对神经网络计算优化，支持并行处理大量矩阵运算（如INT8/FP16低精度
Arm与阿里巴巴合作加速端侧多模态AI体验
Arm 控股有限公司（纳斯达克股票代码：ARM，以下简称“Arm”）近日发布与阿里巴巴淘天集团轻量级深度学习框架 MNN 的又一新合作。
MPLS网络性能优化技巧
MPLS（多协议标签交换）网络性能优化是一个复杂的过程，涉及多个方面的技术和策略。以下是一些关键的MPLS网络性能优化技巧： 一、确保网络设备支持
软硬协同优化，安谋科技新一代“周易”NPU实现DeepSeek-R1端侧高效部署
优化的架构设计，其beta版本在2024年底已面向早期用户开放评估测试，并获得了广泛认可与积极反馈。 预计今年上半年，这款备受期待的 NPU 产品将正式亮相市场，届时将为更多用户带来突破性的端侧算力体验。 DeepSeek自发布以来，凭借其出色的
发表于 02-14 10:52
?207次阅读
NPU支持的编程语言有哪些
NPU（Neural Processing Unit）是一种专门为深度学习和人工智能应用设计的处理器。NPU支持的编程语言通常与它所集成的平台或框架紧密相关。以下是一些常见的编程语言和框架，它们可以
NPU的工作原理解析
随着人工智能技术的快速发展，深度学习算法在各个领域得到了广泛应用。为了满足日益增长的计算需求，NPU应运而生。 NPU的基本概念 NPU是一种专用硬件加速器，专门为深度学习算法设计。它通过优化
如何选择合适的NPU型号
、智能家居等）来选择NPU。不同场景对NPU的性能、功耗、灵活性等要求不同。 性能需求 ： 确定您需要的计算性能，包括TOPS（每秒万亿次浮
NPU在边缘计算中的优势
和GPU相比，NPU在处理神经网络相关的计算任务时，能够提供更高的能效比和更快的处理速度。NPU通过优化数据流和计算结构，使得神经网络的前向传播和反向传播更加高效。 NPU在边缘计算中
NPU技术如何提升AI性能
随着人工智能技术的飞速发展，深度学习作为AI领域的核心驱动力，对计算能力的需求日益增长。NPU技术应运而生，为AI性能的提升提供了强大的硬件支持。 NPU技术概述
NPU与GPU的性能对比
NPU（Neural Processing Unit，神经网络处理单元）与GPU（Graphics Processing Unit，图形处理单元）在性能上各有千秋，它们各自的设计初衷和优化方向决定了
NPU在深度学习中的应用
设计的硬件加速器，它在深度学习中的应用日益广泛。 1. NPU的基本概念 NPU是一种专门针对深度学习算法优化的处理器，它与传统的CPU和GPU有所不同。NPU通常具有高度并行的处理能
NXP推出集成NPU的MCU，支持AI边缘设备！MCU实现AI功能的多种方式
旨在显著节省功耗，可在边缘端提供高达172倍的AI加速。 ? MCU 集成NPU 支持AI 功能 ? 恩智浦推出的这款i.MX RT700内部集成了恩智浦自研的eIQ Neutron NPU，这是一种
名单公布！【书籍评测活动NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架构分析
和像素统一的G80到现在重金难求的H100；AMD的Zen系列CPU和RDNA系列GPU两线作战；中国的高性能计算芯片逐步获得更多TOP500排名；华为Ascend 910 NPU芯片也成为AI时代
发表于 09-02 10:09
工商网监
评论