0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分析 丨AI算法愈加复杂,但是机器视觉的开发门槛在降低

芯查查 ? 来源:芯查查 ? 作者:芯查查 ? 2024-02-19 16:49 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

机器视觉系统依赖于机器学习(machine learn)和深度学习(deep learn),尤其是深度学习的重要分支“卷积神经网络”在图像识别领域的应用,使机器视觉能够从原始像素数据中直接学习特征并准确判断。此外,AI大模型近两年受到关注,也可能被引入机器视觉领域,在跨模态理解和推理等方面展现出更强能力。

AI算法的复杂程度越来越高,机器视觉系统设计面临挑战,然而,从各种开发资源来看,机器视觉系统开发不会更难,或许会更加容易。

标准模块、系统级模块(SOM)易用性提升

首先是各种标准化的机器视觉模块(如智能相机、视觉传感器、3D相机)集成了必要的成像元件、图像处理器通信接口,用户可以直接通过软件配置或二次开发实现所需功能,减少底层硬件设计和集成的工作量。

其次,系统模块(System on Module,SOM)易用性提升,可用于加速机器视觉项目开发。SOM相当于一个高度集成的小型计算机主板的核心部分,包括CPUGPURAM和一些基本电路,可以直接将SOM插入载板,进行功能扩展、连接外部设备,快速构建功能完备的嵌入式系统或产品原型。

下面介绍几款可用于机器视觉系统开发的SOM:

1. NVIDIA Jetson

NVIDIA Jetson利用AI为机器人开发、智能视频分析、机器视觉和自主机器的未来提供动力支持。NVIDIA Jetson系列模组是紧凑而高性能的计算机,辅以NVIDIA JetPack? SDK,可加速软件开发。在边缘生成式AI、NVIDIA Metropolis和Isaac平台的支持下,Jetson提供可扩展的软件、现代AI堆栈、灵活的微服务和API、生产就绪型ROS软件包以及触手可及的特定于应用程序的AI工作流。Jetson还与其他NVIDIA平台无缝集成,共享AI软件和云原生工作流。此外,它还拥有构建软件定义自主机器和突破性边缘AI解决方案所需的节能性能。每个NVIDIA Jetson都是一个完整的SOM,包括GPU、CPU、内存、电源管理和高速接口等。

wKgZomXTFh2AbGaLAABOOmIq7po97.webp

图注:NVIDIA Jetson系列(图源:NVIDIA)

2. Xilinx Kria K26 SOM

Kria K26 SOM为满足当前和未来市场对视觉AI和视频分析的需求而设计,搭载基于Zynq? UltraScale+? MPSoC架构的自适应SoC以及支持该SoC所需的所有基本组件,比如存储器和电源等。Kria K26 SOM搭配一款简单的专为最终用户设计的载卡,该卡集成了用户终端系统具体使用的连接组件和附加组件,量产部署的定制也简便易行。

wKgaomXTFh2Abx3bAACQJs5cU_U65.webp

wKgZomXTFh2AU6BSAAGUcCG40n043.webp

图注:Kria K26 SOM与NVIDIA Jetson Nano和NVIDIA Jetson TX2特性对比(图源:AMD
3. 瑞萨电子SOM解决方案

从视觉的采集、处理、分析和理解中生成数字元数据需要具有AI的高性能MPU。瑞萨电子的SOM解决方案使开发人员能够管理这些关键决策流程。系统优势:高性能双核Arm? Cortex?-A53 MPU;专用高速硬件AI推理(DRP-AI);符合SMARC 2.1标准的设计。

wKgaomXTFh6ACgEIAACNDqq1RRI16.webp

图注:瑞萨电子机器视觉SOM结构(图源:瑞萨电子)

4. 基于瑞芯微RK3588的SOM

RK3588 S15是一款专门面向AI机器视觉应用的SOM,支持安卓、Linux鸿蒙OS,体积小巧,方便用于便携式设备开发,如UAV、智能头盔、工业机器人、市政机器人等产品开发。RK3588采用8nm制程的8核心CPU,集成G61GPU、大算力NPU和8K VPU,可为机器视觉应用提供强力支撑。S15核心板已将RK3588的全部功能接口引出,丰富的接口设计也有助于快速落地相关产品。

除了瑞芯微之外,基于晶晨、全志科技、地平线、寒武纪海思处理器芯片的SOM也有不少,这些产品通常是下游合作方推出的针对机器视觉应用的定制化产品,这里不做赘述。

wKgZomXTFh-AXRI0AAFurgYPTg472.webp

图注:面向AI机器视觉应用的核心板SOM RK3588 S15(图源:ScenSmart)
单板计算机、开源软件库普及
单板计算机(Single Board Computer,SBC)与开源软件库结合,也可以加速机器视觉系统的开发进程。

单板计算机提供高性价比硬件解决方案,集成了处理器、内存、输入输出接口以及必要的多媒体处理能力,能直接运行复杂图像处理和深度学习算法。快速使用SBC搭建原型系统进行实验和验证,降低机器视觉项目的启动门槛。SBC另一个优势是,庞大的用户社区和技术支持,共享硬件驱动程序、操作系统镜像、应用程序实例及教程,为机器视觉应用的开发提供了便利。

常见的SBC品牌比如飞腾派、树莓派ArduinoBeagleBone赛昉科技的昉·星光系列RISC-V架构单板计算机、Firefly(萤火虫)等。

wKgaomXTFh-AeVtiAACQPqnOnUQ94.webp

图注:飞腾派与树莓派的特性(图源:中电港公众号)

此外,诸如OpenCV、TensorFlow、PyTorch等开源机器视觉和深度学习框架的出现,使得开发者无需从零开始构建复杂的图像处理算法,这些工具包提供了丰富的预训练模型、API函数以及易于使用的编程接口,极大简化视觉应用的开发流程。

将单板计算机与开源软件库结合,开发者可以在一个相对较低的成本下,迅速构建和迭代机器视觉解决方案,实现从原型验证到产品化部署的快速转换。以飞腾派和OpenCV开发机器视觉为例,飞腾派本身采用飞腾自主研发的高能效异构多核处理器技术,具有模块化、易上手、全开源、低成本的特点,可通过OpenCV在飞腾派板子的移植编译与交叉编译,快速启动机器视觉的开发。关于飞腾派机器视觉的开发代码、开发流程等,可以在芯查查社区查询。

云服务提升开发效率
云计算服务提供商也推出了包含机器视觉功能的服务,允许用户通过API调用进行图像识别和分析,无需在本地部署复杂的基础设施。云服务的基本作用是数据存储与管理、计算资源扩展、模型训练平台、服务化部署等。主要的云服务包括:阿里云视觉智能开放平台,提供图像识别、物体检测、内容审核等多种机器视觉API服务。腾讯云计算机视觉服务提供多种视觉分析服务,包括图像识别、人脸识别、文字识别、内容审核等。百度大脑视觉技术提供了基于百度大脑的计算机视觉技术,如通用物体及场景识别、图像搜索、人体分析等服务。华为云视觉智能服务推出多个视觉相关的云服务,例如图像识别、视频分析、OCR等,适用于工业质检、安防监控等多个领域。

小结
随着系统模组SOM、单板计算机SBC的发展,以及各类开源软件库的广泛应用,机器视觉系统的开发难度得到了显著降低,更多的开发者和企业能够在有限的技术资源下快速进入这一领域,推动了机器视觉技术在各行各业的普及和创新应用。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5348

    浏览量

    106848
  • 算法
    +关注

    关注

    23

    文章

    4720

    浏览量

    95934
  • 机器视觉
    +关注

    关注

    163

    文章

    4620

    浏览量

    123348
  • AI
    AI
    +关注

    关注

    88

    文章

    35758

    浏览量

    282457
  • SOM
    SOM
    +关注

    关注

    0

    文章

    67

    浏览量

    16200
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    米尔RK3576核心板,让360环视技术开发更简单

    。? 内置AI识别模块,无需额外外挂RK3576内置高性能AI推理引擎,可直接运行RKNN官方提供的视觉算法模型,实现实时的目标检测、障碍识别、人脸检测等功能。 这种内置的
    发表于 08-06 18:13

    信捷视觉平台全新升级

    机器视觉的精准遇上AI的智能,会碰撞出怎样的火花?信捷视觉平台全新升级——XINJE VISION STUDIO 3.7 + Vision AI
    的头像 发表于 07-28 15:56 ?277次阅读
    信捷<b class='flag-5'>视觉</b>平台全新升级

    任正非说 AI已经确定是第四次工业革命 那么如何从容地加入进来呢?

    芯片、更高效的深度学习算法等。通过与参会的专家学者和企业代表交流,可以拓宽视野,寻找合作机会。 加入AI行业协会或者专业社群。在这些组织中,可以分享自己的见解和经验,也能从他人那里获取有价值的信息。例如,
    发表于 07-08 17:44

    【嘉楠堪智K230开发板试用体验】K230机器视觉相关功能体验

    K230开发板摄像头及AI功能测评 摄像头作为机器视觉应用的基础,能够给机器学习模型提供输入,提供输入的质量直接影响
    发表于 07-08 17:25

    【「# ROS 2智能机器开发实践」阅读体验】视觉实现的基础算法的应用

    : 一、机器视觉:从理论到实践 第7章详细介绍了ROS2机器视觉领域的应用,涵盖了相机标定、OpenCV集成、
    发表于 05-03 19:41

    【米尔MYC-YM90X安路飞龙DR1开发板】安路科技 SALDRAGON开发板介绍

    与可编程性 FPGA的可重构特性使其能够快速适配不同算法或协议。例如,机器视觉中,用户可通过动态重配置实现不同图像处理流程,而无需更换硬件。 实时性保障 FPGA的并行计算能力可实现
    发表于 04-28 17:57

    大象机器人携手进迭时空推出 RISC-V 全栈开源六轴机械臂产品

    集成于同一硬件平台。内置RISC-V AI核,接入ONNXRuntime加速框架,可快速部署Transformer、CNN等主流算法,实现视觉跟踪、语音交互与自主决策的一体化应用。 低门槛
    发表于 04-25 17:59

    基于RV1126开发板的AI算法开发流程

    AI算法开发流程由需求分析到准备数据,然后到选取模型,训练模型,接着模型转换后进行模型部署
    的头像 发表于 04-18 14:03 ?1641次阅读
    基于RV1126<b class='flag-5'>开发</b>板的<b class='flag-5'>AI</b><b class='flag-5'>算法</b><b class='flag-5'>开发</b>流程

    基于RV1126开发板的AI算法开发流程

    AI算法开发流程由需求分析到准备数据,然后到选取模型,训练模型,接着模型转换后进行模型部署
    的头像 发表于 04-18 10:47 ?366次阅读
    基于RV1126<b class='flag-5'>开发</b>板的<b class='flag-5'>AI</b><b class='flag-5'>算法</b><b class='flag-5'>开发</b>流程

    FPGA+AI王炸组合如何重塑未来世界:看看DeepSeek东方神秘力量如何预测......

    。? AI加速器的开发:FPGA被广泛用于开发专为AI算法优化的加速器,例如深度学习推理加速器。这种定制化的硬件设计能够显著提升
    发表于 03-03 11:21

    Fibocom AI Stack满足各种机器视觉应用需求

    拼接等高效的视觉处理算法离不开海量高质量的数据。然而,实际应用中,视觉需求碎片化、AI芯片平台多样化、平台适配&
    的头像 发表于 02-20 10:18 ?601次阅读

    AI开发平台如何赋能开发

    当下,AI开发平台通过提供丰富的工具集、优化的开发环境以及高效的部署能力,极大地降低AI应用的开发
    的头像 发表于 01-17 14:47 ?467次阅读

    使用全新NVIDIA AI Blueprint开发视觉AI智能体

    为提高生产力、优化流程和创造更加安全的空间,埃森哲、戴尔科技和联想等公司正在使用全新 NVIDIA AI Blueprint 开发视觉 AI 智能体。
    的头像 发表于 11-06 13:58 ?1151次阅读

    AI学堂首播一节课详解AI检测系统开发全流程

    还是IT工程师,只要对AI视觉检测感兴趣,皆可报名。(点击「预约」按钮,立即预约)课程介绍课程将带您快速掌握AI检测系统开发全流程,涵盖需求分析
    的头像 发表于 11-06 08:03 ?626次阅读
    <b class='flag-5'>AI</b>学堂首播<b class='flag-5'>丨</b>一节课详解<b class='flag-5'>AI</b>检测系统<b class='flag-5'>开发</b>全流程

    阿丘科技上榜CMVU“机器视觉创新产品TOP10”

    场景打造的基于深度学习的专业级工业AI视觉算法平台软件,内置8大AI功能,用于解决复杂缺陷的定位、检测、分类及字符识别等问题,具有检测精度高
    的头像 发表于 11-02 08:06 ?903次阅读
    阿丘科技上榜CMVU“<b class='flag-5'>机器</b><b class='flag-5'>视觉</b>创新产品TOP10”