电子发烧友网报道(文/梁浩斌)最近听闻有智驾公司开始研究用事件相机作为核心传感器,以替代目前普遍使用的RGB相机。那么事件相机是什么?跟现有的传感器有哪些优势?这篇文章会简单解答到这两个核心问题。
事件相机是模仿生物视觉系统的一种新型视觉感知传感器,只对场景中的变化作出响应,工作原理和传统的CCD和CMOS图像传感器有本质的区别。传统的CCD和CMOS图像传感器是一定的帧率,获取画面中完整的图像帧,比如30fps的视频画面,相当于是每秒给当前的场景按照时间顺序拍摄30张照片,从而组成一段视频。
而事件相机是采用异步工作模式,每个像素独立监测亮度变化。当某个像素的对数亮度变化足够大,超过预设阈值时,该像素会立即生成一个“事件”并输出。
这里输出的“事件”中,包含三个关键信息:精确时间戳(微秒级精度)、像素坐标(x,y位置)、极性信息(亮度变化的方向,亮度增加“+”或减少“-”)。
这种工作方式类似于人类视网膜的神经节细胞,也就是只传递场景中的变化信息,而不是全部视觉内容。事件相机的数据输出形式是“事件流”,不是传统的图像帧,这使其在处理动态场景时具有独特优势。
所以,这种优势在自动驾驶等场景就凸显出来了。具体来说,相比传统的相机,事件相机微秒级的响应能力可以捕抓超高速运动信息,可以实现无拖影、清晰的动态轨迹。而传统相机因为受到帧率限制,每一帧的曝光时间实际上是受限的,当曝光时间过短,在拍摄高速运动物体时就很容易出现模糊。
在动态范围方面,事件相机具备对数响应特性,即传感器输出信号与光强的对数成正比,这也意味着事件相机拥有人眼般的动态范围能力,可以达到120dB-140dB,在极端光照条件下可以保持稳定工作。
另外,在功耗和数据量上,事件相机更是适应视觉AI需求。首先功耗可以低至传统相机的十分之一,在数据量上,由于不需要完整输出高帧率的图像,在传统相机输出数据量为10MB/s的情况下,事件相机可能只要不到100KB/s,静态场景下,甚至几乎不会产生数据。
对于视觉AI而言,更低的数据处理量,能够带来更高效和更快响应的计算,显然这项技术应用到自动驾驶中,可能会令算力需求大幅降低,或是能够以更低算力实现L4级别无人驾驶。
不过,目前来看事件相机的开发生态和应用、产品都还不成熟。一方面是事件相机输出的事件流数据格式特殊,需要专门设计的算法进行处理,但目前事件相机的开发工具链、软件库和算法生态仍处于早期阶段,要真正投入大规模应用还需要产业链的共同推进。
目前,事件相机厂商主要有Prophesee、iniVation、索尼、视美泰、锐思智芯、DVSense、辛米尔等,应用场景主要在工业检测、监控等领域。
事件相机作为仿生视觉的里程碑式创新,正在突破传统成像技术的物理极限。随着算法优化、硬件融合与成本下降,这一技术将从实验室走向广阔的商业化应用,为机器人、自动驾驶等领域赋予革命性的感知能力。
-
传感器
+关注
关注
2570文章
53379浏览量
771017 -
自动驾驶
+关注
关注
790文章
14418浏览量
171696
发布评论请先 登录
康谋分享 | 基于多传感器数据的自动驾驶仿真确定性验证

自动驾驶汽车是如何准确定位的?

小鹏汽车在全球AI顶会展示下一代自动驾驶模型
磁条导航核心传感器RM3101芯体详解

理想汽车推出全新自动驾驶架构
意法半导体推出面向下一代智能穿戴医疗设备的生物传感器芯片
黄仁勋宣布:丰田与英伟达携手打造下一代自动驾驶汽车
物联网中的传感器类型解析 传感器类型在自动驾驶中的应用
多传感器融合在自动驾驶中的应用趋势探究

一文聊聊自动驾驶测试技术的挑战与创新

评论