0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

手机拍照为啥需要图像算法?

Dbwd_Imgtec ? 来源:紫光展锐UNISOC ? 2023-06-16 10:09 ? 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

人类进入智能手机时代后,摄影方式也发生了巨大变化:用来拍照的不再只是镜头和传感器了,背后还加载着一系列的图像算法,它可以用更快的速度处理图像,并获得更好的拍摄效果。

好作品只能依赖专业摄影师的时代过去了,图像算法引入到手机拍照应用后,让人人拍出好照片成为可能。

这事得从人类对色彩的感知能力说起…

人类对色彩的感知能力是漫长进化过程中产生的一项重要能力,它使得我们眼中的世界五彩斑斓。颜色是怎么呈现出来的呢?它是光线通过眼睛成像到视网膜上,由视网膜上的视细胞感知光信号的强弱,视觉神经对信号的传播,再由大脑处理所产生的视觉感受。颜色的产生极其复杂,人类所获得的色彩感受不但取决于光的物理特性,还受心理等因素影响。

首先,我们先来了解一下颜色的物理特性。肉眼所见到的光线(一般波长范围是380-780nm,见图1),是电磁波谱中人眼可以感知到的部分,不同波长的可见光表现为不同的颜色,对色彩的辨别是肉眼受到可见的电磁波辐射能刺激后引发的视觉神经感觉。

46fd9e32-0bea-11ee-962d-dac502259ad0.png

图1:可见光波长及其对应的颜色

人眼中对光敏感的细胞分为两类:视杆细胞和视锥细胞。其中,视杆细胞对弱光线最敏感,光谱响应范围覆盖整个可见光区域,在500nm附近达到相应的峰值,但无法区分不同的波段的光线,因此无法产生色觉。在非常低的光照水平下,这样的视觉叫做暗视觉,暗视觉仅视杆细胞在工作。所以在黑暗的夜晚,人们能看到物体,却分辨不出物体的颜色。

在高光照水平下,主要工作的是视锥细胞,有色觉,这样的视觉叫明视觉。视锥细胞分为三类:感红细胞(L) 、感绿细胞(M)和感蓝细胞(S)。对同一波长的光线,不同的视锥细胞有不同的响应能力(见图2),因此视锥细胞具有颜色的辨别能力。

47251e94-0bea-11ee-962d-dac502259ad0.png

图2:三种视锥细胞对光的响应能力

光源发射某一光谱分布的电磁波,经过物体的反射或者透射进入人眼,再通过视锥细胞对光线的探测,这整个过程涵盖了颜色的物理属性。颜色同时受到人们的心理、现实经验等因素的影响,某个场景的光在视细胞产生的信号并不等于人们对这个场景的感受。例如,一张白纸不管在红色还是绿色灯光下,人眼看起来都会觉得这是一张白纸,这来源于大脑的经验处理,这种现象叫做颜色恒常性。

可以说,你看到的景色都是经过大脑处理加工过的,眼见并不一定为实哦~

图像算法最大的用途是可以修复照片,使拍摄到的照片获得真实的色彩效果,或者满足用户的某些色彩偏好。

自动白平衡

在展锐的ISP(Image Signal Processing)系统里,主要有自动白平衡(AWB)和颜色校正(CCM)模块来处理色彩。

先看自动白平衡,ISP系统需要根据图像的统计信息,计算出图像R、B channel的增益,以实现自动白平衡功能,以求在各种复杂场景下均能准确还原物体本来的颜色。因为人类视觉系统具有颜色恒常性的特点,对事物的观察可以不受光源的影响,但图像传感器不具有这个特点,因此在不同光线下拍摄的图像,会呈现出不同的颜色。比如,在晴朗的天空下拍摄的图像可能偏蓝,而在烛光下拍摄的物体可能偏红。

自动白平衡功能,就是模拟了人类视觉系统的颜色恒常性特点,来消除光源对图像成像的不良影响。

475c20f6-0bea-11ee-962d-dac502259ad0.png ?图3 :左边是自动白平衡功能关闭,右边是自动白平衡开启

展锐的自动白平衡算法具有以下特点:

效果稳定性好:所谓效果稳定性,指的是拍照场景发生细微改变时,图像色彩效果不会出现明显跳变。

准确度高:展锐的算法在处理绝大部分场景时,都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。

适用范围广、灵活性好:展锐的算法既可以运行在入门级相机设备上(如30万像素的手表项目)上,也可以运行在中高端相机设备上(如3200万像素以上的手机项目),还可以应用到车载记录等物联网领域中。而且,不同产品,展锐的自动白平衡算法可以实现灵活配置,实现算法效果、算法复杂度、内存消耗等多样化的分级需求。

颜色校正

相机实际是在模拟人眼的彩色成像来拍图,由于相机传感器的RGB三通道的光谱响应与人眼中视细胞的光谱响应(见图2)不同,导致其拍摄的图片与人眼看到的有差别,因此需要进行颜色校正(Color Correction Matrix,CCM)。

颜色校正矩阵一般通过标定得到,利用图像传感器拍摄得到的图像与标准图像相比较,计算得到校正矩阵(即CCM矩阵)。利用CCM矩阵对图像的各像素点的进行验收校正,以获得最接近于物体真实颜色的图像。

一般情况下,在颜色校正过程中,都会伴随有颜色饱和度的调整。颜色饱和度是指色彩的纯度,其色彩的纯度越高,图像表现越鲜明;纯度越低,表现就越黯淡。

47ddcfde-0bea-11ee-962d-dac502259ad0.png

图4 :左边是CCM关闭,右边是CCM开启

483cb4d6-0bea-11ee-962d-dac502259ad0.png

图5:展锐CCM模块的色彩还原效果评测

(图中18个小圆点和小方点越接近,则表示色彩还原性越好)

随着机器学习等高新技术的发展,以及用户对手机拍照功能的需求日益苛刻,色彩还原技术也会面临一些新的机遇和挑战,例如如何利用AI技术提升色彩还原效果,如何在多摄像头手机上实现更加一致的色彩还原。这些附加技术将给用户带来更好的手机拍照体验,进而持续提升公司产品的竞争力。




审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2567

    文章

    53282

    浏览量

    770114
  • 智能手机
    +关注

    关注

    66

    文章

    18636

    浏览量

    184485
  • ai技术
    +关注

    关注

    1

    文章

    1308

    浏览量

    25268
  • 图像算法
    +关注

    关注

    0

    文章

    11

    浏览量

    884

原文标题:手机拍照为啥需要图像算法?? 硬核知识又增多了:)

文章出处:【微信号:Imgtec,微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    参考cycx3_uvc_ov5640例程,想进行按键触发拍照,使用方法一,请问怎么实现的?

    #else 0x00, /* 不支持静态图像捕获 */ #endif 以前你给我的参考例程 都是方法2,现在需要方法1.谢谢!
    发表于 05-21 07:24

    DVP摄像头拍照上传功能开发教程:基于开源代码的实践指南!

    本教程通过开源示例代码,系统讲解DVP摄像头拍照图像编码(如MJPEG)、HTTP上传的技术实现。无论你是想搭建智能摄像头原型,还是优化现有图像传输系统,都能从中获得宝贵经验。 多媒体场景的工业
    的头像 发表于 04-17 13:14 ?310次阅读
    DVP摄像头<b class='flag-5'>拍照</b>上传功能开发教程:基于开源代码的实践指南!

    安森美再谈图像传感器的选择标准

    要成功设计和开发需要图像传感器的设备,了解选择标准的复杂性和细微差别至关重要。设计人员需要从众多参数中进行选择,例如分辨率、像素大小、像素类型、帧率、快门类型、光学格式、功能特性等。选择标准分为三
    的头像 发表于 03-12 11:37 ?657次阅读

    处理合成孔径雷达图像的极坐标算法基础

    电子发烧友网站提供《处理合成孔径雷达图像的极坐标算法基础.pdf》资料免费下载
    发表于 03-06 17:59 ?0次下载

    DLP4710EVM-LC光机正常投影但相机没有拍照,怎么解决?

    购买的DLP4710EVM-LC,在使用光机触发相机拍照,触发线已经连接好,用光机的GUI软件控制投影,可是相机没有捕捉拍照。GUI给了信号没有反应 ,光机正常投影,但相机没有拍照。目前没有配置示波器。请问这个情况怎么解决?
    发表于 02-19 07:25

    DLPC7540EVM是否支持自定义的图像处理算法,以及如何进行算法的移植?

    是否支持自定义的图像处理算法,以及如何进行算法的移植?
    发表于 02-17 08:25

    FPGA上的图像处理算法集成与优化

    、Tophat形态学滤波、RAW8转RGB888、彩色图像均值滤波、Alpha背景叠加、直方图灰度拉伸算法以及自动白平衡算法。每种算法都提供了实现方法和相关公式,涵盖了
    的头像 发表于 02-14 13:46 ?790次阅读
    FPGA上的<b class='flag-5'>图像</b>处理<b class='flag-5'>算法</b>集成与优化

    AI芯片在智能手机中具体怎么用?

    AI芯片在智能手机中的应用主要体现在以下几个方面: 图像处理和智能拍照:AI芯片通过深度学习算法,可以识别场景、人物等信息,并自动调整拍摄参数以提高
    的头像 发表于 01-03 14:02 ?1249次阅读

    百问FB显示开发图像处理 - 图像调整

    \"。 原理浅析 ?要理解这个图像缩放算法的原理,最重要的是需要理解:对于图像上的每一个像素点,它缩放前后,相对于整个图像的比例应该是一样的
    发表于 12-02 09:34

    【「从算法到电路—数字芯片算法的电路实现」阅读体验】+介绍基础硬件算法模块

    结构性的,而是算法性和原理性的,如WiFi芯片,里面充斥着各种复杂的矩阵运算、复数运算等,因为它们要解决的是多天线在无线道下的输入、输出问题。AI芯片、图像/语音/视频等多媒体处理芯片,也需要解决很多
    发表于 11-21 17:05

    图像算法工程师的利器——SpeedDP深度学习算法开发平台

    随着人工智能的兴起,AI工程师特别是基于图像算法工程师日益成为炙手可热的香饽饽。特别是在一些行业市场例如工业领域等行业领域,需要根据具体场景对检测识别算法进行不断地优化完善,以达到更
    的头像 发表于 11-08 01:06 ?901次阅读
    <b class='flag-5'>图像</b><b class='flag-5'>算法</b>工程师的利器——SpeedDP深度学习<b class='flag-5'>算法</b>开发平台

    FPGA在图像处理领域的优势有哪些?

    。这种并行处理能力使得FPGA在处理大规模图像数据时表现出色,能够实时完成复杂的图像处理算法。 二、高灵活性 FPGA具有很高的灵活性,可以根据需要实时调整硬件架构。这意味着当
    发表于 10-09 14:36

    千锤百炼!慧视光电打造高品质合格图像处理板

    一块合格的图像处理板需要经过反复的打磨测试,才能形成最终可用的、高品质的、满足需求的产品。在最初,硬件组会对图像处理板进行硬件设计;算法组进行算法
    的头像 发表于 09-27 08:09 ?572次阅读
    千锤百炼!慧视光电打造高品质合格<b class='flag-5'>图像</b>处理板

    为什么FPGA属于硬件,还需要算法

    字信号处理、图像处理、加密解密等,就 需要设计相应的算法来指导硬件资源的配置和利用,以达到期望的性能和功能。 关于学习 FPGA 时先接触语法,这是因为需要掌握如何用特定的编程
    发表于 09-09 16:54

    抖动跟踪不丢失 慧视图像跟踪板和自研算法强势升级

    成都慧视开发的Viztra-HE030图像处理板是采用了瑞芯微旗舰级高性能芯片RK3588,能够凭借八核处理核心输出至高6.0TOPS的算力,在算法的强力辅助下,能够实现对目标的稳定锁定跟踪。随着
    的头像 发表于 09-04 08:05 ?1131次阅读
    抖动跟踪不丢失 慧视<b class='flag-5'>图像</b>跟踪板和自研<b class='flag-5'>算法</b>强势升级