相机传感器物理建模中的畸变设计

简介

在自动驾驶感知系统中，相机传感器的应用十分广泛，无论是前视，侧视，环视甚至车内，相机传感器都发挥着至关重要的作用，目前带有ADAS和自动驾驶功能的汽车，大多配备七八个甚至十几个相机传感器。

相机作为车载核心传感器，优点十分明显。首先，相机传感器技术成熟，价格便宜，尤其是相较于市面上动辄上万的激光传感器，以相机传感器作为主感知的方案更利于自动驾驶汽车的量产。其次，相机采集的图像包含物体色彩，轮廓等信息，这些是激光传感器，毫米波传感器无法输出的，在识别交通标识，红绿灯，车道线等方面具有独一无二的优势。

在Sim Pro自动驾驶仿真软件中，结合基于物理的渲染方法，可以在配置相机各种参数的前提下进行相机传感器输出图像的仿真。其中的一大难题是相机的镜头种类繁多，比如广角相机，鱼眼相机等，它们的镜头被设计成可以折射入射光，以得到比针孔相机更广的视野，这会让最终的成像产生畸变效果。本文主要介绍Sim Pro里相机传感器物理建模中的畸变设计。

相机传感器模型

相机传感器模型主要设计为两个部分，其一是每个像素的RGB颜色处理模块，考虑到相机成像原理中的光电转换过程，可以利用输入参数中的曝光时间，镜头透过率等参数控制所有像素上的信息。为了体现部分相机可能出现的噪点效果，还可以设置暗电流噪声，为了体现过曝和避免色彩丢失，采用了HDR高动态范围的渲染数据输入。

除了对像素颜色信息的处理以外，另一部分为畸变效果仿真模块，需要设计所有像素对应的光线射入向量，由于不同镜头的折射效果，导致传到每个像素的光线并不是沿像素直接射出的（如图1），将相机传感器近似为空间中的一个点，此时每个像素上光线射入的方向可以用一个三维向量来表示，从而构成畸变表。

图1：左为针孔相机的光线射入方向简化图，右为广角相机的光线射入方向简化图

目前有很多畸变建模使用的是畸变参数k1，k2表示的畸变公式：

其中(x,y)表示畸变后输出图像坐标，(x ?,y ?)表示无畸变原始图像坐标，o表示畸变中心，公式表示距离畸变中心越远，产生的畸变越大，普通的枕形，筒形畸变都可以通过该函数产生。但是，这个参数需要配合成像大小才可以正确生效，例如相同的图像，由于像素大小的变化导致与畸变中心之间的距离变化，用相同参数会导致畸变效果不同，因此标定这个参数还需要确定像素大小等信息，使用起来比较繁琐。

此外，使用k1，k2参数的前提是必须先获取没有畸变的原图像，并且必须比输出图像拥有更大的视场角，但是考虑到鱼眼相机的观测角度可能接近甚至超过180度，此时成像需要的无畸变图像不能显示在一张平面图上导致无法使用畸变公式去生成畸变。

Sim Pro采用天空盒的原图输入格式，360度无死角储存环境信息，针对畸变表或者畸变参数的输入都可以做到完美的畸变效果。

畸变模型

像素向量建模：使用畸变参数的建模前提是获取到无畸变的平面图片数据，这对于一般广角相机来说是可以实现的，但是对于鱼眼相机，如果要获取到无畸变的平面图像，该平面大小会趋近于无穷大，此时不能再通过一张无畸变的图像去产生畸变。此时通常使用像素向量的数据，即事先通过测量标定等方法，确认图像上每个像素点的信息是从哪个方向射入的，获取该数据后，只需要去像素点对应向量上去采集数据即可。对于畸变明显，视场角非常大的鱼眼相机，通常使用以传感器为中心的天空盒的数据来构造畸变，构造出每个像素点向量到天空盒位置的映射关系，从而达到在天空盒上获取数据的目的，由于天空盒包含了传感器可观察范围的全信息，因此这种方法可以适用于任何超大视场角的广角相机，鱼眼相机建模。

首先，在仿真场景中获取所有方向的天空盒数据，这个数据可以通过设置水平，垂直视场角为90度的6个方向获取的图片数据拼接而来（如图2），其中以传感器朝向作为正前方，对于这一步获取的图片，尽量获取更高的分辨率的图片，对于视场角不超过270度的鱼眼相机，也可以只采用前上下左右5个面的数据以节约渲染成本。

对于畸变表中每个像素对应的向量，通过简单的三角形原理，可以知道从包围盒正方体的中心出发，该向量所对应的天空盒上的像素位置，将该像素点的颜色信息传入输出图像对应像素上（如图3）。

畸变参数的统一处理

由于使用畸变表的方法也可以应用于普通的广角相机，针对k1，k2畸变参数输入的情况，Sim Pro将畸变参数转化为畸变表之后，再进行上一章节中介绍的畸变运算，使得仿真中的畸变效果同时适用于畸变表与畸变参数两种不同的输入。

在确定像素大小以及畸变中心o（通常是图像几何中心）后，推算每个像素点坐标(x,y)所对应的无畸变原始图像中的像素点坐标(x ?,y ?),

考虑到相机焦距f,构成一个三维向量 (f,x ?,y ?),归一化后作（x,y）为的向量信息存储为畸变表。

总结

鱼眼相机，广角相机在自动驾驶汽车的感知系统中扮演着重要的角色，尤其是鱼眼相机的超大探测范围，广泛应用于汽车环视感知系统中。鱼眼相机输出的带有畸变的环视图，通过各款相机对应的去畸变算法，可以形成近距离的俯视图，应用于自动泊车，交通堵塞辅助等领域，Sim Pro相机传感器能够生成带有准确畸变的图像，有助于在仿真端验证不同种类相机的去畸变算法与感知效果。