视觉传感器是指通过对摄像头拍摄到的图像进行图像处理,对目标进行检测,并输出数据和判断结果的传感器。视觉传感器在智能网联汽车或无人驾驶汽车上的应用是以摄像头(机)形式出现,并搭载先进的人工智能算法,便于目标检测和图像处理。
⒈视觉传感器的组成。
视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成,如图5-13所示,其主要功能是获取视觉传感器要处理的最原始图像。
2.视觉传感器的成像原理。
图像传感器的作用是将镜头所成的图像转变为数字或模拟信号输出,是视觉检测的核心部件,主要有CCD图像传感器和CMOS图像传感器二种,如图5-14所示。CCD是电荷耦合器件( Charge Coupled Device)的英文缩写,CMOS是互补金属氧化物半导体( Complementary Metal Oxide Semiconductor)的英文缩写。
(1)CCD成像原理。
CCD成像原理是当光线与图像从镜头透过投射到CCD表面时,CCD就会产生电流,将感应到的内容转换成数码资料储存起来。CCD像素数目越多,单一像素尺寸越大,收集到的图像就会越清晰。
(2)CMOS成像原理 。
CMOS成像原理是利用硅和锗这两种元素所做成的半导体,使其在CMOS上共存着带负电的N级和带正电的P级半导体,这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。
CCD与CMOS的主要差异:CCD传感器中,每一行中每一个像素的电荷数
据都会依次传送到下一个像素中,由最底端部分输出,再经由传感器边缘的放大器进行放大输出;而在CMOS传感器中,每个像素都会邻接一个放大器及A/D转换电路,用类似内存电路的方式将数据输出。
造成这种差异的原因在于:CCD的特殊工艺可保证数据在传送时不会失真因此各个像素的数据可汇聚至边缘再进行放大处理:而CMOS工艺的数据在传送距离较长时会产生噪声,因此,必须先放大再整合各个像素的数据相比于CCD,CMOS虽然成像质量不如CCD,但是CMOS因为耗电省(仅为CCD芯片的1/10左右)、体积小、质量轻、集成度高、价格低,迅速得到各大厂商的青睐,目前除了专业摄像机,大部分带有摄像头设备使用的都是CMOS。
视觉传感器的技术参数(1)图像传感器的技术参数图像传感器的技术参数主要有像素、帧率、靶面尺寸、感光度和信噪比等。
①像素是图像传感器的感光最小单位,即构成影像的最小单位。一帧影像画面是由许多密集的亮暗、色彩不同的点所组成,这些小点称为像素。像素的多少是由 CCD/CMOS上的光敏元件数目所决定的,一个光敏元件就对应一个像素。因此像素越大,意味着光敏元件越多,相应的成本就越大。像素用两个数字来表示如720×480,720表示在图像长度方向上所含的像素点数,480表示在图像宽度方向上所含的像素点数,二者的乘积就是该相机的像素数。
②帧率代表单位时间所记录或播放的图片的数量,连续播放一系列图片就会产生动画效果,根据人的视觉系统,当图片的播放速度大于15幅/的时候,人就基本看不出来图片的跳跃:在达到24-30幅/s时就已经基本觉察不到闪烁现象。每秒的帧数或说帧率表示图形传感器在处理图像时每秒能够更新的次数。高的帧率可以得到更流畅,更逼真的视觉体验。
③靶面尺寸也就是图像传感器感光部分的大小,一般用英寸来表示,通常这个数据指的是这个图像传感器的对角线长度,如常见的有1/3in,靶面越大,意味
着通光量越好,而靶面越小则比较容易获得更大的景深。比如,1/2in可以有比较大的通光量,而1/4in可以比较容易获得较大的景深。
④感光度代表通过CCD或CMOS以及相关的电子线路感应入射光线的强弱。
感光度越高,感光面对光的敏感度就越强,快门速度就越高,这在拍摄运动车辆夜间监控的时候尤其显得重要。
⑤信噪比指的是信号电压对于噪声电压的比值,单位为dB。一般摄像机给出的信噪比值均是自动增益控制(AGC)关闭时的值。因为当自动增益控制接通时会对小信号进行提升,使得噪声电平也相应提高。信噪比的典型值为45~55dB若为50dB,则图像有少量噪声,但图像质量良好;若为60dB,则图像质量优良,不出现噪声。信噪比越大说明对噪声的控制越好。
(2)相机的内部参数相机的内部参数是与相机自身特性相关的参数,主要有焦距、光学中心、图像尺寸和畸变系数等。
①焦距是指镜头的光学中心到图像传感器的距离。焦距有可变焦距和不可变焦距,一般单位是毫米(mm)。
②相机的镜头是由多个镜片构成的复杂光学系统,光学系统的功能等价于薄透镜,实际上薄透镜是不存在的。光学中心是这一等价透镜的中心。不同结构的镜头其光学中心位置也不一样,大部分在镜头内的某一位置,但也有在镜头前方或镜头后方的。
③图像尺寸是指构成图像的长度和宽度,可以用像素为单位,也可以用厘米(cm)为单位。
④畸变系数分为径向畸变系数和切向畸变系数。径向畸变发生在相机坐标系转换为物理坐标系的过程中:切向畸变产生的原因是透镜不完全平行于图像。
(3)相机的外部参数相机的外部参数是指相机的安装位置,即相机离地高度以及相机相对于车辆坐标系的旋转角度。离地高度是指从地面到相机焦点的垂直高度;相机相对于车辆坐标系的旋转角度有俯仰角、偏航角和横滚角。外部参数可以通过棋盘格标定获得,但要注意标准镜头和鱼眼镜头的差别。
4.视觉传感器的特点。
视觉传感器具有以下特点:
①视觉图像的信息量极为丰富,尤其是彩色图像,不仅包含有视野内目标的距离信息,而且还有该目标的颜色、纹理、深度和形状等信息。
②在视野范围内可同时实现车道线检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等,信息获取量大。当多辆智能网联汽车同时工作时,不会出现相互干扰的现象。
③视觉SLAM,通过摄像头可以实现同时定位和建图。
④视觉信息获取的是实时的场景图像,提供的信息不依赖于先验知识,有较强的适应环境的能力。
⑤视觉传感器与机器学习、深度学习等人工智能相融合,可以获得更佳的检测效果,必将扩大视觉传感器在智能网联汽车和无人驾驶汽车上的应用范围视觉传感器的发展趋势是探测距离越来越远,必须与深度学习相结合,识别能力越来越强。在未来几年,视觉传感器的最大探测距离可达到200~300m,像素在200万~800万之间,性能与远距离毫米波雷达差距大幅缩小,同时具备成本和图像识别等方面的优势。
5.视觉传感器的类型及应用。
视觉传感器在智能网联汽车上的应用是以摄像头方式出现的,一般分为单目摄像头、双目摄像头、三目摄像头和环视摄像头,如图5-15所示。
(1)单目摄像头。单目摄像头的优点是成本低廉,能够识别具体障碍物的种类,识别准确:缺点是由于其识别原理导致其无法识别没有明显轮廓的障碍物,工作准确率与外部光线条件有关,并且受限于数据库,没有自学习功能。
(2)双目摄像头。相比于单目摄像头,双目摄像头没有识别率的限制,无须先识别,可直接进行测量:直接利用视差计算距离,精度更高;无须维护样本数据库。
(3)三目摄像头。
摄像头感知范围更大,但同时标定三个摄像头,工作量大,而且算法更复杂。
(4)环视摄像头环视摄像头一般至少包括4个摄像头,实现360°环境感知。
视觉传感器在智能网联汽车上的主要安装位置如图5-16所示。
视觉传感器主要应用于车道偏离预警、车道保持辅助、前向碰撞预警、行人碰撞预警、交通标志识别、盲区监测、夜视辅助、自动泊车辅助、全景泊车、驾驶员疲劳预警等随着人工智能的机器学习、深度学习等在图像处理算法中的应用,视觉传感器的功能会越来越强,在智能网联汽车上的应用将更加深入
