机器视觉是环境感知最常用的方法之一,它具有以下特点。 ①视觉图像的信息量极为丰富,尤其是彩色图像,不仅包含有视野内物体的距离信息,而且还有物体的颜色、纹理、深度和形状等信息。 ⑨在视野范围内可同时实现道路检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等,信息获取面积大。当多辆智能网联汽车同时工作时,不会出现相互干扰的现象。 ③视觉信息获取的是实时的场景图像,提供的信息不依赖于先验知识,比如GPS导航依赖地图信息,有较强的适应环境的能力。驾驶过程中,绝大多数信息都是人们从眼睛获取的。 因此,基于视觉的高效、低成本的环境感知将成为智能网联汽车未来产业化
的主要发展方向基于视觉的环境感知流程如图5-3所示,一般包括图像采集、图像预处理、图像特征提取、图像模式识别、结果传输等,根据具体识别对象和采用的识别方法不同,感知流程也会略有差异。
1.图像采集图像采集主要是通过摄像头采集图像,如果是模拟信号,要把模拟信号转换为数字信号,并把数字图像以一定格式表现出来。
根据具体研究对象和应用场合,选择性价比高的摄像头。摄像头包括CCD摄像头和COMS摄像头,同时要充分考虑车载的实际情况。
2.图像预处理图像预处理包含的内容较多,要根据具体实际情况进行选择。
(1)图像压缩 图像压缩技术可以减少描述图像的数据量,以便节省图像传输、处理时间并减少所占用的存储器容量。压缩可以在不失真的前提下获得,也可以在允许失真的条件下进行。
比较常用的数字图像压缩方法有基于傅里叶变换的图像压缩算法、基于离散余弦变换的图像压缩算法、基于小波变换的图像压缩算法、基于NNT(数论变换)的图像压缩算法和基于神经网络的图像压缩算法等。
(2)图像增强和复原 图像增强和复原的目的是为了提高图像的质量,如去除噪声,提高图像的清晰度等。
图像增强技术是通常不考虑图像降质的原因,只将图像中感兴趣的特征有选择的突出,而衰减其不需要的特征,故改善后的图像不一定要去逼近原图像。从图像质量评价观点来看,图像增强的主要目的是提高图像的可懂度。
图像增强有空域法和频域法两类方法。空域法主要在空域内对像素灰度值直接运算处理,如图像灰度变换、直方图修正、图像空域平滑和锐化处理、伪彩色处理等。图像增强的频域法就是在图像的某种变换域內,对图像的变换值进行计算,如傅里叶变换等。
图像复原技术与增强技术不同,它需要了解图像降质的原因,一般要根据图像降质过程的某些先验知识,建立“降质模型”,再用降质模型,按照某种处理方法,恢复或重建原来的图像。
(3)图像分割 图像分割就是把图像分成若干个特定的、具有独特性质的区
域并提岀感兴趣目标的技术和过程,它是图像处理和图像分析的关键步骤之一。
图像分割方法主要有阈值分割法、区域分割法、边缘分割法和特定理论分割法。
阈值分割法的关键是确定阈值,如果能够确定一个合适的阈值,就可准确地将图像分割开来。阈值的选择有全局阈值、自适应阈值和最佳阈值等。阈值确定后,将阈值与像素点的灰度值比较和像素分割可对各像素并行进行,分割的结果直接给出图像区域。阈值分割法计算简单,运算效率高,速度快,特别适用于灰度均匀、变化较小、不同目标背景差异较大的图像。
区域分割法是以像素与其周围像素的相似度作为分割的标准。在图像上取个像素作为种子,然后以这一点为中心向周围扩散,若周围的像素点灰度与这点灰度的差值在允许范围内便认为它们是同一区域的。分割完一个区域后再以同样的方法进行下一个区域的分割。该方法对于一些自然景物分割效果较好。
边缘分割法是通过检测灰度级或结构突变进行分割的方法。在一幅图像中,若某一点像素灰度值与周围的灰度值相差较大,就认为该点可能处于边界上。如果能找到更多这样的点,并将具有联通性的点连起来就形成了边界。一种简单的边缘检测法就是利用微分算子,一般的算子有 Sobel算子、 Roberts算子、 Prewitt算子、拉普拉斯算子等。另外,还有一些新发展起来的边缘分割法,如基于数学形态学的边缘分割法、基于遗传算法的边缘分割法、基于分形的边缘分割法等。
图像分割没有通用的自身理论,随着科学的发展,出现了一些与特定理论相结合的图像分割法,如基于聚类分析的图像分割法、基于模糊理论的图像分割法、基于小波变换的图像分割法、基于神经网络的图像分割法、基于图论的图像分割法等。
3.图像特征提取为了完成图像中目标的识别,要在图像分割的基础上,提取需要的特征,并将某些特征计算、测量、分类,以便于计算机根据特征值进行图像分类、识别和理解。
在图像识别中,常选以下特征。
(1)图像幅度特征 图像像素灰度值、RGB、HSI和频谱值等表示的幅值特征是图像的最基本特征。
(2)直观性特征 图像的边沿、轮廓、纹理和区域等,都属于图像灰度的直观特征。它们的物理意义明确,提取比较容易,可以针对具体问题设计相应的提取算法。
(3)图像统计特征 图像统计特征主要有直方图特征、统计性特征(如均值方差、能量、熵等)、描述像素相关性的统计特征(如自相关系数、协方差等)。
(4)图像几何特征 图像几何特征主要有面积、周长、分散度、伸长度、曲
线的斜率和曲率、凸凹性、拓扑特性等。
(5)图像变换系数特征如傅里叶变换系数、 Hough变换、 Wavelet变换系数、Gabor变换、哈达玛变换、K-L变换(PCA)等。
此外,还有一些其他描述图像的特征,如纹理特征、三维几何结构描述特征等。
4.图像模式识别图像模式识别的方法很多,从图像模式识别提取的特征对象来看,图像识别方法可分为基于形状特征的识别技术、基于色彩特征的识别技术以及基于纹理特征的识别技术等。
(1)基于形状特征的识别方法 基于形状特征的识别方法关键是找到图像中对象形状及对此进行描述,形成可视特征矢量,以完成不同图像的分类,常用来表示形状的变量有形状的周长、面积、圆形度、离心率等。
(2)基于色彩特征的识别方法 基于色彩特征的识别方法主要针对彩色图像,通过色彩直方图具有的简单且随图像的大小、旋转变换不敏感等特点进行分类识别。
(3)基于纹理特征的识别方法 基于纹理特征的识别方法是通过对图像中非常具有结构规律的特征加以分析或者是对图像中的色彩强度的分布信息进行统计来完成。
依据模式特征选择及判别决策方法的不同,图像模式识别方法可分为统计模式(决策理论)识别方法、句法(结构)模式识别方法、模糊模式识别方法和神经网络模式识别方法等。
(1)统计模式识别方法 统计模式识别是目前最成熟也是应用最广泛的方法,它是以数学上的决策理论为基础建立统计模式识别模型。其基本模型是对被研究图像进行大量统计分析,找出规律性的认识,并选取出反映图像本质的特征进行分类识别。统计模式识别系统可分为两种运行模式,即训练和分类。训练模式中,预处理模块负责将感兴趣的特征从背景中分割出来、去除噪声以及进行其他操作;
特征选取模块主要负责找到合适的特征来表示输入模式;分类器负责训练分割特征空间。在分类模式中,被训练好的分类器将输入模式根据测量的特征分配到某个指定的类统计模式识别根据决策界是否直接得到将其分为几何方法和基于概率密度的方法。几何方法经常直接从优化一定的代价函数构造决策界,它包括模板匹配法距离分类法、线性判别函数、非线性判别函数等。其中模板匹配法是模式识别中的一个最原始、最基本的方法,它将待识模式分别与各标准模板进行匹配,若某模板与待识模式的绝大多数单元均相匹配,则称该模板与待识模式“匹配得好”,反之则称“匹配得不好”,并取匹配最好的作为识别结果。基于概率密度的
方法要首先估计密度函数然后构造分类函数指定决策界(2)句法模式识别方法 句法模式识别系统主要由预处理、基元提取、句法分析和文法推断等几部分组成。由预处理分割的模式,经基元提取形成描述模式的基元串(即字符串)。句法分析根据文法推理所推断的文法,判决有序字符串所描述的模式类别,得到判决结果。
3)模糊模式识别 模糊模式识别是根据人对事物识别的思维逻辑,结合人类大脑识别事物的特点,将计算机中常用的二值逻辑转向连续逻辑。在图像识别领域应用时该方法可以简化图像识别系统,并具有实用、可靠等特点。应用模糊方法进行图像识别的关键是确定某一类别的隶属函数,而各类的统计指标则要由样本像元的灰度值和样本像元的隶属函数的值即隶属度共同决定。
(4)神经网络模式 识别神经网络模式识别源于对动物神经系统的研究,通过采用硬件或软件的方法,建立了许多以大量处理单元为节点,各单元通过一定的模式实现互联的拓扑网络。该网络通过一定的机制,能够模仿人的神经系统的结构和功能。神经网络是一种全新的模式识别技术,它具有分布式存储信息的特点;神经元能够独立运算和处理收到的信息,即系统能够并行处理输入的信息神经网络还具有自组织、自学习的能力5.结果传输通过环境感知系统识别出的信息,传输到车辆其他控制系统或者传输到车辆周围的其他车辆,完成相应的控制功能。
