道路识别技术主要用于车道偏离报警系统和车道保持辅助系统等。在实现方法上主要分为基于雷达成像原理的雷达传感器和基于机器视觉图像的视觉传感器两类。 一、道路检测分类。 道路检测的任务是提取车道的几何结构,如车道的宽度、车道线的曲率等；确定车辆在车道中的位置、方向;提取车辆可行驶的区域。 根据道路构成特点,道路可以分为结构化道路和非结构化道路两类。 结构化道路具有明显的车道标识线或边界,几何特征明显,车道宽度基本上保持不变,如城市道路、高速公路。结构化道路检测一般依据车道线的边界或车道线的灰度与车道明显不同实现检测。结构化道路检测方法对道路模型有较强的依赖性,且对噪声、阴影、遮挡等环境变化敏感。结构化道路识别技术比较成熟。 非结构化道路相对比较复杂,一般没有车道线和清晰的道路边界,或路面凹凸不平,或交通拥堵,或受到阴影和水迹的影响。多变的道路类型,复杂的环境背景,以及阴影与变化的天气等都是非结构化道路识别方法所面临的困难,道路区域和非道路区域更难以区分,所以针对非结构化道路的道路检测方法尚处于研究阶段。非结构化道路检测主要依据车道的颜色或纹理进行检测。 从算法的实现原理来看,虽然方法在实现细节上各不相同,但可以用如图5-5所示的理论框架加以概括。也有部分道路检测方法未使用框架内的方法,如神经网络方法。
二、复杂环境下的道路图像特点复杂的道路环境和复杂的气候变化都会影响道路的识别,道路图像具有以下特点。
1.阴影条件下的道路图像。
阴影检测和去除一直是计算机视觉研究中的热点和难点,可以通过分析阴影特征来识别道路。
阴影检测方法一是基于物体的特性,二是基于阴影的特性。前者通过目标的维几何结构、已知场景和光源信息来确定阴影区域,这种方法局限性很大,因为获得场景、目标的三维结构信息并不是件容易的事。后者通过分析阴影在色彩、亮度和几何结构等方面的特征来识别阴影,这种方法则具有普遍性和实用性。由于直射光线被遮挡,造成阴影区域较暗、亮度较小,这些都是检测阴影的重要特征。另外,分析阴影的色彩特征是目前的研究热点,因为彩色图像比灰度图像包含更多的信息。
2.强弱光照条件下的道路图像。
光照处理可分为强光照射和弱光照射。强光照射造成的路面反射会使道路其余部分像素的亮度变大,而弱光照射会使道路的像素变得暗淡。例如阴天,道路图像具有黑暗、车道线难辨别等特点。
3.雨天条件下的道路图像。
雨水覆盖分为完全覆盖和部分覆盖两种。前者完全改变了道路的相对特征和种子像素,因此这种情况下能够自然的识别。后者如果雨水能反光,可以通过光照处理来解决。
4.弯道处的道路图像。
弯道道路图像与直线图像相比,在建模上会有些复杂,但是并不影响道路图像的检测。弯道图像的彩色信息和普通图像的彩色信息差别不大,所以依然可以利用基于模型的道路图像进行建模,提取弯道曲线的斜率从而进一步检测图像。
考虑到车辆行驶重要信息均来自于近区域,而近区域视野的车道线可近似看成是直线模型。
三、图像特征分类。
要对图像当中的物体进行分类,就需要先知道图像当中各个部分的特征,利用这些特征作为划分的标准。从某种意义上说,特征的合适与否对分类的精确度起着决定性作用。图像中的特征最基本的是颜色,除此之外,还有纹理、形状等个体的特征以及空间位置关系这种整体的特征。
1.颜色特征。
颜色特征就是对图像或者图像区域当中色彩的一个描述,它的特点是并不关注细节,不关注具体的某一个像素,而是从整体上来统计图像或者图像区域中的色彩。颜色特征有它自己的优点,比如颜色是不会因为旋转图像发生变化的,即使是放大或者缩小图像,也一样不会有影响,但是这样一来颜色特征也不太适用于对图像中的某一局部进行描述。在图像处理中,常用的颜色特征包括颜色直方图、颜色集、颜色矩、颜色聚合向量等。
(1)颜色直方图颜色直方图是对不同灰度级在图像中所占比例的一个统计分析,它的优点和缺点都在于它的计算与像素点的空间位置无关,它是一个完全的统计特性。这样一方面计算方便,对于不需要考虑空间位置的问题很适用,另方面对于识别出物体的具体位置就显得不适用了,常用RGB、HSV、HSI等颜色空间下的图像来计算图像的颜色直方图。
①RGB模型也称为加色法混色模型,它是将彩色信息分成三个分量(R、G、B分别代表红、绿、蓝),三个分量的不同组合可以表示出不同的颜色。RGB模型可以建立在三维坐标系统中,三个坐标轴分别用RGB的三个分量R、G、B表示,如图5-6所示。RGB模型的空间是一个正方体,原点代表黑色,对角顶点代表白色,RGB颜色空间中的任意一种颜色可以用从原点的矢量表示。一般情况下,要将RGB颜色模型立方体归一化为单位立方体,此时RGB每个分量的值在[0,1]之间。RGB颜色模型的优点是看起来比较直观,缺点是R、G、B三个分量相互依赖,任何一个分量发生改变,都会影响到整体颜色的改变。
RGB模型是人眼最直观的颜色模式,大多数彩色摄像机都是用RGB格式获取图像,能够直观地表示物体的色彩,是一种重要的颜色模型。
②HSV模型用色调(H)、饱和度(S)和亮度(V)三种属性表达颜色特征。其中色调是与混合光谱中的光的波长相联系的,反映了人们对颜色种类的感受;饱和度与色调的纯度有关,表示颜色的浓度;亮度表示人眼感受颜色的强弱程度,颜色中掺入白色越多就越明亮。这三种属性能够独立表达人们感受颜色的过程,互相不受影响。因此,HSV模型也称为主观颜色模型。
HSV模型也称六角锥体模型,如图5-7所示,色调H用绕中轴旋转的角度表示,取值范围为0~360°,红色为0,按逆时针角度方向计算,绿色为120°,蓝色为240°;亮度V用垂直轴线上的大小表示,取值范围为0~1.0;饱和度S用离中心轴线的距离表示,取值范围为0~1.0;当S=1且V=1时,得到纯色彩。
HSV模型有两个显著特点:第一,在HSV模型中亮度分量V和色度分量H是相互独立的,V分量与图像的颜色无关,只与图像的光照强度有关;第二,色调分量H及饱和度分量S互相独立,并且与人们感知色彩的方式紧密相连。这些优点使得HSV模型可以充分发挥色度分量H的作用,适合基于人类的视觉系统对彩色图像分析的算法。
③HSI色彩模型较好地反映了人们的视觉系统对不同色彩的感知方式,在该模型中用色调(H)、色饱和度(S)及强度(I)三个基本分量来表达不同的颜色。H与光波的波长紧密相关,不同H的值代表着不同的颜色,如当H值的取值范围为0~360时,红色、绿色和蓝色的H值分别为0、120和240;S代表颜色的纯度,纯色是完全饱和的,颜色也最鲜艳,向纯光谱色中加入白光会降低饱和度;1表示成像的亮度和图像的灰度,1是一个主观的概念,表达了人类视觉对颜色明亮程度的感知。1与图像的彩色信息无关,H和S与人们感受颜色的方式紧密相连,因此,HSI颜色模型得到了广泛的应用,成为了颜色检测及分析的常用模型。
(2)颜色集颜色集可以看作是颜色直方图的一个变种,或者说近似。颜色集的计算需要在视觉均衡的颜色空间中进行,比如HSV颜色空间。所以计算时首先将RGB颜色空间转化到此颜色空间。然后把颜色空间分成若干个柄,再以色彩特征把图像划分成若干子图像。对于三个颜色分量,只保留其中一个量化此颜色空间,并用这个颜色分量作为索引,从而用一个二进制颜色索引集来表达完整的图像。
(3)颜色矩颜色矩是用来表达图像或者图像区域中颜色分布的一种方法，常用的有三种,即颜色的一阶矩(均值)、二阶矩(方差)以及三阶矩(偏斜度)它们可以比较充分地来表达一幅图像或者图像区域中的色彩分布。
(4)颜色聚合向量在求解颜色聚合向量时,首先要获取图像的直方图,然后利用它把其中每个柄的像素划分成两个部分。划分的方法是先给定一个阈值，然后统计柄当中部分像素占据的连续面积,如果它们大于这个阈值,那么这个区域当中的像素就是定义的聚合像素,反之则不是。
2.纹理特征。
纹理特征给人的直观印象是图像当中色彩分布的某种规律性,它也是面向全局的。但是它和颜色特征还不太一样,它在对每个像素点进行讨论的时候,往往需要在此像素点的邻域内进行分析。纹理特征是不会因为图像的旋转而发生变化的,对于一些噪声也有比较好的适应性。但是它也有自己的缺点,比如当放大或者缩小图像的时候,纹理特征会发生变化,而且光线的变化也会对纹理特征产生影响,纹理特征提取方法有很多,如统计方法、结构方法、模型方法和信号处理方法等。统计方法是基于像元及其邻域的灰度属性,研究纹理区域中的统计特性,或像元及其邻域内的灰度的一阶、二阶或高阶统计特性,如灰度共生矩阵法;结构方法是基于纹理基元分析纹理特征,着力找出纹理基元,认为纹理由许多纹理基元构成,不同类型的纹理基元、不同的方向和数目等,决定了纹理的表现形式,如数学形态学法;模型方法中,假设纹理是以某种参数控制的分布模型方式形成的,从纹理图像的实现来估计计算模型参数,以参数为特征或采用某种分类策略进行图像分割,如随机场模型法;信号处理方法是建立在时域、频域分析与多尺度分析基础上,对纹理图像中某个区域内实行某种变换后,再提取保持相对平稳的特征值,以此特征值作为特征表示区域内的一致性以及区域间的相异性,如小波变换方法。信号处理方法是从变换域中提取纹理特征,其他方法是从图像域中提取纹理特征。
3.形状特征。
形状特征的提出主要是为了讨论图像或者图像区域当中物体的各种形式的形状。这里的形状包含了图像或图像区域的周长、面积、凹凸性以及几何形状等特征。按照形状特征的关注点不同,一般把形状特征分为着眼于边界的特征和关系到整个区域的特征。比较成熟的形状特征描述方法有边界特征法,它着眼于图像中的边界,借以描述图像的形状,采用 Hough变换提取直线和圆就是这类方法的典型应用;傅里叶形状描述符法是针对物体的边界进行傅里叶变换,因为边界有封装和周期性的特征,它可以把二维的问题降成一维;几何参数法是利用形状的定量计算来描述形状特征,计算的参数包括矩、面积、周长、圆度、偏心率等。
4.空间关系特征。
图像当中的物体是丰富多彩的,物体作为一个独立的个体会有它自己的特性,而从整体来看,物体和物体之间也会存在一定的联系,其中最直接的联系就是空间位置关系。比如物体之间可能邻接,也可能是被其他物体间隔的。物体和物体之间可能有相互重叠的情况,也有互不关联的状况。在描述空间位置的时候有时候用绝对的描述,比如用具体的图像中的坐标;也可以用相对的描述,比如相对某一物体的左或者右等。空间位置关系的作用是加强了图像当中物体彼此区分的能力。但是存在的问题是空间位置关系随着图像的旋转会发生变化,而尺度的变化也同样会影响它的效果。正是因为这个特点,一般都要将空间位置关系和其他特征配合起来使用。
四、道路识别方法。
为了能在智能网联汽车的先进辅助驾驶系统中应用视觉识别技术,视觉识别必须具备实时性、鲁棒性、实用性这三个特点。实时性是指系统的数据处理必须与车辆的行驶速度同步进行;鲁棒性是指智能网联汽车上的机器视觉系统对不同的道路环境和变化的气候条件具有良好的适应性;实用性是指智能网联汽车先进辅助驾驶系统能够为普通用户所接受。
道路识别算法大体可以分为基于区域分割的识别方法、基于道路特征的识别方法和基于道路模型的识别方法。
1.基于区域分割的识别方法。
基于区域分割的识别方法是把道路图像的像素分为道路和非道路两类。分割的依据一般是颜色特征或纹理特征。基于颜色特征的区域分割方法的依据是道路图像中道路部分的像素与非道路部分的像素的颜色存在显著差别。根据采集到的图像性质,颜色特征可以分为灰度特征和彩色特征两类。灰度特征来自于灰度图像,可用的信息为亮度的大小。彩色特征除了亮度信息外,还包含色调和饱和度。基于颜色特征的车道检测的本质是彩色图像分割问题,主要涉及颜色空间的选择和采用的分割策略两个方面。当然,由于不同道路的彩色和纹理会有变化,道路的颜色也随时间变化而变化,基于区域的分割是一个很困难的问题。同时,路面区域分割方法大多计算量大,难以精确定位车道的边界。
2.基于道路特征的识别方法。
基于道路特征的识别方法主要是结合道路图像的一些特征,如颜色、梯度、纹理等特征,从所获取的图像中识别出道路边界或车道标识线,适合于有明显边界特征的道路。基于特征的车道检测过程一般分为两个阶段:第一个阶段为特征提取,主要是利用图像预处理技术、边缘检测技术提取属于车道线的像素集合，并利用相位技术确定车道线像素的方向;第二个阶段是特征聚合,即把车道线像素聚合为车道线,包括利用车道线宽度恒定的约束进行车道线局部聚合,再利用车道线平滑性约束以及平行车道线交于消隐点的约束进行车道线的长聚合。
基于道路特征的车道线识别算法中的特征主要可以分为灰度特征和彩色特征。基于灰度特征的识别方法是根据车辆前方的序列灰度图像,利用道路边界和车道标识线的灰度特征完成的对道路边界及车道标识线的识别;基于彩色特征的识别方法是利用获取的序列彩色图像,根据道路及车道标识线的特殊色彩特征来完成对道路边界和车道标识线的识别。目前应用较多的是基于灰度特征的识别方法。
基于道路特征的识别方法与道路形状无关,鲁棒性较好,但对阴影和水迹较为敏感,且计算量较大。
3.基于道路模型的识别方法。
基于道路模型的识别方法主要是基于不同的(2D或3D)道路图像模型,采用不同的检测技术( Hough变换、模板匹配技术、神经网络技术等)对道路边界或车道线进行识别。
在道路平坦的假设前提下,道路图像中的车道线可以认为在同一平面上,这时道路模型有直线模型、多项式曲线模型、双曲线模型以及样条曲线模型等。目前最常用的道路几何模型是直线道路模型。
为了更准确地描述道路形状,提出了曲线道路模型。常用的弯道模型有同心圆曲线模型、二次曲线模型、抛物线模型、双曲线模型、直线-抛物线模型、线性双曲线模型、广义曲线模型、回旋曲线模型、样条曲线模型、圆锥曲线模型和分段曲率模型等。
在道路不平坦的情况下,可以利用双目视觉系统获得立体道路图像,通过建立3D道路图像模型进行车道检测。
基于2D道路图像模型的识别方法便于采用,且不需要精确地标定或知道车辆的自身参数,其不利之处是很难对车辆位置进行估计。基于3D道路图像模型的识别方法主要用于对距离的分析不是要求很高的没有标识的道路识别,缺点是模型比较简单或噪声强度比较大时,识别精度比较低;模型比较复杂时,模型的更新比较困难。
由于道路模型在结构上有规律可循,从而可以利用少量信息求解出整个道路模型,进而对阴影、水迹等因素具有较高的抗干扰性。一般基于视觉的道路模型需要满足以下几个特点。
(1)准确度高模型最基本的一个特点是要求准确地描述道路的实际特征。现实道路形状多样,为模型的建立增加了难度,所以如何根据实际的应用需求选择和求解模型是关键。
(2)鲁棒性高模型的鲁棒性主要体现在对外界干扰因素的适应性。当由于外界干扰造成局部特征信息的获取失败或失效的时候,不会影响整体模型的求解。
(3)实时性好基于视觉的导航系统中,实时性是一个重要因素。通常为了提高模型拟合的准确度,必须尽可能多的利用道路特征信息,并利用复杂的算法排除干扰,这将会大大增加运算。因此如何在保证模型有效性的情况下减少算法计算量,是影响模型是否高效的重要因素。
(4)灵活性好为了适应显示道路形状多样性的特点,模型还需要具备构造和求解的灵活性。极少或不会因为道路相撞的变化,而造成模型求解方式的改变或失效。
基于模型的识别方法检测出的道路较为完整,只需较少的参数就可以表示整个道路,所以基于模型的方法对阴影、水迹等外界影响有较强的抗干扰性,不过在道路类型比较复杂的情况下,很难建立准确的模型,降低了对任意类型道路检测的灵活性。
4.基于道路特征与模型相结合的识别方法。
基于道路特征与模型相结合的识别方法的基本思想在于利用基于道路特征的识别方法在对抗阴影、光照变化等方面的鲁棒性,对待处理图像进行分割,找出其中道路区域,再根据道路区域与非道路区域的分割结果找出道路边界,并使用道路边界拟合道路模型,从而达到综合利用基于道路特征的识别方法与基于道路模型的识别方法的目的。
基于道路特征与模型相结合的识别方法能否取得好的识别效果,其关键之处在于分割与拟合这两个过程。基于特征的分割过程能否准确地分割待处理图像的道路区域与非道路区域,将直接影响拟合的准确性;道路模型的拟合过程能否排除分割过程残留的噪声的影响,能否适应复杂环境中道路形状的变化,将直接影响道路检测的最终结果。因此,能否找到一种鲁棒性强的分割方法以及一种能适应多种道路形状变化的道路模型,是算法成功的关键之处。
