一、环境感知对象。 智能网联汽车环境感知对象主要包括以下几个方面。 (1)行驶路径识别结构化道路的行驶路径识别包括道路交通标线、行车道边缘线、路口导向线、导向车道线、人行横道线、道路出入口标线、道路隔离物识别;非结构化道路的行驶路径识别主要是可行驶路径的确认。 (2)周边物体感知周边物体感知主要包括车辆、行人、地面上可能影响车辆通过和安全行驶的其他各种移动或静止物体的识别;各种交通标志的识别;交通信号灯的识别。 (3)驾驶状态检测驾驶状态检测主要包括驾驶员自身状态、主车自身行驶状态和周边车辆行驶状态的检测。 (4)驾驶环境检测驾驶环境检测主要包括路面状况、道路交通拥堵情况、天气状况的检测。 由此可见,智能网联汽车环境感知对象非常多,而且情况复杂,这里主要介绍对道路、车辆、行人、交通标志和交通信号灯的检测或识别。 环境感知在智能网联汽车中的典型应用如图5-1所示。
二、环境感知方法。
环境感知方法主要有惯性元件、超声波传感器、激光雷达、毫米波雷达、视觉传感器、自组织网络、融合传感等。
(1)惯性元件惯性元件主要是指汽车上的车轮转速传感器、加速度传感器、微机械陀螺仪、转向盘转角传感器等,通过它们感知汽车自身的行驶状态。
(2)超声波传感器超声波传感器主要用于短距离探测物体,不受光照影响,但测量精度受测量物体表面形状、材质影响大。
(3)激光雷达激光雷达可以获取车辆周边环境二维或三维距离信息,通过距离分析识别技术对行驶环境进行感知。激光雷达能够直接获取物体三维距离信息,测量精度高,对光照环境变化不敏感;但它无法感知无距离差异的平面内目标信息,体积较大,价格较高,不便于车载集成。
(4)毫米波雷达毫米波雷达与激光雷达一样,也可以获取车辆周边环境二维或三维距离信息,通过距离分析识别技术对行驶环境进行感知。毫米波雷达抗干扰能力强,受天气情况和夜间的影响小,体积小;传播损失比激光雷达少,行人的反射波较弱,难以探测。
(5)视觉传感器视觉传感器能够获取车辆周边环境二维或三维图像信息,通过图像分析识别技术对行驶环境进行感知。视觉传感器获取的图像信息量大,实时性好,体积小,能耗低,价格低;但易受光照环境影响,三维信息测量精度较低。
(6)自组织网络通过车载自组织网络可以获取车辆行驶周边环境信息和周边其他车辆行驶信息,也可以把车辆本身的信息传递给周边其他车辆。通过车载自组织网络能够获取其他传感手段难以实现的宏观行驶环境信息,可实现车辆之间信息共享,对环境干扰不敏感。
(7)融合传感融合传感是指运用多种不同传感手段获取车辆周边环境多种不同形式信息,通过多信息融合技术对行驶环境进行感知,如视觉与毫米波雷达、视觉与激光雷达、视觉与超声波传感器的融合等。其优点是能够获取丰富的车辆周边环境信息,具有优良的环境适应能力,为安全快速辅助驾驶提供可靠保障;缺点是系统复杂,成本高。
图5-2所示为智能网联汽车周边环境感知示意图。
三、基于机器视觉的环境感知流程。
机器视觉是环境感知最常用的方法之一,它具有以下特点。
①视觉图像的信息量极为丰富,尤其是彩色图像,不仅包含有视野内物体的距离信息,而且还有物体的颜色、纹理、深度和形状等信息。
②在视野范围内可同时实现道路检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等,信息获取面积大。当多辆智能网联汽车同时工作时,不会出现相互干扰的现象。
③视觉信息获取的是实时的场景图像,提供的信息不依赖于先验知识,比如GPS导航依赖地图信息,有较强的适应环境的能力。驾驶过程中,绝大多数信息都是人们从眼睛获取的。
因此,基于视觉的高效、低成本的环境感知将成为智能网联汽车未来产业化的主要发展方向。
基于视觉的环境感知流程如图5-3所示,一般包括图像采集、图像预处理、图像特征提取、图像模式识别、结果传输等,根据具体识别对象和采用的识别方法不同,感知流程也会略有差异。
1.图像采集。
图像采集主要是通过摄像头采集图像,如果是模拟信号,要把模拟信号转换为数字信号,并把数字图像以一定格式表现出来。
根据具体研究对象和应用场合,选择性价比高的摄像头。摄像头包括CCD摄像头和COMS摄像头,同时要充分考虑车载的实际情况。
2.图像预处理。
图像预处理包含的内容较多,要根据具体实际情况进行选择。
(1)图像压缩图像压缩技术可以减少描述图像的数据量,以便节省图像传输、处理时间并减少所占用的存储器容量。压缩可以在不失真的前提下获得,也可以在允许失真的条件下进行。
比较常用的数字图像压缩方法有基于傅里叶变换的图像压缩算法、基于离散余弦变换的图像压缩算法、基于小波变换的图像压缩算法、基于NNT(数论变换)的图像压缩算法和基于神经网络的图像压缩算法等。
(2)图像增强和复原图像增强和复原的目的是为了提高图像的质量,如去除噪声,提高图像的清晰度等。
图像增强技术是通常不考虑图像降质的原因,只将图像中感兴趣的特征有选择的突出,而衰减其不需要的特征,故改善后的图像不一定要去逼近原图像。从图像质量评价观点来看,图像增强的主要目的是提高图像的可懂度。
图像增强有空域法和频域法两类方法。空域法主要在空域内对像素灰度值直接运算处理,如图像灰度变换、直方图修正、图像空域平滑和锐化处理、伪彩色处理等。图像增强的频域法就是在图像的某种变换域内,对图像的变换值进行计算,如傅里叶变换等。
图像复原技术与增强技术不同,它需要了解图像降质的原因,一般要根据图像降质过程的某些先验知识,建立“降质模型”,再用降质模型,按照某种处理方法,恢复或重建原来的图像。
(3)图像分割图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程,它是图像处理和图像分析的关键步骤之一。图像分割方法主要有阈值分割法、区域分割法、边缘分割法和特定理论分割法。
阈值分割法的关键是确定阈值,如果能够确定一个合适的阈值,就可准确地将图像分割开来。阈值的选择有全局阈值、自适应阈值和最佳阈值等。阈值确定后,将阈值与像素点的灰度值比较和像素分割可对各像素并行进行,分割的结果直接给出图像区域。阈值分割法计算简单,运算效率高,速度快,特别适用于灰度均匀、变化较小、不同目标背景差异较大的图像。
区域分割法是以像素与其周围像素的相似度作为分割的标准。在图像上取一个像素作为种子,然后以这一点为中心向周围扩散,若周围的像素点灰度与这一点灰度的差值在允许范围内便认为它们是同一区域的。分割完一个区域后再以同样的方法进行下一个区域的分割。该方法对于一些自然景物分割效果较好。
边缘分割法是通过检测灰度级或结构突变进行分割的方法。在一副图像中，若某一点像素灰度值与周围的灰度值相差较大,就认为该点可能处于边界上。如果能找到更多这样的点,并将具有联通性的点连起来就形成了边界。一种简单的边缘检测法就是利用微分算子,一般的算子有 Sobel算子、 Roberts算子、Prewitt算子、拉普拉斯算子等。另外,还有一些新发展起来的边缘分割法,如基于数学形态学的边缘分割法、基于遗传算法的边缘分割法、基于分形的边缘分割法等。
图像分割没有通用的自身理论,随着科学的发展,出现了一些与特定理论相结合的图像分割法,如基于聚类分析的图像分割法、基于模糊理论的图像分割法、基于小波变换的图像分割法、基于神经网络的图像分割法、基于图论的图像分割法等。
3.图像特征提取。
为了完成图像中目标的识别,要在图像分割的基础上,提取需要的特征,并将某些特征计算、测量、分类,以便于计算机根据特征值进行图像分类、识别和理解。
在图像识别中,常选以下特征。
(1)图像幅度特征图像像素灰度值、RGB、HSI和频谱值等表示的幅值特征是图像的最基本特征。
(2)直观性特征图像的边沿、轮廓、纹理和区域等,都属于图像灰度的直观特征。它们的物理意义明确,提取比较容易,可以针对具体问题设计相应的提取算法。
(3)图像统计特征图像统计特征主要有直方图特征、统计性特征(如均值、方差、能量、熵等)、描述像素相关性的统计特征(如自相关系数、协方差等)。
(4)图像几何特征图像几何特征主要有面积、周长、分散度、伸长度、曲线的斜率和曲率、凸凹性、拓扑特性等。
(5)图像变换系数特征如傅里叶变换系数、 Hough变换、 Wavelet变换系数、 Gabor变换、哈达玛变换、K-L变换(PCA)等。
此外,还有一些其他描述图像的特征,如纹理特征、三维几何结构描述特征等。
4.图像模式识别。
图像模式识别的方法很多,从图像模式识别提取的特征对象来看,图像识别方法可分为基于形状特征的识别技术、基于色彩特征的识别技术以及基于纹理特征的识别技术等。
(1)基于形状特征的识别方法基于形状特征的识别方法关键是找到图像中对象形状及对此进行描述,形成可视特征矢量,以完成不同图像的分类,常用来表示形状的变量有形状的周长、面积、圆形度、离心率等。
(2)基于色彩特征的识别方法基于色彩特征的识别方法主要针对彩色图像,通过色彩直方图具有的简单且随图像的大小、旋转变换不敏感等特点进行分类识别。
(3)基于纹理特征的识别方法基于纹理特征的识别方法是通过对图像中非常具有结构规律的特征加以分析或者是对图像中的色彩强度的分布信息进行统计来完成。
依据模式特征选择及判别决策方法的不同,图像模式识别方法可分为统计模式(决策理论)识别方法、句法(结构)模式识别方法、模糊模式识别方法和神经网络模式识别方法等。
(1)统计模式识别方法统计模式识别是目前最成熟也是应用最广泛的方法,它是以数学上的决策理论为基础建立统计模式识别模型。其基本模型是对被研究图像进行大量统计分析,找出规律性的认识,并选取出反映图像本质的特征进行分类识别。统计模式识别系统可分为两种运行模式,即训练和分类。训练模式中,预处理模块负责将感兴趣的特征从背景中分割出来、去除噪声以及进行其他操作;特征选取模块主要负责找到合适的特征来表示输入模式;分类器负责训练分割特征空间。在分类模式中,被训练好的分类器将输入模式根据测量的特征分配到某个指定的类。
统计模式识别根据决策界是否直接得到将其分为几何方法和基于概率密度的方法。几何方法经常直接从优化一定的代价函数构造决策界,它包括模板匹配法、距离分类法、线性判别函数、非线性判别函数等。其中模板匹配法是模式识别中的一个最原始、最基本的方法,它将待识模式分别与各标准模板进行匹配，若某一模板与待识模式的绝大多数单元均相匹配,则称该模板与待识模式“匹配得好”,反之则称“匹配得不好”,并取匹配最好的作为识别结果。基于概率密度的方法要首先估计密度函数然后构造分类函数指定决策界。
(2)句法模式识别方法句法模式识别系统主要由预处理、基元提取、句法分析和文法推断等几部分组成。由预处理分割的模式,经基元提取形成描述模式的基元串(即字符串)。句法分析根据文法推理所推断的文法,判决有序字符串所描述的模式类别,得到判决结果。
(3)模糊模式识别模糊模式识别是根据人对事物识别的思维逻辑,结合人类大脑识别事物的特点,将计算机中常用的二值逻辑转向连续逻辑。在图像识别领域应用时该方法可以简化图像识别系统,并具有实用、可靠等特点。应用模糊方法进行图像识别的关键是确定某一类别的隶属函数,而各类的统计指标则要由样本像元的灰度值和样本像元的隶属函数的值即隶属度共同决定。
(4)神经网络模式识别神经网络模式识别源于对动物神经系统的研究,通过采用硬件或软件的方法,建立了许多以大量处理单元为结点,各单元通过一定的模式实现互联的拓扑网络。该网络通过一定的机制,能够模仿人的神经系统的结构和功能。神经网络是一种全新的模式识别技术,它具有分布式存储信息的特点;神经元能够独立运算和处理收到的信息,即系统能够并行处理输入的信息;
神经网络还具有自组织、自学习的能力。
5.结果传输。
通过环境感知系统识别出的信息,传输到车辆其他控制系统或者传输到车辆周围的其他车辆,完成相应的控制功能。
四、环境感知系统组成。
智能网联汽车环境感知系统由信息采集单元、信息处理单元和信息传输单元组成,如图5-4所示。
(1)信息采集单元对环境的感知和判断是智能网联汽车工作的前提和基础,感知系统获取周围环境和车辆信息的实时性和稳定性,直接关系到后续检测或识别准确性和执行有效性。信息采集技术主要有超声波传感器、激光雷达、毫米波激光雷达、视觉传感器、定位导航及车载自组织网络技术等。
(2)信息处理单元信息处理单元主要是对信息采集单元输送来的信号,通过一定的算法对道路、车辆、行人、交通标志、交通信号灯等进行识别。
(3)信息传输单元信息处理单元对环境感知信号进行分析后,信息送入传输单元,传输单元根据具体情况执行不同的操作,如分析后的信息确定前方有障碍物,并且本车与障碍物车辆之间的距离小于安全距离,则将这些信息送人控制执行模块,控制执行模块结合本车速度、加速度、转向角等自动调整智能网联汽车的车速和方向,实现自动避障,在紧急情况下也可以自动刹车;
信息传输单元把信息传输到传感器网络上,实行车内部资源共享;也可以把信息通过自组织网络传输给车辆周围的其他车辆,实现车辆与车辆之间信息共享。
