行人识别技术是智能网联汽车先进驾驶辅助系统的重要组成部分。行人是道路交通的主体和主要参与者,由于其行为具有非常大的随意性,再加上驾驶员在车内视野变窄以及长时间驾驶导致的视觉疲劳,使得行人在交通事故中很容易受到伤害。行人识别技术能够及时准确地检测出车辆前方的行人,并根据不同危险级别提供不同的预警提示(如距离车辆越近的行人危险级别越高,提示音也应越急促),以保证驾驶员具有足够的反应时间,能够极大地降低甚至避免撞人事故的发生。 一、行人检测类型。 行人检测技术是利用安装在车辆前方的视觉传感器(摄像头)采集前方场景的图像信息,通过一系列复杂的算法分析处理这些图像信息实现对行人的检测。 根据所采用摄像头的不同,又可以将基于视觉的行人检测方法分为可见光行人检测和红外行人检测。 (1)可见光行人检测可见光行人检测采用的视觉传感器为普通光学摄像头,由于普通摄像头基于可见光进行成像,非常符合人的正常视觉习惯,并且硬件成本十分低廉:但是受到光照条件的限制,该方法只能应用在白天,在光照条件很差的阴雨天或夜间则无法使用。 (2)红外行人检测红外行人检测采用红外热成像摄像头,利用物体发出的热红外线进行成像,不依赖于光照,具有很好的夜视功能,在白天和晚上都适用,尤其是在夜间以及光线较差的阴雨天具有无可替代的优势。红外行人检测相比可见光行人检测的主要优势包括:红外摄像头靠感知物体发出的红外线(与温度成正比)进行成像,与可见光光照条件无关,对于夜间场景中的发热物体检测有明显的优势;行人属于恒温动物,温度一般会高于周围背景很多,在红外图像中表现为行人相对于背景明亮突出:由于红外成像不依赖于光照条件,对光照明暗、物体颜色变化以及纹理和阴影干扰不敏感。随着红外成像技术的不断发展,红外摄像头的硬件成本也在慢慢降低,由原来的军事应用慢慢开始转向了民事应用。 二、行人识别特征。 行人识别特征的提取就是利用数学方法和图像处理技术从原始的灰度图像或者彩色图像中提取表征人体信息的特征,它伴随着分类器训练和识别的全过程，直接关系到行人识别系统的性能,因此行人识别特征提取是行人识别的关键技术。在实际环境中,由于行人自身的姿态不同、服饰各异和背景复杂等因素的影响,使得行人特征提取比较困难,因此选取的行人特征要鲁棒性比较好。目前行人识别特征主要有HOG特征、Har特征、 Edgeley特征和颜色特征等。 1.HOG特征。 HOG特征的主要思想是用局部梯度大小和梯度方向的分布来描述对象的局部外观和外形,而梯度和边缘的确切位置不需要知道。 梯度方向直方图描述符一般有三种不同形式,如图5-9所示,都是基于密集型的网格单元,用图像梯度方向的信息代表局部的形状信息,图5-9(a)为矩形梯度直方图描述符;图5-9(b)为圆形梯度方向直方图描述符;图5-9(c)为单个中心单元的圆形梯度直方图描述符。
2.Haar小波特征。
Har小波特征反应图像局部的灰度值变化,是黑色矩形与白色矩形在图像子窗口中对应区域灰度级总和的差值。Haar小波特征计算方便且能充分的描述目标特征,常与 Adaboost级联分类器结合,识别行人目标。
常用的Haar小波特征主要分为八种线性特征、四种边缘特征、两种圆心环特征和一种特定方向特征,如图5-10所示。
可以看出,Haar小波特征都是由2~4个白色和黑色的矩形框构成。由该特征定义知,每一种特征都是计算黑色填充区域的像素值之和与白色填充区域的像素值之和的差值,这种差值就是Haar小波特征的特征值。实验表明,一副很小的图像就可以提取成千上万的大量的Haar小波特征,这样就给算法带来了巨大的计算量,严重降低了检测Haar和分类器的训练的速度,为了解决这些问题,可以在特征提取中引入积分图的概念,并应用到实际的对象检测框架中。
3. Edgeley特征。
Edgeley特征描述的是人体的局部轮廓特征,该特征不需要人工标注,从而避免了重复计算相似的模板,降低了计算的复杂度,由于是对局部特征的检测,该算法能较好地处理行人之间的遮挡问题,对复杂环境多个行人相互遮挡检测效果明显优于其他特征。
人体部位的定义如图5-11所示。
每一个 Edgeley特征就是一条由边缘点组成且包含一定形状与位置信息的小边,主要有直线型、弧形和对称型三种形式的 Edgeley特征,该方法是通过Adaboost算法筛选出一组能力强的 Edgeley特征进行学习训练,便能识别行人的各个部位,如头、肩、躯干和腿,最后分析各个局部特征相互之间的关系来进行整体的行人检测。
4.颜色特征。
就几何特征而言,颜色特征具有较强的鲁棒性,图像中子对象的方向和大小的改变对它影响不大,颜色给人以直观的视觉冲击,是最稳定、最可靠的视觉特征,颜色特征经常描述跟踪对象来实现目标的跟踪。
颜色特征提取与颜色空间和颜色直方图有关。颜色空间包括RGB、HSV和HIS等。颜色直方图表示的是整幅图像中不同颜色所占的比例,并不关心每种颜色所处空间位置,即无法描述图像中的对象。在运动目标的检测与跟踪中,颜色直方图有其独特的优点,即物体形变对其影响较小,由于颜色直方图不表示物体的空间位置,仅表示颜色,跟踪目标的颜色不变,形体发生变化不会影响颜色直方图的分布,所以应用颜色直方图作为特征进行行人跟踪,很好地改善了行人动作随意和形变较大的缺点。
上述4种特征各有优缺点,概括如下。
①HOG特征是比较经典的行人特征,具有良好地光照不变性和尺度不变性，能较强地描述行人的特征,对环境适应性较强,但它也有其自身的不足,如特征维数较高和计算量大,难保证实时性。
②Haar小波特征容易理解,计算简单,特别是引入积分图概念后,计算速度提高,实时性高,在稀疏行人且遮挡不严重的环境下检测效果较好,但是它对光照和环境遮挡等因素敏感,适应性差,不适合复杂易变的行人场景。
③ Edgeley特征表征的是人体局部轮廓特征,可以处理一定遮挡情况下的行人检测,但是该算法要去匹配图像中所有相似形状的边缘,这样就需要耗费大量时间进行搜索,不能达到实时要求。
④颜色特征具有较强的鲁棒性,图像中子对象的方向和大小的改变对它影响不大,颜色给人以直观的视觉冲击,是最稳定、最可靠的视觉特征,常应用于行人跟踪领域,但是该特征容易受到背景环境的影响。
三、行人识别方法。
从国内外当前的研究进展来看,行人识别的理论研究和实际应用已经取得了令人瞩目的成果,但仍然没有研发出一种广泛使用在各种场景下的通用识别方法,这主要是由行人的特性所决定的,行人属于非刚体,所以行人的姿态、穿着和尺度大小以及周围环境的复杂性、是否遮挡等都会对行人识别带来不同程度的难度,其难点主要表现在以下5个方面。
(1)复杂场景复杂场景主要包括光照不均所造成的阴影目标以及雨雪大风天气等恶劣环境的影响;动态背景的影响包括波动的水流、摆动的树叶、涌动的喷泉以及转动的风扇等:识别行人时,当行人运动过慢、过快以及行人着装和周围环境相似时,都会容易造成将前景目标识别为背景,从而影响后续行人识别的准确度。另外,场景中多目标的相互遮挡以及行人尺度过小等都会给识别带来不同方面的困难。
(2)行人着装和姿态的多样化人是属于非刚体,具有丰富的姿态特征,如坐下、站立、蹲下、骑车、躺下和拥抱等,针对不同姿态下的行人,识别算法都要具体分析,往往一个针对站立行人识别很有效的算法,可能就无法有效地识别出骑车的行人。有时候身材和着装的不同,行人的外观差异性也很大,如冬天和夏天,行人是否带围巾、眼镜、头盔和口罩,晴天和雨天,行人是否撑雨伞、穿雨衣等,一个人在不同年龄段的高矮胖瘦,衣服的颜色、穿裙子或穿裤子都会影响到头部、躯干、手部及腿部的外观。
(3)行人特征选取常见的行人特征包括颜色特征、轮廓特征、HOG特征、Har小波特征、 Edgeley特征等,行人识别往往利用其中的一种特征或者融合其中的多个特征来联合识别行人,增加识别的准确度。但是具体需要选择哪种特征能获得比较好的识别效果,不仅与选择的特征有关,还与采用的算法、场景的复杂性、行人运动的特性,甚至和摄像头获取视频序列的属性都有关,所以很难用某一种特征或通用的算法来解决行人识别问题。
(4)行人目标遮挡行人目标遮挡是行人识别中比较难解决的问题,行人遮挡不仅表现在行人被场景内的静态物体部分遮挡或全遮挡,还表现在行人目标间的相互遮挡以及全遮挡等。遮挡极易造成行人目标信息的丢失,造成误检或漏检,从而影响识别的准确性,给后续的行人跟踪、识别带来巨大挑战。为了减少行人目标遮挡带来的歧义性,必须正确处理遮挡时所获取的特征与行人目标间的对应关系。
(5)行人识别窗口自适应调整问题在摄像头所获取的视频帧中,当行人目标与摄像头的距离发生变化时,往往导致视场内行人的尺寸也会发生相应的变化。在识别过程中,如何有效地调整行人识别窗口的大小,使之更符合行人尺寸大小,是保证行人识别算法鲁棒性的重要指标,同时也是保证后续跟踪、识别算法提取更加准确信息的有力保障。
目前,行人识别方法主要有基于特征分类的行人识别方法、基于模型的行人识别方法、基于运动特性的方法、基于形状模型的方法、基于模板匹配的方法以及基于统计分类的方法等。
(1)基于特征分类的行人识别方法基于特征分类的识别方法着重于提取行人特征,然后通过特征匹配来识别行人目标,是目前较为主流的行人识别方法,主要有基于HOG特征的行人识别方法、基于Haar小波特征的行人识别方法、基于 Edgeley特征的行人识别方法、基于形状轮廓模板特征的行人识别方法、基于部件特征的行人识别方法等。
(2)基于模型的行人识别方法基于模型的识别方法是通过建立背景模型识别行人,常用的基于背景建模的行人识别方法有混合高斯法、核密度估计法和Codebook法。
(3)基于运动特性的方法基于运动特性的行人识别就是利用人体运动的周期性特性来确定图像中的行人。该方法主要针对运动的行人进行识别,不适合识别静止的行人。基于运动特性的识别方法中,比较典型的算法有背景差分法、帧间差分法和光流法。
(4)基于形状模型的方法基于形状模型的行人识别主要依靠行人形状特征来识别行人,避免了由于背景变化和摄像机运动带来的影响,适合于识别运动和静止的行人。
(5)基于模板的匹配方法基于模板匹配的行人识别是通过定义行人形状模型,在图像的各个部位匹配该模型以找到目标,建立的行人形状模型主要有线性模型、轮廓模型以及立体模型等。
(6)基于统计分类的方法基于统计分类的行人识别是从样本中训练得到行人分类器,利用该分类器遍历图像各窗口进行判别,训练是离线进行的,不占用识别时间,分类器具有鲁棒性。
