买芯片网
XILINX(AMD),ALTERA(INTEL),LATTICE
聚焦三大FPGA芯片品牌,强大的现货交付能力
Xilinx,Altera,Lattice
买芯片网代理Altera(英特尔)、Lattice(莱迪思)、Xilinx(赛灵思 AMD)
首页 >> Xilinx新闻 >> 车载视觉的优缺点
车载视觉的优缺点

随着汽车保有量的不断增加,道路交通事故和车祸伤亡人数居高不下。越来越多的先进技术应用于汽车主动安全领域,以满足人们对汽车安全性能要求的不断提高。在道路交通事故中,主要受害者是参与交通系统的行人和骑自行车的人。美国高速公路安全管理局(NHTSA)数据显示,2008年美国因交通事故造成69 4000名行人死亡或受伤 378名行人死亡,占全年交通事故死亡总数的11.7%。2007年,中国因交通事故行人死亡人数为21 106人占交通事故死亡总数的25.9%,行人受伤70人 838人占交通事故伤害总数的18.6%.与一些发达国家相比,交通事故的死亡原因和伤害模式与发达国家不同,因为中国的交通模式主要是混合交通模式。

南皇电子专注于整合中国优质电子Xilinx代理商国内领先的现货资源,提供合理的行业价格、战略备货、快速交付控制Xilinx芯片供应商,轻松满足您的需求Xilinx芯片采购需求.

近年来,为了保证行人安全,提高汽车主动安全性能,国内外一些科研机构对行人保护技术进行了研究和讨论。在不断完善被动汽车安全系统的同时,逐步开发和应用主动安全系统,结合护。如Bajracharya在道路交通场景下,建立了双目视觉行人保护集成系统40个 m行人在距离范围内的检测和跟踪。

Munder行人识别分类器结合行人的点分布形状模型和纹理特征,采用基于粒子滤波的贝叶斯方法实现行人跟踪。德国Enzweiler比较分析统计学习中的小波特性、线性支撑向量机和神经网络,通过设计不同尺度的分类器检测图像中的行人。清华大学的江帆提出了基于模型集成的行人跟踪算法,结合离线学习和在线学习更新模型。中国科技大学程有龙将行人检测的先验知识整合到跟踪模型的自学过程中,动态建模跟踪行人,在真实监控场合跟踪具有复杂运动的行人。多传感器信息集成和行人模型的建立需要较大的计算量和计算参数,难以满足车辆主动安全预警等系统的实时要求。本文采用车载单目视觉传感器,通过训练获得的行人识别级联分类器实时获取车辆前方的行人,跟踪记录其运动轨迹,为驾驶员和行人的有效预警提供技术参考。

1基于Adaboost行人检测算法

1.1 Adaboost算法原理

Adaboost算法通过训练获得了由一般分类能力的弱分类器叠加而成的强分类器,然后将几个强分类器串联成一个级联分类器来遍历图像。鉴于行人检测和防撞预警的快速实现,Adaboost本文选择了离散算法的特点Adaboost为了快速消除图像中大多数非行人窗口的结构,算法训练获得了识别行人的级联分类器。其中,强分类器训练过程的各个阶段。

车载视觉的优缺点

图1 N阶级联分类器结构

车载视觉的优缺点

图2离散Adaboost训练算法

从训练过程中可以看出,该算法主要通过调整训练样本的权重来加强对错误分类样本的训练,最后通过权重组合级联的所有弱分类器形成强分类器。

1.2样本离线训练和行人在线检测

本文采用Adaboost通过程序加载分类器,对行人进行在线检测和检测过程进行算法训练。

样本的离线训练模块主要是为了获得识别行人的级联分类器,具体流程如下。

(1)样品采集和预处理:不同距离、不同方向、不同衣服、不同尺寸的行人图像通过离线手动分割到16×32像素的尺寸;非行人样本是从不含行人的背景图像中分割得到的。为了减少训练样本的内部差异,减少不同光照对训练结果的影响,采用直方图平衡方法预处理样本。本文选择的训练样本共3个 060幅,其中行人样本2 非行人样本100件,960件;

(2)样本特征提取:选择P.Viola等提出的类Haar特征作为行人检测的特征,主要描述图像模式相邻区域的特征差异,矩形区域的特征值可以通过积分图快速计算;

(3)训练结果:训练得到的级联分类器由20级强分类器组成,每个强分类器包含不同数量的弱分类器,每个弱分类器由一个类组成Haar特征、阈值和指示不等号方向组成。随着分类器级数的增大,强分类器中所包含弱分类器即类Haar特征的数量越多。训练前6级强分类器中包含的类别Haar特征及其数量见表1所示。

车载视觉的优缺点

行人在线检测模块根据培训分类器判断图像窗口,检测结果是一系列目标矩形,显示图像中行人的位置,本文通过缩放检测子窗口到处检测图像,划分未知行人目标,具体检测过程如下。

(1)获取大小为320×设置240像素待检图像的最小检测窗口大小为32×64像素从图像的左下角逐行向右移动每个像素检测窗口,直到达到图像边缘;

(2)利用培训模块获得的级联分类器,按照图1所示的方法判断待检窗口,完成该级别检测窗口大小的扫描:如果待检窗口可以通过所有级联分类器,则表示为行人窗口;如果任何强分类器不能通过,可以判断为非行人窗口;

(3)根据测试确定的比例系数放大测试子窗口的大小,并按照上述步骤扫描测试图像,以获得更大的行人目标。

2基于Kalman行人跟踪滤波器

使用离散Kalman滤波器预测行人在下一刻可能出现的区域,缩短目标搜索时间,实现行人的快速跟踪定位。行人跟踪结果不仅可以获得行人的运动轨迹,还可以为行人的运动分析提供可靠的数据源。

2.1 Kalman滤波算法原理

Kalman滤波器由动态过程模型和反馈修正链接组成。动态过程模型实现预测功能,反馈修正链接将增益和残余乘积作为模型的强制函数。设置系统的状态方程和观测方程如下:

车载视觉的优缺点

式中:Xk是时刻k的n维持状态向量;Zk是时刻k的m维观测量向量;n阶方阵Фk-1.状态转移矩阵;m×n阶矩阵Hk观察矩阵;Wk-1、Vk是2个服从正态分布的零均值高斯白噪声序列,方差阵分别为Qk、Rk。

Kalman可预测滤波过程的方程:

车载视觉的优缺点

滤波递推方程:

表示,其中:

增益滤波器;

预测误差方差阵;

车载视觉的优缺点

滤波误差方差阵。

2.2行人跟踪

根据Kalman滤波原理,本文跟踪车辆前行人的质心位置和行人外矩形的高度和宽度。行人的状态可以用其纹理位置、位置变化率和外部矩形框的大小来表示。假设(xt,yt)第t帧图像的像素位置代表行人区域质心点;(Δxt,Δyt)分别代表质感的变化;(ht,wt)是行人周围外部矩形的高度和宽度;(Δht,Δwt)是高度和宽度的变化。因此,行人在第t帧图像中的状态向量可以表示为:

由于行人运动速度慢,相邻两帧图像之间的时间间隔短,可以假设行人在单位时间间隔内以匀速运动,状态转移矩阵如下:

车载视觉的优缺点

观测道路区域各状态变量的方法Zt=(xt,yt,ht,wt)T,选用系统测量矩阵:

关于车载视觉的优点和不足

为应用Kalman滤波器跟踪车辆前方的行人,必须确定状态变量和误差方差矩阵的初始值。在连续两帧图像成功实现行人识别定位后,基于Kalman滤波器跟踪。假设检测到行人的图像是t帧和t 1帧,初始状态向量X0可表示为:

车载视觉的优缺点

此外,还需要定义相应的协方差矩阵P0.由于Pt随着更多图像的反复更新,可以给它更大的初始值。假设预测位置在x和y方向离真实位置±x和y方向上速度离真实速度±五个像素误差。由于行人腿的运动,行人外矩形的宽度大于高度,假设外矩形窗的高度与实际行人矩形窗的高度误差±高度变化率有5个像素±三个像素误差;宽度误差为±宽度变化率为10个像素±五个像素误差。因此,误差协方差矩阵P0可定义为:

车载视觉的优缺点

除了X0和P0.还需要估计系统状态方程和测量方程的误差协方差矩阵Q和R。通过观察,可以认为系统状态噪声如下y系统定位误差的标准偏差为5个像素,因此进一步认为速度的标准偏差为每帧2个像素。行人外矩形窗的高度标准偏差为3个像素,变化率为1个像素,行人矩形窗宽度标准偏差为5个像素,变化率为2个像素。因此,状态变量噪声协方差矩阵可以表示为:

车载视觉的优缺点

在x和y方向标准偏差为3个像素,高度标准偏差为2个像素,宽度标准偏差为3个像素。

车载视觉的优缺点

利用上述状态预测、更新方程和初始条件,可以估计每帧图像的状态向量X^k(-)和相应的协方差矩阵Pk( )。协方差矩阵Pk( )预测行人矩形窗口位置的不确定范围,Pk( )估计值越大,越不稳定,搜索区域越大,搜索区域[17]自动调整.

3试验及分析

行人检测和跟踪识别过程如下:

(1)根据图3所示的在线检测模块分析CCD行人是否存在于收集的序列图像中,并记录行人目标矩形的相关信息;

(2)如果在序列图像中连续2帧检测到行人,则启动行人跟踪程序,并用检测结果更新Kalman过滤器可以预测行人在下一帧中可能存在的区域;

(3)根据以下策略修改预测区域:以行人质心位置的估计值为中心,将预测行人矩形的高度和宽度放大1.5倍,建立行人搜索的兴趣区域,在新兴趣区域使用级联分类器进行目标检测,然后将检测到的行人质心和矩形宽度和高度作为下一步预测的初始值;

表2行人检测与跟踪试验结果统计

图4是车辆由静止到运动状态下对前方1个行人的跟踪结果

当车辆静止时,行人背对着车辆向前行走,行走到一定位置,等待车辆启动。车辆向前行驶一段距离后,行人继续向前移动,并伴有过马路等动作。从图5的跟踪曲线可以看出,识别行人的外部矩形宽度变化明显,符合实际情况,行人行走时腿部跨度变化明显,行人的外部矩形高度变化相对连续。

4结束语

本文提出了一个基础Adaboost根据行人运动速度慢的特点,提出行人检测算法Kalman滤波器预测行人外部矩形的中心、宽度和高度,建立动态可变行人搜索感兴趣的区域,平均每帧图像处理时间为80 ms左右降至55 ms,满足实时要求。试验表明,本文可以识别车辆前方静止运动的行人,检测率约为88%。

行人检测技术是汽车安全辅助驾驶研究领域的重要组成部分,下一步需要在行人检测的基础上,分析其运动状态以及本车对其构成的危险程度。在车辆与行人可能发生碰撞时,及时向驾驶员发出警示信息,当驾驶员没有采取有效避碰措施时,系统启动减速或紧急制动等操作,有效保障行人的安全。

试验表明,本文的研究工作仍存在一些不足,考虑因素不全面,受光照条件的影响较大。下一步计划CCD光圈自动调节装置可以提高白天强光条件或暗光条件的成像质量,研究如何提取有效的特征,区分行人目标,增加训练样本或改进训练方法。同时,结合红外传感器,研究夜间或夜间行人检测。

 

Xilinx中国海量优质的信息资源、行业资讯、最新开发方案等资讯信息平台。

Xilinx芯片今日搜索排行榜(2024年5月1日)
XA7A15T-1CSG324I
嵌入式 - FPGA(现场可编程门阵列)
产品封装:324-LFBGA,CSPBGA
XCV200-6FG456C
嵌入式 - FPGA(现场可编程门阵列)
产品封装:456-BBGA
XCR3256XL-10FTG256I
嵌入式 - CPLD(复杂可编程逻辑器件)
产品封装:256-LBGA
XC95108-7TQG100C
嵌入式 - CPLD(复杂可编程逻辑器件)
产品封装:100-LQFP
XC3S400-4FGG320I
嵌入式 - FPGA(现场可编程门阵列)
产品封装:320-BGA
XA7S25-1CSGA225I
嵌入式 - FPGA(现场可编程门阵列)
产品封装:225-LFBGA,CSPBGA
XC3S1200E-4FT256I
嵌入式 - FPGA(现场可编程门阵列)
产品封装:256-LBGA
XC6SLX4-2CSG225C
嵌入式 - FPGA(现场可编程门阵列)
产品封装:225-LFBGA,CSPBGA
Xilinx产品及其应用
Xilinx公司新闻
买芯片网轻松满足您的芯片采购需求
买芯片网,独家代理渠道,专注三大品牌:XILINX(赛灵思 AMD)ALTERA(英特尔 INTEL)LATTICE(莱迪思)