夜间城市交通监控中各类车辆轨迹的完整提取制造技术

这里涉及的是夜间城市交通监控视频中车辆轨迹完整提取的方法。针对如何完整提取车辆轨迹的难题，提出一种结合车辆类型与轨迹反馈修正的跟踪系统。首先借助大气反射‑散射模型复原车灯光斑，在视频远、中、近三部分采用不同滤除方法的同时结合稳定性判断删除噪声之后，再用面积重叠法完成数据关联，获得车灯初始轨迹，接着加入轨迹反馈修正即利用平均速度修正误匹配；通过单应性矩阵把图像坐标转换成路面坐标，计算实际车宽并以此分类车辆，再按车型以车灯时空相似度配对车灯；最后对车辆跟踪结果再次应用轨迹修正，实现了完整提取相邻两个监控点的车辆轨迹。测试实验结果表明，本系统与同类算法相比，车灯匹配率提高了11.33％，车辆跟踪率提高了10％。

【技术实现步骤摘要】

这里涉及的是夜间城市交通监控中各类车辆轨迹的完整提取的方法研究。首先借助大气反射-散射模型复原车灯光斑，在视频远、中、近三部分采用不同滤除方法的同时结合稳定性判断删除噪声之后，再用面积重叠法完成数据关联，获得车灯初始轨迹，接着加入轨迹反馈修正即利用平均速度修正误匹配；通过单应性矩阵把图像坐标转换成路面坐标，计算实际车宽并以此分类车辆，再按车型以车灯时空相似度配对车灯；最后对车辆跟踪结果再次应用轨迹修正，实现了完整提取相邻两个监控点的车辆轨迹。
技术介绍
城市交通监控系统对人身及道路安全日趋重要，越来越多的研究者致力于夜间车辆轨迹的完整提取，完成两个相邻交通监控点的车辆信息的准确传递，实现车辆监控数据(如车牌、轨迹)联网，以期为预判车辆行为和追究肇事者责任提供有力证据。夜间车辆最显著稳定的特征是车灯，要对提取出来的车灯光斑进行配对以达到识别车辆的目的。目前车灯配对主要存在三种方法：a.几何对称法b.最小特征匹配代价法c.最大权重独立集法。其中a最普通，它根据面积、圆形度、质心间距、质心连线斜率、位置和形状等几何特征进行车灯配对。方法b中，如汤春明等人利用最小特征匹配代价函数实现车灯配对，同时引入反馈修正机制对轨迹进行修正。a和b因未考虑监控场景中各类车辆类型，使得在车辆密集、有遮挡的情况下容易造成不止一个配对或没有相应的配对，从而导致车辆轨迹提取结果不完整，特别是在跟踪起始处，故该类算法的普适性和鲁棒性不高。方法c中以Zou等人提出最大权重独立集的配对方法为代表，把所有前灯的两两组合情况都列出来之后，再用顶点堆积法，在帧内用两个约束条件，在帧间用速度相似性，实现合理配对，在后处理中又加入四灯一组的分析情况。该方法由于先入为主的考虑双灯车的情况而对其它情况未作考虑，致使该方法在提取特殊车辆轨迹时不够灵活。车灯配对成功后，通过跟踪车灯实现提取车辆轨迹的目的。目前存在的车灯跟踪方法有：a.利用卡尔曼滤波器或者基于车灯位置、面积及形状等特征的最近邻匹配来实现车灯跟踪；b.利用车灯面积重叠率完成帧间数据关联；c.在a和b的基础上增加空间上下文信息约束车灯匹配，提高数据关联的准确性。实际上，车辆由远及近驶入摄像机监控范围，透视影响及环境光强度的不断变化，使车灯尺寸及外观变化无规律，再加上目标间相互遮挡，造成车灯很难被配对和跟踪，从而导致车辆轨迹混乱或断开。因此目前研究算法都忽略远景区域，通过划定ROI区域缩小跟踪长度。然而远景处车辆信息对于交通监控数据的联网至关重要，它是把所有监控点数据连接起来的前提。
技术实现思路
由上述不同的方法可以看出，各类车辆轨迹的完整提取是夜间城市交通监控中研究的难点。因此这里提出了一种结合车辆类型与轨迹反馈修正的跟踪系统，以实现相邻两个监控点的车辆轨迹的完整提取，包括车灯提取、车灯筛选、轨迹反馈修正、车灯配对及车辆跟踪五个模块。提取车灯后用面积重叠法完成车灯匹配，再用稳定性判断筛选车灯，获得车灯初始轨迹后加入轨迹反馈修正误匹配；接着按照车型配对车灯；最后对车辆跟踪再次应用轨迹修正。1、车灯提取1)车灯复原这里利用已提出的大气-反射模型复原夜间交通监控视频图像中车辆的车灯光斑。车灯复原是完整提取车辆轨迹的基础。2)坐标变换建立图像坐标系与路面坐标系之间的变换关系，能够计算出车灯在实际路面坐标系中的位置，进而可以计算出车辆的真实宽度、位移和速度等稳定特征。通过图像平面Γ1与空间场景平面Γ2之间的单应性矩阵可以实现对目标的真实几何量的测量。单应性矩阵(H：3×3)计算过程如下：λmi＝HMi(1)其中Mi(Xi，Yi，1)是Γ2中任一点，mi(ui，υi，1)是Mi是在Γ1中对应的点，λ是比例因子。消去λ后可以得到关于hij的两个线性方程，如式(3)：若已知Γ2中4个点的坐标以及Γ1中相应的4个点坐标，就可以利用(3)式求出H，通过H可求出图像中任一像素点对应的路面坐标。2、车灯筛选对于车灯复原结果还需要进一步筛选，以删除噪声。将视频场景分远、中、近三部分区域进行分析。线段ac，线段bd是机动车道的两条边界线，线段ab是上一个红绿灯处的禁行线，线段cd是当前红绿灯的禁行线，这四条线段所围区域内的所有驶过车辆是我们要跟踪的目标。针对各部分存在的典型噪声，采用对应的车灯筛选方法，如表1所示。例如，用面积、以及长宽比分别删除中景部分的小噪声点、狭长的地面反射区，用分水岭算法分割粘连的车灯与车身反射区。表1车灯筛选每帧车灯光斑的面积、长宽比及RGB变异度特征的最佳筛选阈值是用迭代法求出。通过分区域筛选，全部车灯被保留，但仍有少量存在了一段时长的高亮噪声，需利用帧间信息进一步删除。3、车灯跟踪利用相邻两帧中同一车灯光斑会有部分重叠的特性关联前后帧每个车灯的ID号，得到车灯的初始轨迹。把稳定跟踪连续五帧的车灯速度均值作为它在某一帧的瞬时速度，把整个跟踪过程的车灯速度均作为它的平均速度，利用该平均速度修正误匹配。1)验证数据光联正确性利用双位置验证保证前后帧对应车灯数据关联正确，如对第m帧中某ID车灯依次向前、向后找t帧，若质心间距满足10个像素间距离，则认为该帧车灯ID信息正确即匹配成功；否则，则认为匹配失败。2)合并不完整轨迹当车速很快或有长时间遮挡时，易导致数据关联失败，使轨迹断开。利用轨迹空间位置和运动方向的相似度来合并断开轨迹，对于轨迹线段ab，轨迹线段cd，若位置坐标(xb，yb)、(xc，yc)满足：横纵坐标之差分别小于5个像素距离，则合并两轨迹并重新分配ID号。查找并统计每条轨迹中连续为零的帧数，若小于10帧，则认为是由漏匹配造成，进而计算漏匹配车灯的时空信息。虚线段bc是根据平均速度计算拟合出的因目标匹配失败而消失的轨迹，从而实现了目标完整轨迹的提取。3)判断非车灯轨迹车灯稳定光斑在跟踪过程中具有运动连续性和形态稳定性，路面和车身反射区域视为非稳定光斑，它们容易引起车灯错误配对。根据稳定性判断筛选车灯，计算每条轨迹li持续的时间T(li)，若未达到设定阈值即不满足式(4)，则认为是非车灯轨迹，不进行配对处理。其中，liy是车灯轨迹的起始y坐标，表示车灯的平均速度，h为视频宽度。4、车辆轨迹完整提取提取车灯后，基于时空特征相似度实现车灯配对。交通场景中存在的各类车辆是导致车灯错误配对和轨迹混乱的主要原因。为了提取长轨迹，依据公布的各类车型的具体数据，我们按照车宽把车辆分为普通车、小车、中车及大车四种类型；按照车灯数目分为独灯车、双灯车及多灯车，然后跟据车辆类别分别进行处理。首先选取车灯对的连线斜率θ、质心欧式距离d、速度差Δυ以及车宽w作为配对特征，完成普通车的车灯配对；若剩余的未配对车灯满足轨迹长度大于远、中和近景区域路面长度的三分之二，则按照车宽及车灯数目进行特殊车辆的分类处理。然后对提取的车辆轨迹再次应用轨迹修正法。分类处理交通场景中的各类车辆使得车灯在整个场景中能够正确配对，避免了在车辆密集、有遮挡的情况下容易造成不止一个配对或没有相应的配对的情况，保证完整提取车辆的长轨迹。同时，保留了独灯车的运动轨迹并保证了一车一轨迹。附图说明图1系统框图图2视频场景图3轨迹反馈修正流程图4合并不完整轨迹图5车辆定位跟踪流程图6变道车辆的跟踪(a)左变道情况(b)右变道情况图7车辆跟本文档来自技高网...

【技术保护点】
夜间城市交通监控中，完整提取各类车辆轨迹的方法，所述方法包括以下步骤：A.车灯复原利用已提出的大气‑反射模型复原夜间交通监控视频图像中车辆的车灯光斑；B.坐标变换图像平面Γ1与空间场景平面Γ2之间的变换关系可表示为：λmi＝HMi                                             (1)其中，H：3×3为单应性轨迹，λ是比例因子，Mi(Xi，Yi，1)是Γ2中任一点，mi(ui，vi，1)是Mi在Γ1中对应的点坐标，式(1)可进一步写成：λuivi1=h11h12h13h21h22h23h31h32h33XiYi1---(2)]]>式(2)消去λ后可以得到关于hij的两个线性方程，如式(3)：h11Xi+h21Yi+h31-h13uiXi-h23uiYi=uih12Xi+h22Yi+h23-h13viXi-h23viYi=vi---(3)]]>已知Γ2中4个点的坐标以及Γ1中相应的4个点坐标，可利用(3)式求出H，通过H可求出图像中任一点像素点对应的路面坐标；C.车灯筛选车灯复原结果还需要进一步筛选，以删除噪声，将交通监控视频场景分远、中、近三部分进行分析，针对各部分存在的典型噪声，采用对应的车灯筛选方法，具体步骤如下：①远景：先用面积法删除大、小噪声，再用分水岭算法分割粘连前灯对；②中景：先用面积法删除小噪声，再用分水岭算法分割粘连的车灯与车身反射区，最后用长宽比删除狭长地面反射区；③近景：先用面积法删除小噪声，再用RGB变异度法删除近似车灯的地面反射区；每帧车灯光斑的面积、长宽比及RGB变异度特征的最佳筛选阈值是用迭代法求出，对少量存在一段时长的高亮噪声，再利用帧间信息进一步删除；D.车灯跟踪利用相邻两帧中同一车灯光斑会有部分重叠的特性关联前后帧每个车灯的ID号，得到车灯的初始轨迹，把稳定跟踪连续五帧的车灯速度均值作为它在某一帧的瞬时速度，把整个跟踪过程的车灯速度均作为它的平均速度，利用该平均速度修正误匹配，轨迹反馈修正具体流程如下：①验证数据关联正确性利用双位置验证保证前后帧对应车灯数据关联正确，如对第m帧中某ID车灯依次向前、向后找t帧，若质心间距满足10个像素间距离，则认为该帧车灯ID信息正确即匹配成功；否则，则认为匹配失败；②合并不完整轨迹用轨迹空间位置和运动方向的相似度合并断开轨迹，对于轨迹线段ab，轨迹线段cd，若位置坐标(xb，yb)，(xc，yc)满足：横纵坐标之差分别小于5个像素距离，则合并两轨迹线段并重新分配ID号；查找并统计每条轨迹中连续为零的帧数，若小于10帧，则认为是由漏匹配造成，进而计算漏匹配车灯的时空信息；③判断非车灯轨迹计算每条轨迹li持续的时间T(li)，若未达到设定阈值即不满足式(4)，则认为是非车灯轨迹，则不进行配对处理；T(li)<|liy-2/3×h|v‾i---(4)]]>其中，是车灯轨迹的起始y坐标，表示车灯的平均速度，h为视频宽度；E.车辆轨迹完整提取根据公布的各类车型的具体数据，按照车宽把车辆分为普通车、小车、中车、及大车四种类型；按照车灯数目分为独灯车、双灯车及多灯车，独灯车包括摩托车和双前灯中有一灯损坏的车，车灯成功配对后，以前灯对连线的质心位置定位车辆，加入轨迹反馈修正，完成车辆跟踪，实现车辆轨迹的完整提取，具体处理流程如下：①选取车灯对的连线斜率θ、质心欧式距离d、速度差Δυ以及车宽ω作为配对特征，完成普通车的车灯配对；②若剩余的未配对车灯满足轨迹长度大于远、中和近景区域路面长度的三分之二，则按照车宽及车灯数目进行特殊车辆的分类处理；③对提取的车辆初始轨迹应用轨迹修正法得到目标完整轨迹。...

【技术特征摘要】
1.夜间城市交通监控中，完整提取各类车辆轨迹的方法，所述方法包括以下步骤：A.车灯复原利用已提出的大气-反射模型复原夜间交通监控视频图像中车辆的车灯光斑；B.坐标变换图像平面Γ1与空间场景平面Γ2之间的变换关系可表示为：λmi＝HMi(1)其中，H：3×3为单应性轨迹，λ是比例因子，Mi(Xi，Yi，1)是Γ2中任一点，mi(ui，vi，1)是Mi在Γ1中对应的点坐标，式(1)可进一步写成：λuivi1=h11h12h13h21h22h23h31h32h33XiYi1---(2)]]>式(2)消去λ后可以得到关于hij的两个线性方程，如式(3)：h11Xi+h21Yi+h31-h13uiXi-h23uiYi=uih12Xi+h22Yi+h23-h13viXi-h23viYi=vi---(3)]]>已知Γ2中4个点的坐标以及Γ1中相应的4个点坐标，可利用(3)式求出H，通过H可求出图像中任一点像素点对应的路面坐标；C.车灯筛选车灯复原结果还需要进一步筛选，以删除噪声，将交通监控视频场景分远、中、近三部分进行分析，针对各部分存在的典型噪声，采用对应的车灯筛选方法，具体步骤如下：①远景：先用面积法删除大、小噪声，再用分水岭算法分割粘连前灯对；②中景：先用面积法删除小噪声，再用分水岭算法分割粘连的车灯与车身反射区，最后用长宽比删除狭长地面反射区；③近景：先用面积法删除小噪声，再用RGB变异度法删除近似车灯的地面反射区；每帧车灯光斑的面积、长宽比及RGB变异度特征的最佳筛选阈值是用迭代法求出，对少量存在一段时长的高亮噪声，再利用帧间信息进一步删除；D.车灯跟踪利用相邻两帧中同一车灯光斑会有部分重叠的特性关联前后帧每个车灯的ID号，得到车灯的初始轨迹，把稳定跟踪连续五帧的车灯...

【专利技术属性】
技术研发人员：汤春明，肖文娜，于翔，陈纯锴，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津;12