基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法技术

本发明专利技术提供一种基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，包括以下步骤：步骤S1，基于PTZ监控摄像机多视角图像构建道路全景图像背景模型；步骤S2，将输入的当前帧图像投影至全景图像背景模型；步骤S3，根据全景图像背景模型提取车辆前景区域；步骤S4，根据当前帧图像中车辆前景区域更新跟踪车辆目标状态；步骤S5，更新道路全景图像背景模型；步骤S6，根据车辆目标在当前帧图像中的位置向PTZ监控摄像机发出相应控制指令。本发明专利技术利用安装在道路路侧的单个PTZ监控摄像机通过上下/左右/放缩可以实现对整个道路场景进行监控，构建用于提取车辆目标的全景图像背景模型，实现对车辆目标的检测和跟踪。

Road panorama modeling and vehicle detection and tracking method based on single PTZ surveillance camera

The present invention provides a method of road panoramic modeling and vehicle detection and tracking based on a single PTZ monitoring camera, including the following steps: step S1, building a road panoramic image background model based on PTZ monitoring camera multi view images; step S2, projecting the input current frame image to the panoramic image background model; step S3, The vehicle foreground area is extracted according to the panoramic image background model; step S4 updates the tracking vehicle target state according to the vehicle foreground area in the current frame image; step S5 updates the road panoramic image background model; step S6, according to the location of the vehicle target in the current frame image, sends out the corresponding control instructions to the PTZ monitoring camera. . In this invention, a single PTZ monitoring camera installed on the road side can be used to monitor the whole road scene through up / down / left / right / reduced / retracting, and a panoramic image background model is built to extract the target of the vehicle, and the vehicle target detection and tracking can be realized.

【技术实现步骤摘要】
基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法
本专利技术涉及一种基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，属于交通视频监控和图像处理

技术介绍
在交通监控的应用领域中，常用的摄像机一般分为两种：一种是静态安装的摄像机，如用于电子警察抓拍的枪型摄像机。安装完成后，摄像机的角度、镜头焦距、视场范围完全固定不能调整，对于视频检测到或者触发的车辆交通违法行为进行抓拍取证；另一种是具有转动云台的摄像机，如路侧安装或者高空安装的PTZ(Pan-Tilt-Zoom，左右-上下-放缩控制)云台摄像机或者球型摄像机，一般均具备高倍变焦功能，可人工自由旋转角度查看路面特定位置。PTZ摄像机的应用使得道路交通监测不再局限于特定视角，更具灵活性，可以对一定路段范围内进行从大场景到特定局部区域的监测。但当前基于PTZ摄像机的车辆交通行为自动识别技术应用仍然缺乏，究其原因是摄像机的自由运动使得车辆目标的位置及通行轨迹难以检测，无法对其通行行为进行判定及识别。针对PTZ摄像机的运动目标检测问题，国内外的相关工作主要针对两个方面。一是大范围场景的全景背景建模问题。如康奈尔大学研究使用了混合高斯模型进行全景背景建模，对每次只能获得部分场景的运动摄像机，构建出不包含运动目标的整个场景背景；清华大学的研究基于图像之间的密度一致性建立基于混合高斯的全景背景模型。二是基于图像拼接的运动目标检测与跟踪问题。国内的张辉博士提出了针对摄像机360度旋转视角的全景图拼接方法，补偿摄像机旋转带来的图像变换，提取运动目标的前景区域；日本的Sugaya博士对运动摄像机视频帧进行特征提取与跟踪，通过仿射模型的几何约束生成全景图像，并与当前帧图像进行对比检测其中的目标；意大利的Bevilacqua博士通过PTZ摄像机扫描建立背景的全景图，然后基于背景减除的方法实现对目标的检测。从算法过程和实验结果看，这些算法在处理的实时性、全景图像的准确性仍与实际应用存在较大差距，且对摄像机的运动模式和拍摄位置存在较大约束条件，不能处理实际道路中车辆目标的检测和跟踪问题。
技术实现思路
本专利技术的目的在于克服现有技术中存在的不足，提供一种基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，实现运动车辆前景的实时检测和跟踪，并用于车辆交通违法行为的判定及识别中。本专利技术采用的技术方案是：一种基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，包括以下步骤：步骤S1，基于PTZ监控摄像机多视角图像构建道路全景图像背景模型；步骤S2，将输入的当前帧图像投影至全景图像背景模型；步骤S3，根据全景图像背景模型提取车辆前景区域；步骤S4，根据当前帧图像中车辆前景区域更新跟踪车辆目标状态；步骤S5，更新道路全景图像背景模型；步骤S6，根据车辆目标在当前帧图像中的位置向PTZ监控摄像机发出相应控制指令。进一步地，步骤S1包括：步骤S11，设置监控视角范围；步骤S12，采集多视角下道路的图像序列；步骤S13，计算相邻视角图像的投影变换矩阵；步骤S14，建立全景图像投影矩阵集合；步骤S15，建立全景图像背景模型。更进一步地，步骤S13包括：步骤S131，对两帧相邻图像分别计算横向与纵向的梯度值，并分别统计两个方向上的梯度统计直方图，如图像Ii,j横向梯度统计直方图纵向梯度统计直方图图像Ii,j+1的横向梯度统计直方图纵向梯度统计直方图其中c为图像宽度、r为图像高度、h为直方图特征值；步骤S132，平移图像Ii,j+1的梯度直方图，计算和所对应的索引k和l分别为图像Ii,j与Ii,j+1间的横向偏移值和纵向偏移值；k0和l0为设置的相邻图像最大偏移量；其中步骤S133，利用特征点算法分别对图像Ii,j与Ii,j+1提取特征点集合和分别为两图像的特征点向量，p0、q0分别为两图像的特征点个数；步骤S134，使用横向偏移值k和纵向偏移值l对的坐标进行修正，计算特征点集合和中各点之间的欧式距离，以距离之和最小为目标指派图像Ii,j与Ii,j+1间的匹配特征点对如果匹配特征点对欧式距离之和小于设定阈值，则转入步骤S135，否则转入步骤S136；步骤S135，使用最小二乘法拟合特征点对之间的坐标变换矩阵，如的坐标分别为(xp,yp)和(xq,yq)，则该矩阵形式有：其中p,q＝1,...,min(p0,q0)，矩阵各参数计算如下：得到投影变换矩阵对进行坐标变换，并与其匹配的坐标计算欧式距离，将匹配特征点之间的平均欧式距离作为投影误差，如果投影误差小于设定的阈值，则认为求解出相邻视角图像之间的投影变换矩阵，否则转入步骤S137；步骤S136，使用随机抽样一致性方法重新寻找图像Ii,j与Ii,j+1间的匹配特征点对通过在特征点中随机抽取四对点计算投影变换矩阵并估计投影误差，直至抽样的匹配点对的投影误差满足阈值，转入步骤S135；步骤S137，重新采集相邻视角图像，并返回步骤S131重新求解。更进一步地，步骤S14包括：获得各相邻视角图像的投影变换矩阵后，进一步求解各视角图像到全景图像的投影变换矩阵，组成全景图像投影矩阵集合；并以视角为索引，放入全景图像投影矩阵集合。更进一步地，步骤S15包括：将各视角图像通过对应的各视角图像到全景图像的投影变换矩阵进行投影和拼接，构成道路全景图像；使用图像背景建模方法构建全景图像的背景模型；定义gx,y为全景图像背景模型中的点(x,y)处的像素值概率分布。进一步地，步骤S2具体包括：在全景图像投影矩阵集合搜索与当前帧图像视角最近或者相同的视角所对应的投影变换矩阵；如已有相同视角的投影变换矩阵，则将当前帧图像进行投影变换至全景图像坐标系；如没有，则根据最近视角图像求解与当前帧图像视角相应的投影变换矩阵并进行投影；并将得到的与当前帧图像视角相应的投影变换矩阵添加至全景图像投影矩阵集合。进一步地，步骤S3具体包括：将投影变换后的当前帧图像各个像素与全景图像背景模型中对应像素进行比对，如点(x,y)处当前帧图像的像素值为vt，则计算sgn(gx,y(vt)-0.5)，其中sgn为符号函数，如结果≥0则当前像素点属于道路背景区域，否则前景区域；进一步，对前景区域进行修正，得到无内部镂空、尺寸/长宽比相符的前景区域认为是当前帧图像中的车辆前景区域。进一步地，步骤S4具体包括：将当前帧图像车辆前景区域与前一帧图像中车辆目标所在区域进行比对，比对的依据是区域特征值，确定当前帧图像中各车辆前景区域所对应的车辆目标；使用当前帧图像车辆前景区域的特征值更新对应车辆目标的状态。进一步地，步骤S5具体包括：使用当前帧图像的像素值更新道路全景图像背景模型对应像素的像素值概率分布函数gx,y。本专利技术的优点在于：1)本专利技术针对视频图像帧的连续性特点，引入多种节省计算量的机制，更适合于运动车辆前景的实时检测和跟踪。2)适合于对车辆随意变更车道、不按规定车道行驶等长时间、长距离发生的交通违法行为进行监测取证。附图说明图1为本专利技术的道路全景建模的流程图。图2为本专利技术的相邻视角图像之间投影变换矩阵求解的具体流程图。图3为本专利技术的相邻视角图像之间投影变换矩阵求解的具体流程图。图4为本专利技术的相邻视角图像的图像偏移估计示意图。图5为本专利技术的相邻视角图像的特征点匹配示意图。本文档来自技高网...

【技术保护点】
一种基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，其特征在于，包括以下步骤：步骤S1，基于PTZ监控摄像机多视角图像构建道路全景图像背景模型；步骤S2，将输入的当前帧图像投影至全景图像背景模型；步骤S3，根据全景图像背景模型提取车辆前景区域；步骤S4，根据当前帧图像中车辆前景区域更新跟踪车辆目标状态；步骤S5，更新道路全景图像背景模型；步骤S6，根据车辆目标在当前帧图像中的位置向PTZ监控摄像机发出相应控制指令。

【技术特征摘要】
1.一种基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，其特征在于，包括以下步骤：步骤S1，基于PTZ监控摄像机多视角图像构建道路全景图像背景模型；步骤S2，将输入的当前帧图像投影至全景图像背景模型；步骤S3，根据全景图像背景模型提取车辆前景区域；步骤S4，根据当前帧图像中车辆前景区域更新跟踪车辆目标状态；步骤S5，更新道路全景图像背景模型；步骤S6，根据车辆目标在当前帧图像中的位置向PTZ监控摄像机发出相应控制指令。2.如权利要求1所述的基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，其特征在于，步骤S1包括：步骤S11，设置监控视角范围；步骤S12，采集多视角下道路的图像序列；步骤S13，计算相邻视角图像的投影变换矩阵；步骤S14，建立全景图像投影矩阵集合；步骤S15，建立全景图像背景模型。3.如权利要求2所述的基于单个PTZ监控摄像机的道路全景建模与车辆检测跟踪方法，其特征在于，步骤S13包括：步骤S131，对两帧相邻图像分别计算横向与纵向的梯度值，并分别统计两个方向上的梯度统计直方图，如图像Ii,j横向梯度统计直方图纵向梯度统计直方图图像Ii,j+1的横向梯度统计直方图纵向梯度统计直方图其中c为图像宽度、r为图像高度、h为直方图特征值；步骤S132，平移图像Ii,j+1的梯度直方图，计算和所对应的索引k和l分别为图像Ii,j与Ii,j+1间的横向偏移值和纵向偏移值；k0和l0为设置的相邻图像最大偏移量；其中步骤S133，利用特征点算法分别对图像Ii,j与Ii,j+1提取特征点集合和分别为两图像的特征点向量，p0、q0分别为两图像的特征点个数；步骤S134，使用横向偏移值k和纵向偏移值l对的坐标进行修正，计算特征点集合和中各点之间的欧式距离，以距离之和最小为目标指派图像Ii,j与Ii,j+1间的匹配特征点对p,q＝1,...,min(p0,q0)}，如果匹配特征点对欧式距离之和小于设定阈值，则转入步骤S135，否则转入步骤S136；步骤S135，使用最小二乘法拟合特征点对之间的坐标变换矩阵，如的坐标分别为(xp,yp)和(xq,yq)，则该矩阵形式有：其中p,q＝1,...,min(p0,q0)，矩阵各参数计算如下：

【专利技术属性】
技术研发人员：王敏，姜良维，王长君，陆文杰，马庆，方丽庄，
申请(专利权)人：公安部交通管理科学研究所，
类型：发明
国别省市：江苏,32