一种基于多级检测的行人检测与跟踪方法技术

一种基于多级处理的行人检测与跟踪方法，包括如下步骤：1)提取背景帧并预处理；2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，将差分图像灰度值与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；3)利用行人的外形特征对目标区域进行初步的判断；4)对于判定为似目标区域的矩形区域Rn个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪。本发明专利技术计算速度较快、实时性良好、实用性较强。

【技术实现步骤摘要】
一种基于多级检测的行人检测与跟踪方法
本专利技术涉及视频识别领域，尤其涉及一种行人检测与跟踪方法。
技术介绍
现有的光流法实现目标跟踪的流程：1)对于得到的视频帧序列，利用一定的目标检测方法(传统为光流检测)，检测可能出现的前景目标；2)如果某一帧出现了前景目标，找到其具有代表性的关键特征点(可以随机产生，也可以利用角点来做特征点)；3)对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标。光流法可以对图像中的每个像素点赋予一个速度矢量，然后根据各个像素点的速度矢量特征对图像进行动态分析，通过检测运动物体与背景所形成的速度矢量来识别和跟踪运动物体，是一种有效的运动跟踪算法，但是由于视频序列中风吹、树叶摆动、摄像机抖动等因素以及非目标运动信息的干扰，使得光流法在进行行人检测跟踪时需要额外检测大量的无用信息，严重影响计算速度，无法保证实时性和实用性。
技术实现思路
为了克服已有光流法实现的行人检测与跟踪方法的计算速度较慢、实时性较差、实用性较差的不足，本专利技术提供了一种计算速度较快、实时性良好、实用性较强的基于多级处理的行人检测与跟踪方法。本专利技术解决其技术问题所采用的技术方案是：一种基于多级处理的行人检测与跟踪方法，所述检测与跟踪方法包括如下步骤：1)提取背景帧并预处理，将输入的第一帧视频作为初始化背景图像帧，并对输入的每一帧原始图像帧进行图像预处理，对于不同尺寸的视频要进行归一化处理；2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，矩形区域用Rn表示，其尺寸信息包括长度Hn、宽度Wn、角度为λn；前景提取公式：Δdt(x,y)＝|It(x,y)-Bt(x,y)|其中Δdt(x,y)、It(x,y)、Bt(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值dt(x,y)与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；3)目标区域的初步判定，利用行人的外形特征对目标区域进行初步的判断，包括设置矩形长轴与短轴长度比例的阀值L1、L2，长轴与地面夹角的阀值A，对于在阀值范围内的矩形区域划初步分为似目标区域，其他矩形区域划分为非目标区域丢弃；其中L1、L2、A为设定值，Rn表示是否为目标区域，1表示为目标区域，0表示非目标区域；4)目标区域的最终判定，对于判定为似目标区域的矩形区域Rn个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪。进一步，所述步骤4)中，HOG特征检测只检测初步判断为似行人区域的图像区域，并结合SVM行人分类器对目标区域进行分类，将每个似行人区域转化为一幅独立图像帧，经过归一化尺寸特征提取，依次输入SVM分类器，最终判别是否是行人。再进一步，所述步骤4)中，基于HOG特征的行人检测算法将样本库图片和待测图片大小归一化为64×32，块大小为16×16，每个块分为4个8×8像素的单元，步长为8个像素。更进一步，所述步骤4)中，采用改进的Lucas-Kanade算法进行光流估计，设上一帧为Fn，当前帧为Fn+1，上一帧中含有X个目标区域，当前帧中含有Y个目标区域，分别以这些区域的矩形框为边界将目标区域转换成目标图像帧，分别为Fn＝{Fn,1,Fn,2…Fn,X}和Fn+1＝{Fn+1,1,Fn+1,2…Fn+1,Y}，根据矩形框大小计算出中心点分别为Cn＝{Cn,1,Cn,2…Cn,X}和Cn+1＝{Cn+1,1,Cn+1,2…Cn+1,Y}，然后以Cn中的点集作为光流特征点集，分别对Cn+1中的目标位置点集进行光流金字塔计算，最终从Cn+1中找出与Cn中各点相对应的特征点进行匹配，匹配成功后映射到Fn+1对应位置并以Fn+1中目标区域的中心点集为光流特征点集对下一帧进行匹配，如此迭代下去。所述步骤4)中，利用Lucas-Kanade算法进行跟踪的流程如下：4.1)初始化需要跟踪的特征点，本文中即为Cn；4.2)计算两帧的光流金字塔，根据两帧之间的光流来计算初始化特征点所对应的目标点，即需要跟踪的点。4.3)显示特征点和运动轨迹，把输入输出点进行互换，上一帧与目前帧互换以及上一帧与当前帧金字塔互换，进行下一次跟踪；其中，光流金字塔的计算采用OpenCV提供的函数cvCalcOpticalFlowPyrLK()实现。采用多个目标区域代替整体图像帧的方式，对每个目标区域分别进行光流计算跟踪，将最终跟踪的结果映射到原图像帧上，用Fn代替函数中的上一帧参数prev，用Fn+1代替当前帧参数curr，用Cn作为特征点参数prev_features，用Cn+1作为目标位置点集进行光流金字塔计算。所述步骤1)中，采用每隔设定时间将与背景差分结果小于阀值的图像帧作为新的背景帧进行动态更新。所述步骤2)中，当采用背景减除法获得前景时，采用中心点距离小于阀值的轮廓区域合并，并用包裹轮廓边缘的矩形框进行标注，作为运动区域。本专利技术的有益效果主要表现在：计算速度较快、实时性良好、实用性较强。附图说明图1是本专利技术的方法步骤流程图；图2是行人跟踪的步骤流程图；图3是本专利技术实施例中行人检测和跟踪的效果图。具体实施方式下面结合附图对本专利技术作进一步描述。参照图1～图3，一种基于多级检测的行人检测与跟踪方法，包括以下步骤：1)提取第一帧视频作为初始化背景图像帧，并对输入的每一帧原始图像帧进行高斯滤波、噪声过滤等图像预处理；为优化处理速度和保证图像质量，对于不同尺寸的视频要进行归一化处理，将大于320×240的视频帧统一归一化为320×240，将小于320×240的视频帧保持原始尺寸，以免分辨率过小；为减小算法复杂度，本专利技术不采用混合高斯模型进行背景自适应更新，而采用每隔一定时间将与背景差分结果小于阀值的图像帧作为新的背景帧进行动态更新；2)用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，矩形区域用Rn表示，其尺寸信息包括长度Hn、宽度Wn、角度为λn；前景提取算法如下：Δdt(x,y)＝|It(x,y)-Bt(x,y)|其中Δdt(x,y)、It(x,y)、Bt(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分。当采用背景减除法获得前景时，在前景和背景的灰度值差别不大的地方容易出现不连通的空洞，所以本专利技术采用将相邻较近(中心点距离小于阀值)的轮廓区域合并，并用包裹轮廓边缘的矩形框进行标注，作为运动区域。3)利用行人的外形特征对目标区域进行初步的判断，包括设置矩形长轴与短轴长度比例的阀值L1、L2，长轴与地面夹角的阀值A，对于在阀值范围内的矩形区域划初步分为似目标区域，其他矩形区域划分为非目标区域丢弃。其中阀值设定及公示如下：L1＝2，L2＝10，A＝75°其中L1、L2、A的设定值时根据实验效果设定，实际应用本文档来自技高网...

【技术保护点】
一种基于多级处理的行人检测与跟踪方法，其特征在于：所述检测与跟踪方法包括如下步骤：1)提取背景帧并预处理，将输入的第一帧视频作为初始化背景图像帧，并对输入的每一帧原始图像帧进行图像预处理，对于不同尺寸的视频要进行归一化处理；2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，矩形区域用Rn表示，其尺寸信息包括长度Hn、宽度Wn、角度为λn；前景提取公式：Δdt(x,y)＝|It(x,y)‑Bt(x,y)|其中Δdt(x,y)、It(x,y)、Bt(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值dt(x,y)与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；dt(x,y)=0,dt(x,y)<T1,dt(x,y)≥T]]>3)目标区域的初步判定，利用行人的外形特征对目标区域进行初步的判断，包括设置矩形长轴与短轴长度比例的阀值L1、L2，长轴与地面夹角的阀值A，对于在阀值范围内的矩形区域划初步分为似目标区域，其他矩形区域划分为非目标区域丢弃；Rn=1,ifL1<HnWn<L2andλn<A0,otherwise]]>其中L1、L2、A为设定值，Rn表示是否为目标区域，1表示为目标区域，0表示非目标区域；4)目标区域的最终判定，对于判定为似目标区域的矩形区域Rn个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪。...

【技术特征摘要】
1.一种基于多级处理的行人检测与跟踪方法，其特征在于：所述检测与跟踪方法包括如下步骤：1)提取背景帧并预处理，将输入的第一帧视频作为初始化背景图像帧，并对输入的每一帧原始图像帧进行图像预处理，对于不同尺寸的视频要进行归一化处理；2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，矩形区域用Rn表示，其尺寸信息包括长度Hn、宽度Wn、角度为λn；前景提取公式：Δdt(x,y)＝|It(x,y)-Bt(x,y)|其中Δdt(x,y)、It(x,y)、Bt(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值dt(x,y)与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；3)目标区域的初步判定，利用行人的外形特征对目标区域进行初步的判断，包括设置矩形长轴与短轴长度比例的阀值L1、L2，长轴与地面夹角的阀值A，对于在阀值范围内的矩形区域划初步分为似目标区域，其他矩形区域划分为非目标区域丢弃；其中L1、L2、A为设定值，Rn表示是否为目标区域，1表示为目标区域，0表示非目标区域；4)目标区域的最终判定，对于判定为似目标区域的矩形区域Rn个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪；采用改进的Lucas-Kanade算法进行光流估计，设上一帧为Fn，当前帧为Fn+1，上一帧中含有X个目标区域，当前帧中含有Y个目标区域，分别以这些区域的矩形框为边界将目标区域转换成目标图像帧，分别为Fn＝{Fn,1,Fn,2,…Fn,X}和Fn+1＝{Fn+1,1,Fn+1,2,…Fn+1,Y}，根据矩形框大小计算出中心点分别为Cn＝{Cn,1,Cn,2,…Cn,X}和Cn+1＝{Cn+1,1,Cn+1,2…Cn+1,Y}，...

【专利技术属性】
技术研发人员：张标标，王亚沛，李仁旺，宋海龙，吴斌，陈跃鸣，杜克林，
申请(专利权)人：宁波熵联信息技术有限公司，
类型：发明
国别省市：浙江;33