一种多特征融合的人群密度估计方法技术

本发明专利技术公开一种多特征融合的人群密度估计方法，包括：提取基于KLT跟踪的轨迹段数目特征；对现存的人群密度估计算法的特征，包括GLCM纹理分析特征、像素统计特征，再和轨迹段数目特征在不同场景下进行实验对比，找到对人群密度估计最适合的特征组合：GLCM纹理特征+像素统计特征+轨迹段数目特征。提取出训练集视频帧的轨迹段数目特征、像素统计特征和纹理特征，送入线性回归模型中训练，得到的模型，计算出测试视频帧中行人的数目。本发明专利技术将基于KLT跟踪的轨迹段数目作为人群密度估计的特征，并将其应用到线性回归模型，和现有的基于个体目标的人群密度估计算法相比，复杂度低，准确率高。

【技术实现步骤摘要】

本专利技术涉及视频分析中人群密度估计方法，更具体的，涉及一种多特征融合的人 群密度估计方法，该方法提取了基于KLT跟踪的轨迹段数目作为人群密度估计的新特征， 并将提取的新特征与其它特征相融合，对人群密度进行估计。
技术介绍
在很多公共场合，由于人群密度过高而产生灾难。为减少公共安全事件的发生，开 发一套实时监控各种公共场合的人群密度的智能系统是非常重要和急迫的。 2001年，Lin发表文章提出新的人群密度估计算法，该算法首先利用Haar小波变 换和头部特征的结合提取目标，进而将检测的物体特征放入支持向量机SVM分类器进行分 类判断是否为人类头部，最后通过计算检测出来的头部数目来做人群数目统计，该算法在 人群密度小的场景下准确率比较高。2003年，Zhao和Nevatia在CVPR上发表一篇文章，首 次介绍基于3D模型匹配的人群密度估计算法，该算法在无遮挡的情况下还是可行的，但是 其复杂度高、耗时且在遮挡情况下无法匹配等一系列问题注定了其在当时无法广泛应用开 来。2005年，Leibe同样在CVPR上发表文章提出基于全局特征和局部特征结合的人群密度 估计，该算法很好地解决了 Lin和Zhao等人算法的缺陷，成功在人群遮挡的情况下很好地 检测出行人，但是由于其算法耗时大，复杂度高，无法实时监控而缺乏应用性。随后，Rabaud 和Bel〇ngie2006年在CVPR上发表一篇文章，该文章利用KLT跟踪算法和聚类算法结合的 方法对人群密度进行估计，但是却被固定人群所限制。 在实际应用中，对每个个体进行识别分割的方法其实是非常不可取的，不仅容易 错检漏检，而且对个体精确分割常常导致整个算法复杂度高而失去应用性。Chen在2007年 提出团块的概念，通过模糊检测的方法降低检测的难度，再在块中具体做人头检测，由论文 中图所示，改算法利用人头数目来计算人群密度。 虽然团块的应用大大减少了算法的复杂程度和提高检测准确度，但是在人群密集 或者遮挡的场景下还是会表现其不足。Kilambi在2008年提出了利用最小化函数来估计人 群密度，但是该算法只能估计人群密度的等级而无法精确计算。 现存的研究往往都是在全局中应用单一回归模型，把特征向量映射成行人数量来 进行人群密度估计。由于摄像头与被拍摄场景有视觉差原因，图像中距离较远的物体面积 比较小，而距离较近的物体面积比较大，所以存在透视效应。这种方法重点在于前景像素， 边缘特征，与KLT跟踪轨迹段数目特征的提取，摄像头远近比例过度依赖透视归一化处理， 处理不得当即会带来严重的影响。
技术实现思路
本专利技术的目的是为了克服现有技术的不足，提出一种克服了单一依靠透视归一化 带来的局限性的多特征融合的人群密度估计方法。 本专利技术的目的通过以下的技术方案实现： -种多特征融合的人群密度估计方法，包括以下步骤： (1)对每一帧进行透视归一化处理，并将每一帧分块。 ⑵计算出基于KLT跟踪的轨迹段数目特征。所用KLT追踪，是用仿射运动建立个 体目标运动模型，即J(AX+d) = I(X)，其中A是变形矩阵，d是偏移向量，且A= I+D，I是单 位矩阵，D为零矩阵，即A = I，J(X+d) = I (X);是像素点的坐标，I (X)是像素点X的像素 值，若干个像素点的像素值组成一幅图像；J (X)是I (X)通过AX+d变换后像素点X的像素 值，再最小化式子ε = J J w2? (X)dX，得到提取轨迹段所用模型Zd = e， W是特征窗口，ω (X)是加权函数，最简单的情况是ω (X) = 1，令其等于高斯函数；其中： 采用模型Zd = e计算出了每一个特征窗口中心点的位移d，得到了一系列的轨迹 段，计算出轨迹段的数目，作为人群密度估计的特征，其中丢弃少于等于5帧的轨迹段。 (3)采用高斯混合GMM算法进行运动前景检测，采用Canny算法提取边缘，计算出 视频帧的前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征。 (4)人群特征的比较选择；对现存的人群密度估计算法的特征，前景分割区域特 征、GLCM纹理分析特征、LBP纹理特征、像素统计特征，和步骤（1)中提出的轨迹段数目特 征，在不同场景下进行实验对比，找到对人群密度估计最适合的特征组合：GLCM纹理特征+ 像素统计特征+轨迹段数目特征。 (5)将轨迹段数目特征、像素统计特征和纹理特征融合，放在不同的回归模型中训 练，找到最适合的回归模型。通过实验证明线性回归模型能取得最好的效果。 本专利技术是提取出一种新的个体目标特征，并将其与现有的像素统计特征，纹理特 征相融合，并在此基础上提出将视频帧分块提取特征，再将特征合成一个字典后进行统一 回归，从而更好地进行人群密度估计，克服了单一依靠透视归一化带来的局限性。该方法比 现有方法准确率提高了 15%。 本专利技术与现有技术相比，具有如下优点和有益效果： 1、本专利技术提出的基于KLT跟踪的轨迹段数目特征，相对于其他特征维度较低，所 以算法复杂度低。 2、本专利技术相对于复杂度也较低的GLCM纹理特征，在平均平方误差下降了 7.6%， 平均偏离误差下降了 9. 4%。 3、本专利技术将轨迹段数目特征、像素统计特征和GLCM纹理特征融合，克服了单特征 情况下的缺陷，也比目前常用的像素统计和GLCM纹理两个特征融合的效果好很多，平均偏 离误差下降了 15.45%。 4、本专利技术将提出的将视频帧分块的算法，比未分块的算法准确率提升了 9. 2%。【附图说明】 图1为本专利技术的操作流程图。 图2为UCSD数据集示意图。 图3为mall数据集示意图。 图4为本专利技术提出的基于KLT跟踪的轨迹段数目与行人数量关系图。 图5为一个目标行人的轨迹段示意图。 图6为基于分块的人群密度估计算法的流程图。 图7为多特征融合示意图。 图8基于分块特征的实验对比图。 图9为人群密度估计效果图。【具体实施方式】 下面结合实例和附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于 此。 图1给出了本专利技术的操作过程，如图1所示，一种多特征融合的人群密度估计，包 括以下步骤： (1)收集UCSD行人数据集，这个数据集是加州大学圣地亚哥分校UCSD计算机视 觉实验室在校园内布的固定数字摄像头，录制了一个小时的视频帧。视频背景是在校园走 道，视频中最小人数为11人，最多人数有46人。原视频分辨率为740*480,帧率为30fps， 经过降低采样该数据集是分辨率为238*158、帧率为IOfps的视频。本实施例采用视频中前 2000帧图像，前2000帧只有行人，并且已经人工标定了视频中实际人数，如图2为UCSD数 据集示意图。本实施例用第601-1400帧共800帧图像作为训练集，而剩下的作为测试数据 集。 (2)收集mall数据集，mall数据集是通过公共监控视频在某大型超市内部，经过 两个月的时间拍摄的视频，视频分辨率为320*240,帧率小于2fps，最小人数是13人，而最 大人数达到了 53人。如图3为mall数据集示意图。用前800帧作为训练集，而剩下作为 测试集。 (3)设置三个实验衡量指标，平均绝对误差mae，平均平方误差mse平均偏离误差 mde〇...

【技术保护点】
一种多特征融合的人群密度估计方法，其特征在于，包括以下步骤：(1)视频采集；(2)特征的提取；采用KLT跟踪法对采集的视频中的个体目标进行跟踪，计算出基于KLT跟踪的轨迹段数目特征；对采集的视频进行运动信息前景的检测，提取边缘信息，计算出视频帧的前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征；(3)将轨迹段数目特征、像素统计特征和GLCM纹理分析特征融合，应用到线性回归模型中进行训练得到训练模型；(4)根据训练模型，检测出待测视频帧中行人的数目。

【技术特征摘要】

【专利技术属性】
技术研发人员：赖剑煌，陈春迎，
申请(专利权)人：广东顺德中山大学卡内基梅隆大学国际联合研究院，中山大学，
类型：发明
国别省市：广东;44