一种基于整数规划的人群密度估计方法技术

本发明专利技术涉及一种基于整数规划的人群密度估计方法，其步骤包括：1)根据输入的图像或视频帧进行特征提取，得到像素的特征向量；2)进行密度图估计，为每个像素建立其特征向量到密度值的映射关系，得到密度图；3)将密度图分成若干个局部区域，在每个区域进行目标计数，得到目标的数目；4)在密度图基础上使用带约束的整数规划方法进行目标检测，确定目标的位置。本发明专利技术能够更好的适应复杂场景、高密度、有遮挡场景下的人群密度估计，能够提高检测精度，对不同场景、不同视角、不同物体结构、不同样本大小、部分遮挡等情况都有很好的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及一种视频监控技术，属于智能视频监控方法，尤其适合于视频清晰度低、人流量大、个体之前有部分遮挡的情况下的人群的计数和检测。
技术介绍
人群密度即单位面积内拥有的人数，不同人群的密度可以反映不同的人群状态，是人群特征的一个重要属性。近年来，人群拥塞引起灾祸数量激增，如果能事前对公共场所的人群状态进行分析、统计，然后据此对人群进行及时合理的疏导，将可以减少灾祸的发生，因此人群密度估计和人数统计对预防群体事件十分重要。现在的人群密度估计研究主要分为两类：一类是通过检测和跟踪个体并计数统计的直接方法；另一类是将人群作为一个整体的研究对象，根据人群特征分析后建立起其与人数的映射关系并实现计数统计的间接方式。相对于间接方式，直接方式更加直观，但是在高密度人群，特别是视野开阔的环境下，其统计准确率较差。相对于直接方式，间接方式在高密度人流及视野开阔环境下的计数准确率更优，但该方法计算模型的复杂度过高、技术准确性及鲁棒性需进一步提高。然而，不管是直接方式还是间接方式，人群密度估计的性能取决于两方面，即目标计数和目标检测。目标计数即统计目标的总体数目。传统的人群计数方法是通过一些机械装置或传感器实现的，如：红外光束检测、机械传动式自动检测、光幕传感器自动人员计数等。这些方法虽然可以完成一定的技术任务，但是机械装置的性能退化、漏检是严重的问题。近些年，随着计算机视觉的发展，产生了很多基于计算机视觉的人数统计方法，包括背景移除法、信息融合法、纹理统计分析法等。背景移除法在低密度时能获得不错的结果，但是在高密度情况下，由于遮挡和摄像角度问题，结果存在很大误差。纹理统计法虽然能在一定程度上实现高密度情况下的人数统计，但是其计算量大、复杂度高、处理时间长、且在低密度人群计数方面出错率依然比较高。在V.LempitskyandA.Zisserman,“Learningtocountobjectsinimages,”inAdvancesinNeuralInformationProcessingSystems,2010.一文中作者提出了一种基于密度图的人群计数方法。所谓密度图就是建立特征向量与密度值的对应关系，通过特征向量求得每个像素的密度值，从而得到整幅图像的密度图，对密度图进行区域分割，然后整数化密度图便可获得每个区域中的目标数量。这个方法能获得更准确的目标数量，但是却缺少了目标的位置信息。目标检测即确定视频中物体的位置，并在图像中找到他们的位置边界框。传统的目标检测方法包括帧间差分法、背景减除法和光流法。背景减除法是通过统计前若干帧的变化情况学习背景扰动规律，此类算法由于通常需要缓冲若干帧来学习背景，因此往往需要消耗大量的内存，此外，对于大范围的背景扰动，这类算法的检测效果也不理想。帧间差分法的主要思想是利用视频图像序列中连续两帧或三帧的差异来检测发生运动的区域，这类算法动态性强，能够适应动态背景下的运动目标检测，但是这类算法检测出的目标轮廓非常不理想，目标运动快时目标轮廓被扩大，目标运动慢时可能无法得到目标位置边界。基于光流的运动目标检测算法是利用光流方程计算出每个像素的运动状态矢量，从而发现运动的像素点，并对这些像素点进行追踪，这类算法在相机运动、背景变化时也能检测出运动目标，但是这类算法复杂度高、易受噪声影响、很难做到实时性检测。同时，这几类算法在多角度、高密度、有遮挡的情况下效果也不是很好，而且不能统计目标的数量。在C.Arteta,V.Lempitsky,J.Noble,andA.Zisserman,“Learningtodetectpartiallyoverlappinginstances,”inIEEEConf.ComputerVisionandPatternRecognition,2013,pp.3230–3237.一文中，作者提出了一种既能统计目标数量又能定位目标位置的方法。此方法是以极值区域为基础实施的，在每个极值区域提取底层特征，然后通过SVM的方法预测每个区域的目标数目，已知每个区域的目标数量后通过K-means的方法获得每个个体的位置。这个方法的检测结果明显优于其它检测方法，但是在目标计数方面却不如上文提到的方法。
技术实现思路
由于现有的人群密度估计方法没能达到同时实现目标检测和目标计数的双重效果，且监控的现实场景存在环境变化、角度变化、目标遮挡以及噪声的影响，使得传统的人群面密度估计方法很难在复杂环境下准确估计高密度情况下的人群密度。本专利技术的目的是提出在高密度、有遮挡、分辨率低等复杂环境下的人群密度估计方法。本专利技术采用的技术方案如下：一种基于整数规划的人群密度估计方法，包括以下步骤：1)根据输入的图像或视频帧进行特征提取，得到像素的特征向量；2)进行密度图估计，为每个像素建立其特征向量到密度值的映射关系，得到密度图；3)将密度图分成若干个局部区域，在每个区域进行目标计数，得到目标的数目；4)在密度图基础上使用带约束的整数规划方法进行目标检测，确定目标的位置。进一步地，步骤1)所述特征提取是提取图像的随机森林特征或者SIFT特征，然后通过Codebook(密码本)和K-means结合的方法进行特征降维，在具体实施时也可以采用传统的PCA(即主成分分析，PrincipalComponentAnalysis)降维的方法。进一步地，步骤2)所述密度图估计，根据提取的特征向量按下面公式计算每个像素密度的估计值：Y(i;ω)=ωTxi,∀i∈I,]]>其中，xi∈RK是图像I中第i个像素的特征向量，ω∈RK是参数向量。由于特征向量是用密码本归一化的向量，所以权重ωj可以理解为密码j的密度值；然后根据求得的各个像素的密度值，最终获得图像的密度图。进一步地，步骤3)进行所述目标计数的方法是：a)根据密度图，利用公式可以求得各个区域中目标数量的近似值，其中wi是由0、1组成一个二值向量，0表示没有目标，1表示有目标，y是由小数组成的密度图向量；利用整数规划的方法将y整数化，获得由0、1组成的目标计数向量g，0表示没有目标，1表示有目标，利用公式进行目标计数；b)目标计数的关键是正确的求解向量g，将g的目标函数定义为：g*=argming∈RMΣj=1L|wjTg-nj|+α|ZTg-N|=argming∈RM||Wg-n||1+α|ZTg-N|,]]>其中，α是归一化参数，W＝[w1,...,wL]T表示由所有滑动窗口的本文档来自技高网...

【技术保护点】
一种基于整数规划的人群密度估计方法，其特征在于，包括以下步骤：1)根据输入的图像或视频帧进行特征提取，得到像素的特征向量；2)进行密度图估计，为每个像素建立其特征向量到密度值的映射关系，得到密度图；3)将密度图分成若干个局部区域，在每个区域进行目标计数，得到目标的数目；4)在密度图基础上使用带约束的整数规划方法进行目标检测，确定目标的位置。

【技术特征摘要】
1.一种基于整数规划的人群密度估计方法，其特征在于，包括以下步骤：
1)根据输入的图像或视频帧进行特征提取，得到像素的特征向量；
2)进行密度图估计，为每个像素建立其特征向量到密度值的映射关系，得到密度图；
3)将密度图分成若干个局部区域，在每个区域进行目标计数，得到目标的数目；
4)在密度图基础上使用带约束的整数规划方法进行目标检测，确定目标的位置。
2.如权利要求1所述的方法，其特征在于：步骤1)所述特征提取是提取图像的随机森林特
征或者SIFT特征，然后利用K-means的方法学习得到有K个密码的密码本，利用该密码
本归一化图像特征向量为向量xk∈RK，其中xk表示某个像素特征向量，k为码本索引表
示此像素属于哪个码本，RK表示一个K维的空间，K表示码本的个数，这样在同一区域
中的所有像素有相同的像素特征，形成超级像素。
3.如权利要求1所述的方法，其特征在于：步骤1)所述特征提取是提取图像的随机森林特
征或者SIFT特征，然后利用PCA方法进行特征降维。
4.如权利要求1所述的方法，其特征在于：步骤2)所述密度图估计，根据提取的特征向量
按下面公式计算每个像素密度的估计值：
Y(i;ω)=ωTxi,∀i∈I,]]>其中，xi∈RK是图像I中第i个像素的特征向量，ω∈RK是参数向量；由于特征向量
是用密码本归一化的向量，所以权重ωj可以理解为密码j的密度值；然后根据求得的各个
像素的密度值，最终获得图像的密度图。
5.如权利要求4所述的方法，其特征在于，所述密度图估计的目标函数定义为下述形式：
ω*=argminω||ω||2+βΣj=1NΣi=1M|D(Yj*(i),Yj(i;ω)|,i∈M,j∈N,]]>其中，ω*表示参数向量的最优解，表示密度真实值和估计值间的差，
表示图像j的第i个像素处的真实密度，Yj(i；ω)表示图像j的第i个像素的密度估计
值，β是一个控制正规化的参数，N表示训练集视频序列中图像的帧数，M...

【专利技术属性】
技术研发人员：孙利民，田莹莹，文辉，芦翔，朱红松，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11