一种基于级联多级卷积神经网络的人群密度估计方法技术

本发明专利技术公开了一种基于级联多级卷积神经网络的人群密度估计方法，1)采用多级卷积神经网络，提取由低层到高层的特征，并且将低层和高层特征组合在一起形成多阶段的特征，从而增强了人群密度特征的可分性；2)根据多级卷积神经网络降采样层中特征图的相似性，去掉卷积神经网络中冗余神经元的连接，从而加快特征提取的速度；3)依据人群密度样本可分性的难易程度，训练了两种不同结构的多级卷积神经网络，并采用由简单到复杂的顺序级联这两种多级卷积神经网络，形成级联的多级卷积神经网络的人群密度估计模型，对视频终端实时获取的检测图像快速地进行人群密度等级的估计。本发明专利技术的实时性，检测准确度方面较之以前的方案都有了更好的效果。

【技术实现步骤摘要】
一种基于级联多级卷积神经网络的人群密度估计方法
本专利技术属于数字图像处理
，更为具体地讲，涉及一种视频智能监控系统中，对公共区域人群密度进行实时准确估计的方法。
技术介绍
随着计算机视觉技术和相关硬件的发展以及人类安全意识的不断提高，基于公共场合的智能监控技术越来越引起社会的广泛关注，也是实现数字化城市的重要组成部分。特别是针对公共场合中的人群管理能够有效地提高人身安全，防止因为过度拥堵导致的群体性践踏事件的发生，同时根据人群密度的区域分布实现对公共资源合理配置。因此针对公共场合的人群密度估计及其相关技术也得到了广泛应用。当前基于视频图像的人群密度估计主要通过以下两个步骤实现：人群特征提取、人群特征分类。人群特征提取主要是从监控设备采集到的视频图像上获取人群特征描述，从而刻画人群密度。当前人群特征描述主要集中在手工设计的纹理特征上，如：基于小波分析、基于LBP和基于灰度共生矩阵的GLDM纹理特征。人群特征分类主要集中在选择一个什么样的分类模型来拟合人群密度，从而获得相应人群密度等级。当前基于人群密度估计的分类器选择主要集中在支持向量机SVM和BP神经网络。然而由于公共场合的人群密度估计多为非约束的开放性环境，复杂多变，存在光照变化，视角变换，远近变换等，使用当前手工设计的人群特征和人群特征分类器，不能准确刻画人群密度的本征表示，对不同密度等级缺乏较强的可分性。另外，当前人群特征分类器由于自身较高的复杂性也降低了系统的处理速度，因此，需要一种准确、实时、且在复杂场合具有高适应性的人群密度估计方法。1、与本专利技术相关的现有技术一在中山大学和广州中大南沙科技创新产业园有限公司纪庆革、杜景洪、迟锐申请、2014年05月28日公开、公开号为CN103824074A、专利技术名称为“一种基于背景减除和纹理特征的人群密度估计方法及系统”的中国专利技术专利申请中，首先对输入图像采用带有背景减除的方式进行前景提取，获取前景图像；然后使用小波变换提取纹理特征，利用SVM分类器实现视频获取图像的人群密度估计，具体如图1所示，包括以下步骤：(1)、采用背景差分法检测运动目标，就是用当前帧图像与设定的背景图像相减，获得初步前景图像；(2)、通过中值滤波获得二值前景掩码，并应用该掩码最终获得提取的前景图像；(3)、采用小波滤波，对每张图像做三级小波变换形成一张低通近似图和九张细节子图，并在每张细节子图上获取两组特征向量即统计特征和GLDM纹理特征。(4)、利用步骤(3)得到特征进行训练获得SVM分类模型，实现人群密度等级估计。该专利申请利用了背景差分获取人群前景区域，检测准确性密切依赖前景提取的结果，复杂场景无法准确获取前景，从而会在一定程度上产生误报。另外，采用手工设计的GLDM等特征，存在一定局限性，对于实际应用中的非约束的开放性环境中人群密度无法准确刻画其本征，从而造成一定程度误报。2、与本专利技术相关的现有技术二2.3.1现有技术二的技术方案在佳都新太科技股份有限公司的毛亮、冯琰一、张少文申请、2013年11月13号公开、公开号为CN103390172A，专利技术名称为“一种高密度场景下的人群密度估计方法”的中国专利技术专利申请中，首先利用视频获取图像，并进行梯度方向计算，获取梯度方向图；然后对梯度方向图进行LBP纹理特征计算；最后利用ADABOOST进行人头检测，获取高密度场景下的人头数目，利用人头数目，进行人群密度估计，具体如图2所示，包括以下步骤：首先获取视频图像，然后计算梯度方向图，然后利用LBP进行编码获得纹理特征；在获得纹理特征基础上，利用ADABOOST进行人头检测，从而统计出人头个数，达到人群密度等级的检测。该专利申请利用求取的梯度方向图的LBP特征进行纹理刻画，然后通过ADABOOST进行人头检测实现密度估计，该专利申请的检测结果严重依赖于人头检测的结果，在复杂场景下，由于存在遮挡，视角，远近等诸多不确定性干扰，无法准确获取人头数，造成人群密度估计的错误。上述两种传统的人群密度估计方法，利用人为设计的纹理特征都无法准确刻画人群图像的本征，导致无法准确地实现人群密度的估计，另外，人群密度估计的实时性也有待提高。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于级联多级卷积神经网络的人群密度估计方法，以提高人群密度估计的准确性和实时性。为实现以上目的，本专利技术1、一种基于级联多级卷积神经网络的人群密度估计方法，其特征在于，包括以下步骤：(1)、离线训练和优化阶段1.1)、对于一个应用场景，将人群密度分为M个密度等级，然后，从视频终端监控视频中收集每个密度等级的人群密度样本各N1张组成训练集，收集每个密度等级的人群密度样本各N2张组成验证集；1.2)、人群密度估计模型的设计构造一个两阶段特征提取器和一个分类器的多级卷积神经网络作为人群密度估计模型，其中，每个阶段的特征提取器均包含一个卷积层和降采样层，执行卷积、降采样，分类器是一个不含隐藏层的全连接神经网络，依据第一阶段以及第二阶段输出的特征图进行人群密度等级进行估计，输出各密度等级的估计值，并根据估计值得到密度等级分类；在第一阶段的特征提取器中，输入为视频图像，输出为多张特征图，在卷积层，其计算公式为：其中，上标2表示参数属于第二阶段特征特征提取器的参数，Gj为输入特征图即第一阶段输出的特征图与第二阶段输出的第j个卷积特征图的连接关系，wij表示第二阶段输出的第j卷积特征图与第i个第一阶段输出的特征图的卷积核，bj表示第j个偏移量，f(·)为sigmoid激活函数；在降采样层，无重叠地用一个均值核扫描卷积层特征图，输出与卷积层等数量的特征图；在第二阶段的特征提取器中，卷积层的输入为第一阶段输出的特征图和输出为多张特征图，在卷积层，其计算公式为：其中，上标2表示参数属于第二阶段特征特征提取器的参数，Gj为输入特征图即第一阶段输出的特征图与第二阶段输出的第j个卷积特征图的连接关系，wij表示第二阶段输出的第j卷积特征图与第i个第一阶段输出的特征图的卷积核，bj表示第j个偏移量；在降采样层，同第一阶段一样，无重叠地用一个均值核扫描卷积层特征图，输出与卷积层等数量的特征图；1.3)、采用BP算法训练简单结构的人群密度估计模型利用步骤1.2)的方法构建一个人群密度估计模型作为简单结构的人群密度估计模型，其采用经典的BP算法进行学习，学习速率设定为恒定值0.01；在训练集中，每个密度等级选出p1张人群密度样本，然后按张作为视频图像输入到简单结构的人群密度估计模型，计算每张人群密度样本经过简单结构的人群密度估计模型后的输出即各密度等级的估计值与自身样本标签中对应密度等级值的误差，然后进行平均，用平均误差来更新简单结构的人群密度估计模型的参数，包括特征提取器中的卷积核和偏移量，以及分类器中的权重和偏移量；其中，样本标签为各个密度等级的值，其中人群密度样本所属的密度等级1，其余密度等级的值为0；更新完毕后，在验证集上，每个密度等级选取p2张人群密度样本输入到简单结构的人群密度估计模型进行验证，如果每一个密度等级的分类正确率不再提高，则终止简单结构的人群密度估计模型的训练，否则重新选出p1张人群密度样本，继续简单结构的人群密度估计模型的训练，直到满足每一个密度等级分类正确率本文档来自技高网...

【技术保护点】
一种基于级联多级卷积神经网络的人群密度估计方法，其特征在于，包括以下步骤：(1)、离线训练和优化阶段1.1)、对于一个应用场景，将人群密度分为M个密度等级，然后，从视频终端监控视频中收集每个密度等级的人群密度样本各N1张组成训练集，收集每个密度等级的人群密度样本各N2张组成验证集；1.2)、人群密度估计模型的设计构造一个两阶段特征提取器和一个分类器的多级卷积神经网络作为人群密度估计模型，其中，每个阶段的特征提取器均包含一个卷积层和降采样层，执行卷积、降采样，分类器是一个不含隐藏层的全连接神经网络，依据第一阶段以及第二阶段输出的特征图进行人群密度等级进行估计，输出各密度等级的估计值，并根据估计值得到密度等级分类；在第一阶段的特征提取器中，输入为视频图像，输出为多张特征图，在卷积层，其计算公式为：yi1=f(x1⊗wi1+bi1)---(1),]]>其中，下标i表示卷积层特征图的索引，上标1表示参数属于第一阶段特征提取器的参数，yi表示第i个卷积层特征图，x表示输入的视频图像，wi表示第i个卷积核，bi表示第i个偏移量，表示卷积操作；在降采样层，无重叠地用一个均值核扫描卷积层特征图，输出与卷积层等数量的特征图；在第二阶段的特征提取器中，卷积层的输入为第一阶段输出的特征图和输出为多张特征图，在卷积层，其计算公式为：yj2=f(Σi∈Gjyi1⊗wij2+bj2)---(2),]]>其中，上标2表示参数属于第二阶段特征特征提取器的参数，Gj为输入特征图即第一阶段输出的特征图与第二阶段输出的第j个卷积特征图的连接关系，wij表示第二阶段输出的第j卷积特征图与第i个第一阶段输出的特征图的卷积核，bj表示第j个偏移量；在降采样层，同第一阶段一样，无重叠地用一个均值核扫描卷积层特征图，输出与卷积层等数量的特征图；1.3)、采用BP算法训练简单结构的人群密度估计模型利用步骤1.2)的方法构建一个人群密度估计模型作为简单结构的人群密度估计模型，其采用经典的BP算法进行学习，学习速率设定为恒定值0.01；在训练集中，每个密度等级选出p1张人群密度样本，然后按张作为视频图像输入到简单结构的人群密度估计模型，计算每张人群密度样本经过简单结构的人群密度估计模型后的输出即各密度等级的估计值与自身样本标签中对应密度等级值的误差，然后进行平均，用平均误差来更新简单结构的人群密度估计模型的参数，包括特征提取器中的卷积核和偏移量，以及分类器中的权重和偏移量；其中，样本标签为各个密度等级的值，其中人群密度样本所属的密度等级1，其余密度等级的值为0；更新完毕后，在验证集上，每个密度等级选取p2张人群密度样本输入到简单结构的人群密度估计模型进行验证，如果每一个密度等级的分类正确率不再提高，则终止简单结构的人群密度估计模型的训练，否则重新选出p1张人群密度样本，继续简单结构的人群密度估计模型的训练，直到满足每一个密度等级分类正确率不再提高为止；1.4)、采用BP算法训练复杂结构的人群密度估计模型利用步骤1.2)的方法构建一个人群密度估计模型作为复杂结构的人群密度估计模型，其第一阶段特征提取器输出的特征图数量以及第二阶段特征提取器输出的特征图数量都大于简单结构的人群密度估计模型，同时，也采用经典的BP算法进行学习，学习速率设定为恒定值0.001；将训练集中的所有人群密度样本，按张作为视频图像输入步骤1.3)训练后的简单结构的人群密度估计模型中进行分类，如果人群密度样本的分类密度等级与实际密度等级不一致，或者无法分类出密度等级，则定义这样的人群密度样本为复杂样本；每个密度等级选出p3张复杂样本，然后按张作为视频图像输入到简单结构的人群密度估计模型，采用步骤1.3)相同的方法进行迭代训练，直到满足每一个密度等级分类正确率不再提高为止；1.5)、优化简单结构的人群密度估计模型1.5.1)、计算特征图之间的相似度在训练集中，每个密度等级选出p4张人群密度样本按张作为视频图像输入到步骤1.3)训练完成的简单结构的人群密度估计模型，提取每个人群密度样本在第二阶特征提取器降采样层的特征图，并求取各个特征图之间的相似度Sk(m,n)，k＝1,2,…,p4；计算各个特征图之间相似度的平均值，即：S(m,n)=1n4Σk=1p4Sk(m,n);]]>1.5.2)、利用特征图之间相似度的平均值，形成相似特征图组：以σ为聚类半径，对特征图之间相似度的平均值进行聚类，形成多个特征图组，其中，σ根据实际情况确定；1.5.3)合并相似特征图，减少特征图组的冗余如果特征图组中含有多个特征图，则以每组聚类中心的特征图作为该组保留图，其余为冗余特征图；然后去掉冗余特征图的前向连接，合并冗余特征图的后向连接并付给该组的保留特...

【技术特征摘要】
1.一种基于级联多级卷积神经网络的人群密度估计方法，其特征在于，包括以下步骤：(1)、离线训练和优化阶段1.1)、对于一个应用场景，将人群密度分为M个密度等级，然后，从视频终端监控视频中收集每个密度等级的人群密度样本各N1张组成训练集，收集每个密度等级的人群密度样本各N2张组成验证集；1.2)、人群密度估计模型的设计构造一个两阶段特征提取器和一个分类器的多级卷积神经网络作为人群密度估计模型，其中，每个阶段的特征提取器均包含一个卷积层和降采样层，执行卷积、降采样，分类器是一个不含隐藏层的全连接神经网络，依据第一阶段以及第二阶段输出的特征图进行人群密度等级进行估计，输出各密度等级的估计值，并根据估计值得到密度等级分类；在第一阶段的特征提取器中，输入为视频图像，输出为多张特征图，在卷积层，其计算公式为：其中，下标i表示卷积层特征图的索引，上标1表示参数属于第一阶段特征提取器的参数，yi表示第i个卷积层特征图，x表示输入的视频图像，wi表示第i个卷积核，bi表示第i个偏移量，表示卷积操作；在降采样层，无重叠地用一个均值核扫描卷积层特征图，输出与卷积层等数量的特征图；在第二阶段的特征提取器中，卷积层的输入为第一阶段输出的特征图和输出为多张特征图，在卷积层，其计算公式为：其中，上标2表示参数属于第二阶段特征特征提取器的参数，Gj为输入特征图即第一阶段输出的特征图与第二阶段输出的第j个卷积特征图的连接关系，wij表示第二阶段输出的第j卷积特征图与第i个第一阶段输出的特征图的卷积核，bj表示第j个偏移量；在降采样层，同第一阶段一样，无重叠地用一个均值核扫描卷积层特征图，输出与卷积层等数量的特征图；1.3)、采用BP算法训练简单结构的人群密度估计模型利用步骤1.2)的方法构建一个人群密度估计模型作为简单结构的人群密度估计模型，其采用经典的BP算法进行学习，学习速率设定为恒定值0.01；在训练集中，每个密度等级选出p1张人群密度样本，然后按张作为视频图像输入到简单结构的人群密度估计模型，计算每张人群密度样本经过简单结构的人群密度估计模型后的输出即各密度等级的估计值与自身样本标签中对应密度等级值的误差，然后进行平均，用平均误差来更新简单结构的人群密度估计模型的参数，包括特征提取器中的卷积核和偏移量，以及分类器中的权重和偏移量；其中，样本标签为各个密度等级的值，其中人群密度样本所属的密度等级1，其余密度等级的值为0；更新完毕后，在验证集上，每个密度等级选取p2张人群密度样本输入到简单结构的人群密度估计模型进行验证，如果每一个密度等级的分类正确率不再提高，则终止简单结构的人群密度估计模型的训练，否则重新选出p1张人群密度样本，继续简单结构的人群密度估计模型的训练，直到满足每一个密度等级分类正确率不再提高为止；1.4)、采用BP算法训练复杂结构的人群密度估计模型利用步骤1.2)的方法构建一个人群密度估计模型作为复杂结构的人群密度估计模型，其第一阶段特征提取器输出的特征图数量以及第二阶段特征提取器输出的特征...

【专利技术属性】
技术研发人员：李涛，叶茂，李旭冬，付敏，唐宋，向涛，黄仁杰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51