一种基于卷积神经网络的人流量统计方法技术

一种基于卷积神经网络的人流量统计方法，包括采集视频中的行人目标，对视频中的行人目标进行打标，获取标注图像和行人目标标注信息数据集，将数据集分成训练数据集和测试数据集；设计基于改进的快速消化卷积层卷积层IRDCL和多尺度卷积层MSCL构成的行人目标检测和比对网络模型PersonBoxes；将标注图像和行人目标标注信息放入行人PersonBoxes中进行训练，输出行人目标检测和比对训练模型；在行人目标检测和比对训练模型基础上，输入视频流数据，生成行人目标移动轨迹，输出视频流在对应时间段内人流量信息，实现人流量统计。本发明专利技术能够实现行人目标的检测和跟踪，统计得到人流量情况，通过分析人流量情况，协助公安部门进行提前布控，把案件侦查由事后向事前转化。

A statistical method of human flow based on convolutional neural network

【技术实现步骤摘要】
一种基于卷积神经网络的人流量统计方法
本专利技术涉及智能视频监控
，尤其涉及一种基于卷积神经网络的人流量统计方法。
技术介绍
随着科技的快速发展，智能视频监控技术在公安刑侦业务中广泛应用，通过视频录像记录行人及车辆行为，从视频中发觉潜在的安全风险已成为刑侦技术的重要手段。在平安城市的建设中，视频监控的数量急剧增加，对视频监控数据的利用就显得十分重要，特别是在一些重点布控区域，需要时刻关注该区域的人流量信息，通过人流量信息来进行合理的警力布控，提升公安的监管效率，更进一步，基于卷积神经网络的人流量统计方法可以高效、实时的分析监控视频中的人流量，从而减少警力对海量视频的巡视，提升公安办公效率。
技术实现思路
本专利技术的目的在于提供一种基于卷积神经网络的人流量统计方法，旨在用于解决现有视频监控场景中人流量统计速度慢、准确率低和稳定性差等问题，通过一种基于卷积神经网络的人流量统计方法可以为视频侦查场景中提供人流分布情况。本专利技术的技术方案如下：一种基于卷积神经网络的人流量统计方法，该方法包括以下步骤：步骤1，获取监控场景的监控视频，获取视频帧图像，对帧图像中的行人目标进行打标，获取标注图像及对应的行人目标标注信息，将行人目标标注信息数据集按照一定比例分成训练数据集和测试数据集；步骤2，构建基于改进的快速消化的卷积层IRDCL和多尺度卷积层MSCL的行人目标检测和比对网络模型PersonBoxes；步骤3，将步骤1获得的标注图像及训练数据集放入PersonBoxes中进行训练，通过迭代训练，利用反传播算法，逐步更新该网络模型的训练参数，直至该网络模型收敛；训练过程中，将测试数据集送入PersonBoxes网络模型中验证模型的定位、分类和比对性能；步骤4，在步骤3训练出的行人目标检测和比对网络模型PersonBoxes的基础上，输入视频流数据，生成行人目标移动轨迹，根据生成的移动轨迹数量，输出视频流在对应时间段内人流量信息，实现人流量统计。进一步地：步骤1中，行人目标标注信息数据格式为{frameId,objectNum,objectId_1[left_1,top_1,right_1,bottom_1,objectId_1],…,objectId_i[left_i,top_i,right_i,bottom_i]},其中，frameId为帧号，可以通过初始值为1，逐帧递增(非必要)，objectNum为该帧图像中行人目标的个数，objectId_i为该帧图像中第i个行人目标对应的ID，left_i,top_i,right_i,bottom_i分别对应着该帧图像中第i个行人目标的左、上、右、下坐标信息，根据相邻帧行人目标的关联关系获取objectId_i在前后帧的坐标信息，从而获取行人目标轨迹信息。进一步地，将行人目标标注信息数据集按照7:3的比例分成训练数据集和测试数据集。进一步地：步骤2中，行人目标检测和比对网络模型PersonBoxes包括：改进的快速消化卷积层IRDCL，由Conv1_1、Conv1_2、Pooling_1、Conv2_1、Conv2_2和Pooling_2组成，IRDCL可以快速降低图像尺寸，减少网络的通道数，减少信息损失，以实现快速提取特征，保证实时性，卷积层Conv1_1、Conv1_2、Conv2_1和Conv2_2的步长分别为2、2、1和2，卷积层之后均连接BN(BatchNormalization)和激活函数ReLU，池化层Pooling_1和Pooling_2的步长分别为2和2，经过IRDCL，到Inception网络前面尺寸就缩小了32倍，为了充分的获取特征信息，Conv1_1和Conv1_2的卷积核大小设置为5×5，Pooling_1的卷积核大小设置为3×3，Conv2_1和Conv2_2的卷积核大小设置为3×3，Pooling_2的卷积核大小设置为3×3。多尺度卷积层MSCL，由Inception1、Inception2、Inception3、Conv3_1、Conv3_2、Conv4_1和Conv4_2组成，其中Inception的网络结构如图3所示，Inception用多尺度卷积核去卷积同一个输入，然后再相加，在增加特征表达能力的同时减少计算量，增加BN和gradientclipping可以稳定训练，Inception1、Inception2和Inception3输出的特征尺度为32×32，Conv3_2输出的特征尺度为16×16，Conv4_2输出的特征尺度为8×8，通过锚框(Anchor)可以关联多尺度的特征图，Inception1、Inception2和Inception3的Anchor尺度分别为32×32、64×64和128×128，Conv3-2和Conv4-2的Anchor尺度分别为256×256和512×512。ROIPoolingLayers，由ROIPooling_1、ROIPooling_2和ROIPooling_3组成，ROIPooling把不同尺度的行人目标输出为7×7的特征信息。Mutil-taskLoss多任务损失函数计算，由SoftMaxLoss、SmothL1Loss和AAMLoss组成，SoftMaxLoss是一个2分类器，用于区分是否为行人目标，SmothL1Loss是一个回归损失函数，用来做边框回归，AAMLoss是增加间隔的角度损失函数，用于对帧之间的行人目标的相似度进行评估，SoftMaxLoss和SmothL1Loss计算Inception3、Conv3-2和Conv4-2连接后的损失，AAMLoss计算Inception3、Conv3-2和Conv4-2中行人目标经过对应ROIPooling输出相同维度特征的损失。进一步地，步骤3中，输入标注图像标准化到1024×1024×3，即宽高均为1024的3通道图像，行人目标标注信息也对应进行尺度变换。进一步地：所述步骤3中训练网络模型PersonBoxes采用batchSize为32，初始学习率为0.001进行训练，训练数据集有0.5的概率翻转，训练检测网络在Anchor匹配后，大多数Anchor是负样本，导致正样本和负样本严重不均衡，为了更快更稳定的训练，将Anchor按照loss值排序并选取最高的几个，保证正样本和负样本的比例最高不超过3:1，并从Inception3、Conv3-2和Conv4-2特征图中提取特征，进行分类计算。进一步地：所述步骤4中，利用训练出的行人目标检测和比对网络模型PersonBoxes提取视频流中每帧图像的行人目标和对应的特征信息，通过获取的每帧图像的行人目标和对应的特征信息，利用余弦相似度算法对行人目标特征信息相似度进行计算，选取最大相似度，且大于最小相似度0.5为匹配成功，生成行人目标移动轨迹，根据生成的行人目标移动轨迹数量，输出视频流在对应时间段内人流量信息，实现人流量统计。进一步地，所述方法还包括：在进行余弦相似度计算之前，利用当前帧行人目标对应的特征信息，与前一帧检测到的行人目标进行特征比对(如果为第一帧，则不需要进行比对，仅存储检测到的目标及特征即可)，特征比对区域为以当前帧的目标中心点为中心且宽和高为该目标区域宽高的1.5倍的矩本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人流量统计方法，其特征在于，该方法包括以下步骤：步骤1，获取监控场景的监控视频，获取视频帧图像，对帧图像中的行人目标进行打标，获取标注图像及对应的行人目标标注信息，将行人目标标注信息数据集按照一定比例分成训练数据集和测试数据集；步骤2，构建基于改进的快速消化的卷积层IRDCL和多尺度卷积层MSCL的行人目标检测和比对网络模型PersonBoxes；步骤3，将步骤1获得的标注图像及训练数据集放入PersonBoxes中进行训练，通过迭代训练，利用反传播算法，逐步更新该网络模型的训练参数，直至该网络模型收敛；训练过程中，将测试数据集送入PersonBoxes网络模型中验证模型的定位、分类和比对性能；步骤4，在步骤3训练出的行人目标检测和比对网络模型PersonBoxes的基础上，输入视频流数据，生成行人目标移动轨迹，根据生成的移动轨迹数量，输出视频流在对应时间段内人流量信息，实现人流量统计。

【技术特征摘要】
1.一种基于卷积神经网络的人流量统计方法，其特征在于，该方法包括以下步骤：步骤1，获取监控场景的监控视频，获取视频帧图像，对帧图像中的行人目标进行打标，获取标注图像及对应的行人目标标注信息，将行人目标标注信息数据集按照一定比例分成训练数据集和测试数据集；步骤2，构建基于改进的快速消化的卷积层IRDCL和多尺度卷积层MSCL的行人目标检测和比对网络模型PersonBoxes；步骤3，将步骤1获得的标注图像及训练数据集放入PersonBoxes中进行训练，通过迭代训练，利用反传播算法，逐步更新该网络模型的训练参数，直至该网络模型收敛；训练过程中，将测试数据集送入PersonBoxes网络模型中验证模型的定位、分类和比对性能；步骤4，在步骤3训练出的行人目标检测和比对网络模型PersonBoxes的基础上，输入视频流数据，生成行人目标移动轨迹，根据生成的移动轨迹数量，输出视频流在对应时间段内人流量信息，实现人流量统计。2.根据权利要求1所述的一种基于卷积神经网络的人流量统计方法，其特征在于：步骤1中，行人目标标注信息数据格式为{frameId,objectNum,objectId_1[left_1,top_1,right_1,bottom_1,objectId_1],…,objectId_i[left_i,top_i,right_i,bottom_i]},其中，frameId为帧号，objectNum为该帧图像中行人目标的个数，objectId_i为该帧图像中第i个行人目标对应的ID，left_i,top_i,right_i,bottom_i分别对应着该帧图像中第i个行人目标的左、上、右、下坐标信息。3.根据权利要求1所述的一种基于卷积神经网络的人流量统计方法，其特征在于，将行人目标标注信息数据集按照7:3的比例分成训练数据集和测试数据集。4.根据权利要求1所述的一种基于卷积神经网络的人流量统计方法，其特征在于：步骤2中，行人目标检测和比对网络模型PersonBoxes包括：改进的快速消化卷积层IRDCL，由Conv1_1、Conv1_2、Pooling_1、Conv2_1、Conv2_2和Pooling_2组成，卷积层Conv1_1、Conv1_2、Conv2_1和Conv2_2的步长分别为2、2、1和2，卷积层之后均连接BN和激活函数ReLU，池化层Pooling_1和Pooling_2的步长分别为2和2，Conv1_1和Conv1_2的卷积核大小设置为5×5，Pooling_1的卷积核大小设置为3×3，Conv2_1和Conv2_2的卷积核大小设置为3×3，Pooling_2的卷积核大小设置为3×3；多尺度卷积层MSCL，由Inception1、Inception2、Inception3、Conv3_1、Conv3_2、Conv4_1和Conv4_2组成，Inception1、Inception2和Inception3输出的特征尺度为32×32，Conv3_2输出的特征尺度为16×16，Conv4_2输出...

【专利技术属性】
技术研发人员：邢钊，刘建涛，薛永大，
申请(专利权)人：武汉市公安局视频侦查支队，
类型：发明
国别省市：湖北,42