基于部分特征融合卷积神经网络实时目标计数系统及方法技术方案

本发明专利技术涉及一种基于部分特征融合卷积神经网络实时目标计数系统及方法，包括：数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。本发明专利技术有利于降低网络的参数量和计算量，保证运行速度。

【技术实现步骤摘要】
基于部分特征融合卷积神经网络实时目标计数系统及方法
本专利技术涉及实时目标计数的
，尤其是指一种基于部分特征融合卷积神经网络实时目标计数系统及方法。
技术介绍
目标计数是计算机视觉中的任务之一，任务内容是输出一图像中的目标数量。目标计数任务应用广泛，例如：估计户外环境中的畜群中家畜的数量，促进畜牧业发展、监控例如演唱会等拥挤场景下的人群数量，做到及时防控，防止踩踏事件发生、统计路面车流量信息，帮助交通管制。随着深度学习的快速发展，许多优秀的神经网络目标计数模型被开发，目标计数的准确率已有大幅提升。但绝大多数模型在被开发时，研究者没有考虑到模型的运行速度问题。现有模型大多结构复杂，难以训练和部署，并且对硬间的依赖性较大。运行速度更快意味着网络更加简单、参数量更小，更适合部署在低算力的边缘设备上。Shi等人在论文“AReal-TimeDeepNetworkForCrowdCounting”中提出了一种实时检测人群密度的轻量化卷积神经网络(CompactConvolutionalNeuralNetwork，C-CNN)。该网络对硬件性能要求较低，且属于目标计数的领域的技术，但是C-CNN网络结构较为简单且作为轻量化的网络本身没有使用模型压缩技术，并且使用了存在大量冗余参数的多列结构，从而导致提高了网络的参数量和计算量，影响运行速度。
技术实现思路
为此，本专利技术所要解决的技术问题在于如何提供一种降低网络的参数量和计算量，保证运行速度的基于部分特征融合卷积神经网络实时目标计数系统及方法。<br>为解决上述技术问题，本专利技术的一种基于部分特征融合卷积神经网络实时目标计数系统，包括数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。在本专利技术的一个实施例中，使用图像中已经标注好的目标位置信息的方法为：从拍摄的视频中进行抽帧，抽帧得到训练集其中Xi为训练集中第i张图像，大小为m×n，N为训练集的数量；使用标注工具标注训练集中图像Xi中所有目标的中心位置；标注完成可得训练集其中Xi为训练集中第i张图像，大小为m×n；Pi是第i张图像中目标中心坐标的信息，大小为ci×2，第一列为目标中心点在图像中的横坐标，第二列为目标中心点在图像中的纵坐标，ci为该图像中的目标数；N为训练集的数量。在本专利技术的一个实施例中，利用高斯滤波器生成目标图像的密度图的方法为：采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中目标中心的坐标信息，生成Xi图像的密度图Mi，其中Pi是第i张图像中目标中心坐标的信息，Xi为训练集中第i张图像，得到处理好的训练集用于训练网络。在本专利技术的一个实施例中，使用处理好的训练集训练所述部分特征融合卷积神经网络模型，且损失函数L(Θ)定义为其中Θ为网络学习的参数，且F(Xi；Θ)为网络对第i张图像的估计密度图。在本专利技术的一个实施例中，所述部分特征融合卷积神经网络模型包括卷积层，池化层以及上采样层。在本专利技术的一个实施例中，所述卷积层均为卷积核大小为3的卷积层，所有卷积层后均接批标准化层和ReLU激活函数。在本专利技术的一个实施例中，所述部分特征融合卷积神经网络模型的第二层、第四层和第七层后接最大池化层，第九层与第十层卷积层使用空洞卷积。在本专利技术的一个实施例中，所述部分特征融合卷积神经网络模型分为两部分，第一层卷积层至第十层卷积层为提取器，第十一层卷积层和第十二层卷积层为融合器，所述提取器从输入图像中提取特征，并将多尺度的特征信息传输给所述融合器，所述融合器融合多尺度信息并输出最终的特征图。在本专利技术的一个实施例中，根据给定的图像，使用训练好的网络进行预测图像中的目标数量的方法为：从视频中进行抽帧，作为测试图像，且测试图像与训练图形尺寸形同，对任意测试图像P，将其输入到训练好的网络模型中进行预测，可以得到图像P的预测密度图Mp，Mp为与图像P尺寸相同的二维矩阵，对Mp进行求和运算得到的值即为图像P中预测的目标数：p_count＝sum(Mp)。本专利技术还提供了一种基于部分特征融合卷积神经网络实时目标计数方法，包括如下步骤：使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。本专利技术的上述技术方案相比现有技术具有以下优点：本专利技术所述的基于部分特征融合卷积神经网络实时目标计数系统及方法，数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化，有利于得到处理好的训练集，从而方便训练网络；网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练，由于使用了部分特征融合结构，从而能够让网络充分利用多尺度的特征信息，而部分特征融合结构能够在利用多尺度特征信息的同时降低网络的参数量和计算量；目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测，本专利技术由于拥有的参数量较小，计算量也较小，因此保证了运行速度，而且对硬件设备的性能要求低，更适合部署在低算力的边缘设备上，能够促进目标计数技术在真实环境中的部署。附图说明为了使本专利技术的内容更容易被清楚的理解，下面根据本专利技术的具体实施例并结合附图，对本专利技术作进一步详细的说明，其中图1是本专利技术基于部分特征融合卷积神经网络实时目标计数系统的示意图；图2是本专利技术部分特征融合卷积神经网络模型的结构示意图；图3是本专利技术在TRANCOS数据集上的目标计数结果的对比示意图。说明书附图标记说明：10-数据预处理模块，20-网络训练模块，30-目标数量预处理模块。具体实施方式实施例一如图1所示，本实施例提供一种基于部分特征融合卷积神经网络实时目标计数系统，包括：数据预处理模块10，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；网络训练模块20，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；目标数量预处理模块30，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。本实施例所述基于部分特征融合卷积神经网络实时目标计数系统，数据预处理模块10，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化，有利于得到处理好的训练集，从而方便训练网络；网络训练模块20，建立部分特征融合卷积神经网络模型，本文档来自技高网...

【技术保护点】
1.一种基于部分特征融合卷积神经网络实时目标计数系统，其特征在于，包括：/n数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；/n网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；/n目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。/n

【技术特征摘要】
1.一种基于部分特征融合卷积神经网络实时目标计数系统，其特征在于，包括：
数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；
网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；
目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。


2.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：使用图像中已经标注好的目标位置信息的方法为：从拍摄的视频中进行抽帧，抽帧得到训练集其中Xi为训练集中第i张图像，大小为m×n，N为训练集的数量；使用标注工具标注训练集中图像Xi中所有目标的中心位置；标注完成可得训练集其中Xi为训练集中第i张图像，大小为m×n；Pi是第i张图像中目标中心坐标的信息，大小为ci×2，第一列为目标中心点在图像中的横坐标，第二列为目标中心点在图像中的纵坐标，ci为该图像中的目标数；N为训练集的数量。


3.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：利用高斯滤波器生成目标图像的密度图的方法为：采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中目标中心的坐标信息，生成Xi图像的密度图Mi，其中Pi是第i张图像中目标中心坐标的信息，Xi为训练集中第i张图像，得到处理好的训练集用于训练网络。


4.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练的方法为：使用处理好的训练集训练所述部分特征融合卷积神经网络模型，且损失函数L(Θ)定义为其中Θ为网络学习的参数，且F(Xi；Θ)为网络对第i张图像的估计密度图。


5.根据权利要求1所述的基于部分特...

【专利技术属性】
技术研发人员：张莉，于厚舜，王邦军，屈蕴茜，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32