【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种基于注意力特征融合与多列特征增强的人群计数方法。
技术介绍
1、在人群计数任务中，计数准确性直接影响计数结果的可信度和应用效果。虽然人群计数技术已经取得了一定的进展，但在面对复杂的人群密集场景尤其是遮挡目标较多的场景时，仍然存在一定的误差和局限性。随着人口流动性的加强，密集人群场景会更加普遍，过于密集的人群目标的检测是人群计数任务不可忽视的挑战。
2、当前人群计数领域的研究大多基于单阶段网络进行密度图的回归，但仅使用单阶段的网络模型，难以从根本上缓解人群目标重叠和遮挡的问题。在过去的研究中，为了缓解的尺度变化的问题，一些研究提出了像mcnn、decidednet等多列架构，尽管多列模型一定程度上能够缓解尺度变化的问题，但其计数性能受到列数的限制，此外多列模型也由于并行训练的多个分支而大大增加了计算成本。为了处理背景复杂和非均匀分布的问题，部分研究使用注意力机制来检测图像中人群密度的变化，如adcrowdnet、attend to count等工作，但将注意力机制直接应用于特征融合结构时，很难统一不同层次特征图的语义信息，因而在后续的特征融合及生成密度图的过程中难以结合上下文信息，从而使得人群计数准确率较低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高人群计数准确率的基于注意力特征融合与多列特征增强的人群计数方法。
2、一种基于注意力特征融合与多列特征增强的人群计数方法，所述方法包括：
3、
4、将所述待识别人群图像输入训练好的人群计数网络模型的概率图生成网络模块中进行处理，输出概率图；
5、将所述待识别人群图像和所述概率图输入所述训练好的人群计数网络模型的密度图回归网络模块中进行处理，输出密度图，所述密度图回归网络模块包括多列特征增强网络和双注意力特征融合网络；
6、对所述密度图进行积分运算，获得所述待识别人群图像中的人群计数。
7、在其中一个实施例中，所述概率图生成网络模块包括使用vgg-16网络的前13个卷积层和前4个最大池化层构成的编码器、第一上采样、第一拼接操作、第二拼接操作、第三拼接操作、第四拼接操作、第一特征调整单元、第二特征调整单元、第三特征调整单元、第四特征调整单元；
8、所述将所述待识别人群图像输入训练好的人群计数网络模型的概率图生成网络模块中进行处理，输出概率图，包括：
9、所述待识别人群图像输入所述编码器进行特征提取，获得不同尺度的五张特征图，按照尺度从大到小依次为：第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；
10、所述第五特征图输入所述第一上采样进行双线性插值上采样后，采用所述第一拼接操作与所述第四特征图进行拼接，获得第一拼接特征；
11、所述第一拼接特征输入所述第一特征调整单元进行特征调整后，采用所述第二拼接操作与所述第三特征图进行拼接，获得第二拼接特征；
12、所述第二拼接特征输入所述第二特征调整单元进行特征调整后，采用所述第三拼接操作与所述第二特征图进行拼接，获得第三拼接特征；
13、所述第三拼接特征输入所述第三特征调整单元进行特征调整后，采用所述第四拼接操作与所述第一特征图进行拼接，获得第四拼接特征；
14、所述第四拼接特征输入所述第四特征调整单元进行特征调整，获得概率图。
15、在其中一个实施例中，所述密度图回归网络模块包括：使用vgg-16网络的前13个卷积层和前5个最大池化层构成的特征提取单元、第一多列特征增强单元、第二多列特征增强单元、第一双注意力特征融合单元、第二双注意力特征融合单元和密度图生成单元；
16、所述将所述待识别人群图像和所述概率图输入所述训练好的人群计数网络模型的密度图回归网络模块中进行处理，输出密度图，包括：
17、将所述待识别人群图像和所述概率图输入所述特征提取单元进行特征提取，获得所述特征提取单元的第10个卷积层输出的第六特征图、所述特征提取单元的第13个卷积层输出的第七特征图和所述特征提取单元的第5个最大池化层输出的第八特征图；
18、所述第八特征图输入第一多列特征增强单元进行特征增强，获得第一增强特征图；
19、将所述第一增强特征图和所述第七特征图输入所述第一双注意力特征融合单元进行特征融合，获得第一融合特征图；
20、将所述第一融合特征图输入第二多列特征增强单元进行特征增强，获得第二增强特征图；
21、将所述第二增强特征图和所述第六特征图输入所述第二双注意力特征融合单元进行特征融合，获得第二融合特征图；
22、将所述第二融合特征图输入所述密度图生成单元进行密度图生成，获得密度图。
23、在其中一个实施例中，所述第一多列特征增强单元和所述第二多列特征增强单元为结构相同的多列特征增强网络，所述多列特征增强网络包括多列增强结构和注意力结构；
24、输入所述多列特征增强网络的特征图分别输入多列增强结构和注意力结构中，经过注意力结构获得注意力权重，以及经过多列增强结构获得增强特征，再将注意力权重和增强特征进行点乘，输出增强特征图。
25、在其中一个实施例中，所述多列增强结构包括第一卷积、第二卷积、第三卷积、第四卷积、第五卷积、第六卷积、第七卷积和第八卷积；
26、输入多列增强结构的特征图分别输入第一卷积、第二卷积、第三卷积和第四卷积处理通道数，对应获得第一处理后特征、第二处理后特征、第三处理后特征和第四处理后特征；
27、所述第二处理后特征输入第五卷积进行处理，获得第五处理后特征；
28、所述第三处理后特征与所述第五处理后特征相加后再经过第六卷积处理，获得第六处理后特征；
29、所述第四处理后特征与所述第六处理后特征相加后再经过第七卷积处理，获得第七处理后特征；
30、将所述第一处理后特征、所述第五处理后特征、所述第六处理后特征和所述第七处理后特征进行拼接后再经过第八卷积处理，输出增强特征。
31、在其中一个实施例中，所述注意力结构包括：第九卷积、第一relu激活函数、第十卷积、第一全局平均池化、第十一卷积、第二relu激活函数、第十二卷积和第一sigmoid函数；
32、输入注意力结构的特征图分别依次经过第一支路的第九卷积、第一relu激活函数和第十卷积，以及依次经过第二支路的第一全局平均池化、第十一卷积、第二relu激活函数和第十二卷积处理后，将第一支路和第二支路的输出相加后通过第一sigmoid函数进行激活，得到注意力权重。
33、在其中一个实施例中，所述第一双注意力特征融合单元和所述第二双注意力特征融合单元为结构相同的双注意力特征融合网络，所述双注意力特征融合网络包括：第十三卷积、第十四卷积、第三relu激活函数、第十五卷积、第二全局平均池化、第十六卷积、第四r本文档来自技高网...
【技术保护点】
1.一种基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述概率图生成网络模块包括使用VGG-16网络的前13个卷积层和前4个最大池化层构成的编码器、第一上采样、第一拼接操作、第二拼接操作、第三拼接操作、第四拼接操作、第一特征调整单元、第二特征调整单元、第三特征调整单元、第四特征调整单元；
3.根据权利要求1所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述密度图回归网络模块包括：使用VGG-16网络的前13个卷积层和前5个最大池化层构成的特征提取单元、第一多列特征增强单元、第二多列特征增强单元、第一双注意力特征融合单元、第二双注意力特征融合单元和密度图生成单元；
4.根据权利要求3所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述第一多列特征增强单元和所述第二多列特征增强单元为结构相同的多列特征增强网络，所述多列特征增强网络包括多列增强结构和注意力结构；
5.根据权利要求4所述的基
6.根据权利要求4所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述注意力结构包括：第九卷积、第一Relu激活函数、第十卷积、第一全局平均池化、第十一卷积、第二Relu激活函数、第十二卷积和第一Sigmoid函数；
7.根据权利要求4所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述第一双注意力特征融合单元和所述第二双注意力特征融合单元为结构相同的双注意力特征融合网络，所述双注意力特征融合网络包括：第十三卷积、第十四卷积、第三Relu激活函数、第十五卷积、第二全局平均池化、第十六卷积、第四Relu激活函数、第十七卷积、第二Sigmoid函数、平均池化、最大池化、第十八卷积和第三Sigmoid函数；
8.根据权利要求3所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述密度图生成单元包括：2个3×3卷积和1个1×1卷积；
9.根据权利要求1所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述人群计数网络模型的训练方式为：
10.根据权利要求9所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述三重计数损失函数L为：
...【技术特征摘要】
1.一种基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述概率图生成网络模块包括使用vgg-16网络的前13个卷积层和前4个最大池化层构成的编码器、第一上采样、第一拼接操作、第二拼接操作、第三拼接操作、第四拼接操作、第一特征调整单元、第二特征调整单元、第三特征调整单元、第四特征调整单元；
3.根据权利要求1所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述密度图回归网络模块包括：使用vgg-16网络的前13个卷积层和前5个最大池化层构成的特征提取单元、第一多列特征增强单元、第二多列特征增强单元、第一双注意力特征融合单元、第二双注意力特征融合单元和密度图生成单元；
4.根据权利要求3所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述第一多列特征增强单元和所述第二多列特征增强单元为结构相同的多列特征增强网络，所述多列特征增强网络包括多列增强结构和注意力结构；
5.根据权利要求4所述的基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述多列增强结构包括第一卷积、第二卷积、第三卷积、第四卷积、第五卷...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。