一种基于视角自适应的复杂场景下人群计数方法技术

本发明专利技术公开了一种基于视角自适应的复杂场景下人群计数方法，所述计数方法包括以下步骤：NOOMP框架通过少样本学习方法拟合自然世界；NOOMP框架通过元学习训练使视角适应多头并行网络作为NOOMP框架的主干；视角适应多头并行网络用于估计人群的密度图；视角适应多头并行网络在多个不同的场景中进行训练，并将子损失进行汇总。本发明专利技术提出一种新的标记方法，绝对几何高斯生成方法，该方法只需对图像中的每个人增加一个点，便能获得较好的精度。便能获得较好的精度。便能获得较好的精度。

【技术实现步骤摘要】
一种基于视角自适应的复杂场景下人群计数方法


[0001]本专利技术涉及信号处理
，具体涉及一种基于视角自适应的复杂场景下人群计数方法。

技术介绍

[0002]经过长时间的发展，人群计数领域出现了许多新颖的专利技术，主流的专利技术使用基于密度图的方法来估计人群的数量，除了全监督学习方法外，半监督、弱监督和基于变压器的学习方法也被提出并逐渐成为近年来的专利技术研究的热点。但现有的这些方法都没有考虑复杂自然场景下的视角变化问题，他们无法消除高度差异带来的影响，同时也无法解决数据标签化导致的错误。
[0003]因此，有必要通过改进数据标签方法来提出一种视角适应的人群计数方法。

技术实现思路

[0004]本专利技术的目的是提供一种基于视角自适应的复杂场景下人群计数方法，以解决
技术介绍
中不足。
[0005]为了实现上述目的，本专利技术提供如下技术方案：一种基于视角自适应的复杂场景下人群计数方法，所述计数方法包括以下步骤：
[0006]S1：NOOMP框架通过少样本学习方法拟合自然世界；
[0007]S2：NOOMP框架通过元学习训练使视角适应多头并行网络作为NOOMP框架的主干；
[0008]S3：视角适应多头并行网络用于估计人群的密度图；
[0009]S4：视角适应多头并行网络在多个不同的场景中进行训练，并将子损失进行汇总。
[0010]优选的，步骤S1中，少样本学习方法包括元训练和元测试，还包括以下步骤：
[0011]S1.1：在训练阶段训练一个预先训练好的模型；
[0012]S1.2：在目标场景中使用标记的图像对模型进行微调。
[0013]优选的，所述元训练用于将与训练的模型M
pre
对一系列参数L
n
＝{l1,l2,l3,.....,l
n
}进行学习，每一个训练任务中，参数集合L
n
通过小批量梯度下降法进行更新，n个任务的损失函数和优化函数如等式(1)、(2)所示：
[0014][0015][0016]在每个任务中，子损失计算为在n个任务中，子损失被累加，对
于一个任务中的图像，y
(i)
表示地面实况密度图，估计的密度图表示为
[0017]优选的，所述元测试用于将预训练的模型M
pre
放在目标场景中进行微调，在新场景下的损失函数计算如等式(3)所示：
[0018][0019]对于目标任务场景与之间存在巨大的特征差距。
[0020]优选的，步骤S3中，估计人群的密度图包括以下步骤：
[0021]S3.1：为图像中的一个人标注两个点，方差σ
i
估计头部大小；
[0022]S3.2：对于路人p
n
，一个点位于其头的顶部，另一个点位于其头的中心，距离d
n
使用加权欧氏距离等式(5)来计算：
[0023][0024]通过距离d
n
来计算方差σ
n
，其公式为等式(6)：
[0025]σ
n
＝(d
n
+a)*λ(6)
[0026]常数a表示为距离d
n
的偏差，λ为超参数，且λ＝2.5。
[0027]优选的，步骤S2包括以下步骤：
[0028]S2.1：初始图像I发送到视角适应多头并行网络中，大小为1024*768，I是对I1，I2，和I3的复制，三个输入对应三个不同的并行分支；
[0029]S2.2：I1输入到包含四个卷积层的浅网络中，I2和I3输入到更深的网络中，网络分别包含7和10个卷积层；
[0030]S2.3：f
h1
()，f
h2
()和f
h3
()表示前端网络，表示为等式(7)：
[0031][0032]上式中，函数O表示每个分支的卷积层，W
n
表示不同的卷积运算，R表示ReLU激活函数，M表示Max_pooling操作，采用3*3内核。
[0033]优选的，步骤S2还包括以下步骤：
[0034]S2.4：在前端分支之后，得到三种特征图和特征包含不同维度的信息；
[0035]不同维度的信息包括浅层网络中的颜色和纹理信息和深层网络中的语义信息；
[0036]S2.5：使用1*1内核的卷积层，对于和添加两个卷积层，内核大小为1*1；
[0037]S2.6：使用自适应平均池操作得到增强的特征和
[0038]S2.7：使用concat()操作收集特征和
[0039]优选的，还包括
[0040]S5：通过平均绝对误差和均方根误差评价NOOMP框架，表达式为等式(8)和等式
(9)：
[0041][0042][0043]N表示测试图像的总数，对于测试图像x
i
，参数y
i
表现地面实况，参数表示估计结果。
[0044]在上述技术方案中，本专利技术提供的技术效果和优点：
[0045]1、本专利技术中，由于日常生活中常见的场景通常都是有高度差的，这使得人群计数需要在复杂视角下进行。因此本专利技术提出一种新的标记方法，绝对几何高斯生成方法(Absolute
‑
geometry Gaussian Generation)。该方法只需对图像中的每个人增加一个点，便能获得较好的精度；
[0046]2、本专利技术NOOMP框架采用了元学习与少样本的方式来训练计数模型。这使得专利技术能够在有效的实现视角自适应的同时，也解决标签成本过高的问题；
[0047]3、本专利技术提出了一种新的用于NOOMP的多头并行网络(MPNet)来提取人群特征。MPNet是一种由浅层网络和深层网络组成的混合结构。该网络有效地保留了浅层网络和深层网络的特征，使MPNet在NOOMP中具有良好的性能；
[0048]4、本专利技术收集了一个新的用于NOOMP的数据集。该数据集名为商场多重高度差异(Multiple Height Differences in Mall(MHDM))数据集。其包含来自购物中心和超市的图像。这些图像具有不同视角和高度差异。基于MHDM和其他基准测试的实验表明，NOOMP框架具有良好的精度，能够很好地解决视角变化问题。
附图说明
[0049]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0050]图1为本专利技术总体框架图。
[0051]图2为多头并行网络的结构图。
[0052]图3为人群场景的前端网络激活图和激活热图。
[0053]图4为商场多重高度差异(MHDM)数据集示例图。
[0054]图5为本专利技术和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视角自适应的复杂场景下人群计数方法，其特征在于：所述计数方法包括以下步骤：S1：NOOMP框架通过少样本学习方法拟合自然世界；S2：NOOMP框架通过元学习训练使视角适应多头并行网络作为NOOMP框架的主干；S3：视角适应多头并行网络用于估计人群的密度图；S4：视角适应多头并行网络在多个不同的场景中进行训练，并将子损失进行汇总。2.根据权利要求1所述的一种基于视角自适应的复杂场景下人群计数方法，其特征在于：步骤S1中，少样本学习方法包括元训练和元测试，还包括以下步骤：S1.1：在训练阶段训练一个预先训练好的模型；S1.2：在目标场景中使用标记的图像对模型进行微调。3.根据权利要求2所述的一种基于视角自适应的复杂场景下人群计数方法，其特征在于：所述元训练用于将与训练的模型M
pre
对一系列参数L
n
＝[l1,l2,l3,.....,l
n
}进行学习，每一个训练任务中，参数集合L
n
通过小批量梯度下降法进行更新，n个任务的损失函数和优化函数如等式(1)、(2)所示：优化函数如等式(1)、(2)所示：在每个任务中，子损失计算为在n个任务中，子损失被累加，对于一个任务中的图像，y
(i)
表示地面实况密度图，估计的密度图表示为4.根据权利要求2所述的一种基于视角自适应的复杂场景下人群计数方法，其特征在于：所述元测试用于将预训练的模型M
pre
放在目标场景中进行微调，在新场景下的损失函数计算如等式(3)所示：对于目标任务场景与之间存在巨大的特征差距。5.根据权利要求1所述的一种基于视角自适应的复杂场景下人群计数方法，其特征在于：步骤S3中，估计人群的密度图包括以下步骤：S3.1：为图像中的一个人标注两个点，方差σ
i
估计头部大小；S3.2：对于路人p
n
，一个点位于其头的顶部，另一个点位于其头的中心，距离d
n
使用加权欧氏距离等式(5)来计算：...

【专利技术属性】
技术研发人员：闵卫东，邹怡，赵浩宇，李伟铭，
申请(专利权)人：南昌大学，
类型：发明
国别省市：