一种雾先验频域注意表征引导的雾天图像人群计数方法技术

本发明专利技术公开了一种雾先验频域注意表征引导的雾天图像人群计数方法，包括如下步骤：将雾天场景图像输入到

【技术实现步骤摘要】
一种雾先验频域注意表征引导的雾天图像人群计数方法


[0001]本专利技术涉及一种雾先验频域注意表征引导的雾天图像人群计数方法，属于图像处理领域
。

技术介绍

[0002]智能视频监控技术为社会公共安全管理提供了强有力的保障
。
图像人群计数作为智能视频监控系统中的人群分析和人群异常检测等现实场景应用的核心理论方法之一，近年来受到了学术界和工业界的广泛关注
。
现有图像人群计数方法大多面向户外晴朗场景进行人群数量预测并取得显著优良效果
。
然而由于雾天场景中行人能见度降低
、
轮廓模糊
、
外观辨识度显著降级等问题，直接将面向晴朗场景的图像人群计数方法应用于雾天场景中会使得预测人群数量远低于人群数量真实值
。
已有的少量雾天场景图像人群计数方法通过建立基于密度图估计的注意力增强深度模型并用传统欧氏距离进行模型优化实现端到端的人群数量预测，忽视了雾天场景中雾因素对人群计数特征表征过程的负面影响
。
同时，其他可借鉴的雾天场景计算机视觉任务如雾天目标检测，常将目标任务解耦为去雾和目标检测两个阶段或转换为域适应问题，需要依赖去雾阶段的繁重手工标注或复杂域适应策略
。
[0003]总的来说，已有的少量雾天场景图像人群计数方法或技术因未考虑对雾天因素进行量化分析而不能适应雾浓度剧烈变化的雾天场景进而不能保证计数性能；已有的雾天场景其他计算机视觉任务需依赖繁重标注成本或复杂域适应实现过程，难以应用于需要更高层次推理功能的雾天人群计数任务
。

技术实现思路

[0004]本专利技术为解决上述技术问题，提供一种雾先验频域注意表征引导的雾天图像人群计数方法，以量化建模并精准降低户外雾天场景中雾天气因素对雾天人群计数性能的负面影响，从而实现面向户外雾天场景图像的准确人群数量预测
。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：
[0006]一种雾先验频域注意表征引导的雾天图像人群计数方法，建立雾先验频域注意表征引导的雾天图像人群计数模型，将待估计人数的雾天场景图像输入雾天图像人群计数模型进行人群计数；具体操作包括如下步骤：
[0007]S1、
将雾天场景图像输入到
C1
块中，得到第一初始特征图；
[0008]S2、
将所述的第一初始特征图输入第一雾先验引导表征学习过程，得到第一中间特征图和第一雾天信息图；
[0009]S3、
将所述的第一中间特征图输入到第二雾先验引导表征学习过程，得到高级语义特征图和第二雾天信息图；
[0010]S4、
将所述的高级语义特征图输入密度图回归模块，进行密度图回归，得到估计人群密度图；
[0011]S5、
将所述的估计人群密度图的像素值求和，得到估计人群计数结果
。
[0012]本专利技术技术方案的进一步改进在于：所述
C1
块包括八层卷积层和三层池化层，所述
C1
块从输入依次为：两层卷积层
、
一层池化层
、
两层卷积层
、
一层池化层
、
四层卷积层和一层池化层，每层卷积层的卷积核尺寸均为3×3，从输入到输出方向各卷积层依次生成通道数为
64、64、128、128、256、256、256
和
256
的特征图，各所述池化层是步长为2的最大池化层
。
[0013]本专利技术技术方案的进一步改进在于：所述
S2
的具体操作如下：
[0014]所述第一雾先验引导表征学习过程包括
C2
块
、
第一残差细节特征恢复模块和第一雾先验预测模块；
[0015]将所述第一初始特征图输入到第一雾先验引导表征学习过程的
C2
块中，得到第二初始特征图，所述
C2
块依次包括四层卷积层和一层池化层，所述
C2
块从输入到输出方向各卷积层依次生成通道数为
512、512、512
和
512
的特征图，每层卷积层的卷积核尺寸为3×3，池化层为步长为2的最大池化层；
[0016]将所述第二初始特征图输入到第一雾先验引导表征学习过程的第一残差细节特征恢复模块中，得到第一特征图，所述第一残差细节特征恢复模块依次包括一层池化层和三层卷积层，池化层是步长为2的最大池化层，每层卷积层的卷积核尺寸均为3×3，从输入到输出方向各卷积层依次生成通道数为
512、512
和
512
的特征图，将第二初始特征图输入池化层得到第一池化特征图，将第一池化特征图输入到三层卷积层中，得到第一卷积特征图，将第一池化特征图和第一卷积特征图进行对应像素位置相加操作，得到第一特征图；
[0017]将所述第二初始特征图与第一特征图进行通道连接，并使用卷积核尺寸为1×1的二维卷积进行通道降维操作，将通道数从
1024
降维到
512
，得到第一中间特征图；
[0018]将所述第一特征图与第一中间特征图进行差分操作，得到第一初始雾天信息特征图，所述的差分操作为第一特征图与第一中间特征图进行对应像素位置相减操作，具体为第一特征图减去第一中间特征图，得到第一初始雾天信息特征图；
[0019]将所述第一初始雾天信息特征图输入到第一雾先验引导表征学习过程的第一雾先验预测模块中，得到第一雾天信息图，所述第一雾先验预测模块包括一层梯度反转层和四层卷积层，梯度反转层的权重是
‑
0.1
，从输入到输出方向各卷积层依次生成通道数为
512、256
和
64
的特征图，其中卷积层的卷积核尺寸均为3×3，最后经过卷积核为1×1的卷积操作，将通道数从
512
降维到1，得到第一雾天信息图
。
[0020]本专利技术技术方案的进一步改进在于：将得到的第一雾天信息图与真实雾先验特征图进行第一雾先验损失计算，第一雾先验损失
l
haze
‑1计算公式为：
[0021][0022]式中，
x
i
为第
i
个样本，
N
为雾天人群图像训练样本数量，
H1(
·
)
是第一雾先验预测模块，
R1(
·
)
是第一残差细节特征恢复模块，
F1(
·
)
是
C1
块，
f1是第一中间特征图，
σ
(x
i
)
为第
i
个样本的真实雾先验特征图
。
[0023]本专利技术技术方案的进一步改进在于：所述
S3...

【技术保护点】

【技术特征摘要】
1.
一种雾先验频域注意表征引导的雾天图像人群计数方法，其特征在于：建立雾先验频域注意表征引导的雾天图像人群计数模型，将待估计人数的雾天场景图像输入雾天图像人群计数模型进行人群计数；具体操作包括如下步骤：
S1、
将雾天场景图像输入到
C1
块中，得到第一初始特征图；
S2、
将所述的第一初始特征图输入第一雾先验引导表征学习过程，得到第一中间特征图和第一雾天信息图；
S3、
将所述的第一中间特征图输入到第二雾先验引导表征学习过程，得到高级语义特征图和第二雾天信息图；
S4、
将所述的高级语义特征图输入密度图回归模块，进行密度图回归，得到估计人群密度图；
S5、
将所述的估计人群密度图的像素值求和，得到估计人群计数结果
。2.
根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法，其特征在于：所述
C1
块包括八层卷积层和三层池化层，所述
C1
块从输入依次为：两层卷积层
、
一层池化层
、
两层卷积层
、
一层池化层
、
四层卷积层和一层池化层，每层卷积层的卷积核尺寸均为3×3，从输入到输出方向各卷积层依次生成通道数为
64、64、128、128、256、256、256
和
256
的特征图，各所述池化层是步长为2的最大池化层
。3.
根据权利要求1所述的一种雾先验频域注意表征引导的雾天图像人群计数方法，其特征在于：所述
S2
的具体操作如下：所述第一雾先验引导表征学习过程包括
C2
块
、
第一残差细节特征恢复模块和第一雾先验预测模块；将所述第一初始特征图输入到第一雾先验引导表征学习过程的
C2
块中，得到第二初始特征图，所述
C2
块依次包括四层卷积层和一层池化层，所述
C2
块从输入到输出方向各卷积层依次生成通道数为
512、512、512
和
512
的特征图，每层卷积层的卷积核尺寸为3×3，池化层为步长为2的最大池化层；将所述第二初始特征图输入到第一雾先验引导表征学习过程的第一残差细节特征恢复模块中，得到第一特征图，所述第一残差细节特征恢复模块依次包括一层池化层和三层卷积层，池化层是步长为2的最大池化层，每层卷积层的卷积核尺寸均为3×3，从输入到输出方向各卷积层依次生成通道数为
512、512
和
512
的特征图，将第二初始特征图输入池化层得到第一池化特征图，将第一池化特征图输入到三层卷积层中，得到第一卷积特征图，将第一池化特征图和第一卷积特征图进行对应像素位置相加操作，得到第一特征图；将所述第二初始特征图与第一特征图进行通道连接，并使用卷积核尺寸为1×1的二维卷积进行通道降维操作，将通道数从
1024
降维到
512
，得到第一中间特征图；将所述第一特征图与第一中间特征图进行差分操作，得到第一初始雾天信息特征图，所述的差分操作为第一特征图与第一中间特征图进行对应像素位置相减操作，具体为第一特征图减去第一中间特征图，得到第一初始雾天信息特征图；将所述第一初始雾天信息特征图输入到第一雾先验引导表征学习过程的第一雾先验预测模块中，得到第一雾天信息图，所述第一雾先验预测模块包括一层梯度反转层和四层卷积层，梯度反转层的权重是
‑
0.1
，从输入到输出方向各卷积层依次生成通道数为
512、256
和
64
的特征图，其中卷积层的卷积核尺寸均为3×3，最后经过卷积核为1×1的卷积操作，将
通道数从
512
降维到1，得到第一雾天信息图
。4.
根据权利要求3所述的一种雾先验频域注意表征引导的雾天图像人群计数方法，其特征在于：将得到的第一雾天信息图与真实雾先验特征图进行第一雾先验损失计算，第一雾先验损失
l
haze
‑1计算公式为：式中，
x
i
为第
i
个样本，
N
为雾天人群图像训练样本数量，
H1(
·
)
是第一雾先验预测模块，
R1(
·
)
是第一残差细节特征恢复模块，
F1(
·
)
是
C1
块，
f1是第一中间特征图，
σ
(x
i
)
为第
i
个样本的真实雾先验特征图
。5.
根据权利要求4所述的一种雾先验频域注意表征引导的雾天图像人群计数方法，其特征在于：所述
S3
的具体操作为：所述第二雾先验引导表征学习过程包括
C3
块
、
频域嵌入注意模块
、
第二残差细节特征恢复模块和第二雾先验预测模块；将所述第一中间特征图输入到第二雾先验引导表征学习过程的
C3
块中，得到第三初始特征图，所述
C3
块依次包括四层卷积层和一层池化层，所述
C3
块从输入到输出方向各卷积层依次生成通道数为
512、512、512
和
512
的特征图，每层卷积层的卷积核尺寸为3×3，池化层为步长为2的最大池化层；将所述第一中间特征图输入到第二雾先验引导表征学习过程的第二残差细节特征恢复模块中，得到第二特征图，所述第二残差细节特征恢复模块包括一层池化层和三层卷积层，池化层是步长为2的最大池化层，每层卷积层的卷积核尺寸均为3×3，从输入到输出方向各卷积层依次生成通道数为
512、512
和
512
的特征图，将第一中间特征图输入池化层得到第二池化特征图，将第二池化特征图输入到三层卷积层中，得到第二卷积特征图，将第二池化特征图和第二卷积特征图进行对应像素位置相加操作，得到第二特征图；将所述第三初始特征图与第二特征图在通道维度上相加，并使用卷积核为1×1的二维卷积进行通道降维操作，将通道数从
1024
降维到
512
，得到第二中间特征图；将所述第二中间特征图输入到频域嵌入注意模块，所述的频域嵌入注意模块包括：频域注意力聚合块
、
空间
‑
像素注意力聚合块和通道注意力聚合块；将所述第二中间特征图输入到频域嵌入注意模块的频域注意力聚合块中，得到频域注意特征图，所述频域注意力聚合块包括离散小波变换
、
上采样
、
一层卷积核为1×1的卷积层和
Sigmoid
函数，经过离散小波变换，将第二中间特征图在频域上分解为低频分量
、
水平高频分量
、
垂直高频分量和对角高频分量，分量的通道数均为
512
，水平高频分量
、
垂直高频分量和对角高频分量进行通道连接，并使用卷积核尺寸为1×1的二维卷积进行通道降维操作，将通道数从
1536
降维到
512
，接着进行上采样，将降维后的特征图的长和宽都扩大为原来的两倍，然后进行一层卷积核为1×1...

【专利技术属性】
技术研发人员：李贺，沈洁男，孔维航，
申请(专利权)人：燕山大学，
类型：发明
国别省市：