基于上下文信息感知机理的夜间和伪装目标检测方法技术

本发明专利技术公开了一种基于上下文信息感知机理的夜间和伪装目标检测方法，包括以下步骤：S1、使用基础神经网络对输入图像进行特征提取，获得输入图像的特征图Y；输入N个初始提议框，然后使用感兴趣区域特征提取器得到感兴趣区域特征图R；S2、建模图像的全局与局部上下文信息；S3、建模图像的全局语义上下文，对得到的特征图Y进行卷积与上采样，输出语义分割图S；S4、使用数据集提供的图像与标注信息来训练人工神经网络直到收敛，然后输入待检测图像得到最终检测结果。本发明专利技术能有效地执行夜间目标检测和伪装目标检测的方法，为后续各类夜间和伪装目标场景下的计算机应用提供场景中感兴趣目标的精确位置与类别。目标的精确位置与类别。目标的精确位置与类别。

【技术实现步骤摘要】
基于上下文信息感知机理的夜间和伪装目标检测方法


[0001]本专利技术属于计算机视觉和图像处理
，涉及目标检测，特别涉及一种基于上下文信息感知机理的夜间和伪装目标检测方法。

技术介绍

[0002]目标检测是一项重要的计算机视觉任务，其被广泛应用于各类重要的工业、民用以及军用系统之中。目标检测旨在对图像或视频中的目标进行定位并分类，得到目标准确的位置和其所属的类别。经过几十年的发展，目标检测问题在不同的方案下得到了长足发展。近年来，随着深度学习的兴起，也有大量将神经网络运用到目标检测的方法，例如以Faster R
‑
CNN、YOLO为代表的基于锚点框的方法和以CenterNet为代表的无锚点框方法，相比传统方法，它们大都获得更加精确可靠的结果。
[0003]而夜间目标检测与伪装目标检测比通常的目标检测更具挑战性，因为在这些场景中目标与背景更难被区分。然而，对于大部分目标检测方法，它们都是面向通用场景而提出的方法，没有考虑到部分特殊的更具挑战性的环境。Shijie Hao和Haifeng Guo提出使用夜间图像增强方法来帮助神经网络获得更稳定、更具分辨力的特征，从而提高夜间目标检测的查全率和查准率。参考文献：Haifeng Guo,Tong Lu,and Yirui Wu.Dynamic low
‑
light image enhancement for object detection via end
‑
to
‑
end training.In ICPR,pages 5611
–
5618.IEEE,2021.3,7，Shijie Hao,Zhonghao Wang,and Fuming Sun.Ledet:A single
‑
shot real
‑
time object detector based on low
‑
light image enhancement.The Computer Journal,2021.2,7，但Shijie Hao和Haifeng Guo等人的方法只能在夜间场景下工作，而且高度依赖图像增强方法导致网络计算效率低下，难以在实际场景中应用。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种能有效地执行夜间目标检测和伪装目标检测的方法，为后续各类夜间和伪装目标场景下的计算机应用提供场景中感兴趣目标的精确位置与类别的基于上下文信息感知机理的夜间和伪装目标检测方法。
[0005]本专利技术的目的是通过以下技术方案来实现的：基于上下文信息感知机理的夜间和伪装目标检测方法，包括以下步骤：
[0006]S1、使用神经网络对输入图像进行特征提取，获得输入图像的特征图Y；输入N个初始提议框，然后使用感兴趣区域特征提取器得到感兴趣区域特征图R；
[0007]S2、建模图像的全局与局部上下文信息：对得到的特征图Y使用全局上下文编码模块处理得到全局上下文特征G；使用上下文特征融合模块处理R与G得到融合上下文特征C；通过动态特征交互模块将融合上下文特征C与感兴趣区域特征R融合，然后进行边框回归与分类预测；
[0008]S3、建模图像的全局语义上下文，对得到的特征图Y进行卷积与上采样，输出语义
分割图S；
[0009]S4、使用网络上的公开数据集ExDark、COD10K提供的图像与标注信息来训练根据S1
‑
S3步骤构建出来的人工神经网络直到收敛，然后输入待检测图像得到最终检测结果。
[0010]进一步地，所述步骤S1具体实现方法为：
[0011]Y＝B(X)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0012]R＝RoIAlign(Y，P)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0013]其中，B代表神经网络架构，B可以使用任意的卷积神经网络来实现，只要该网络具有足够的表现力来提取输入图像的特征即可；X表示输入图像；RoIAlign()代表利用提议框对特征图Y进行对齐操作；P代表输入的N个长度为4的初始提议框向量，其中每个向量中的元素取值范围为[0，1]的所有实数。
[0014]进一步地，所述步骤S2具体实现方法为：
[0015]RE＝Conv(R，F(C，W1，B1)，0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0016][0017]REG＝F(D，W3，B3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0018]CLS＝F(D，W4，B4)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0019]其中，F(x，w，b)代表分别以x为输入，w，b为参数的线性加权求和；Conv(x，w，b)代表卷积函数；FFN()代表前馈神经网络；符号表示逐元素相加操作；σ(x)代表修正线性单元激活函数，其公式为：REG和CLS分别代表输出的边框回归与类别预测值；W
m
、B
m
代表神经网络的固有可学习参数，m＝1，
…
，4；
[0020]图像的全局与局部上下文特征向量C由下面的公式计算得到：
[0021][0022]C＝Attention(GL，GL，GL)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0023]其中，GL代表融合后同时携带全局和局部特征的特征向量；G和L分别代表图像的全局特征向量和图像的局部特征向量；Attention(GL，GL，GL)函数表示自注意力函数；
[0024]全局特征向量G由下面的公式计算得到：
[0025]G＝δ(F(δ(F(E，W3，B3))，W4，4))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0026]δ(x)代表泄露修正线性单元激活函数，其公式为：其中a的取值范围为(0，+∞)；W
i
，B
i
代表神经网络的固有可学习参数；图像的全局特征E由下面的公式计算得到：
[0027]E＝δ(Avg(Conv(Y，W5，B5)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0028]Avg(x)代表全局平均池化函数；δ(x)代表泄露修正线性单元激活函数，其公式为：
[0029]W5，B5代表神经网络的固有可学习参数；
[0030]局部特征向量L由下面的公式计算得到：
[0031]L＝σ(F(R，W6，B6))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0032]σ(x)代表修正线性单元激活函数，其公式为：W6，B6代表神经网络的固有可学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于上下文信息感知机理的夜间和伪装目标检测方法，其特征在于，包括以下步骤：S1、使用神经网络对输入图像进行特征提取，获得输入图像的特征图Y；输入N个初始提议框，然后使用感兴趣区域特征提取器得到感兴趣区域特征图R；S2、建模图像的全局与局部上下文信息：对得到的特征图Y使用全局上下文编码模块处理得到全局上下文特征G；使用上下文特征融合模块处理R与G得到融合上下文特征C；通过动态特征交互模块将融合上下文特征C与感兴趣区域特征R融合，然后进行边框回归与分类预测；S3、建模图像的全局语义上下文，对得到的特征图Y进行卷积与上采样，输出语义分割图S；S4、使用网络上的公开数据集ExDark、COD10K提供的图像与标注信息来训练根据S1
‑
S3步骤构建出来的人工神经网络直到收敛，然后输入待检测图像得到最终检测结果。2.根据权利要求1所述的基于上下文信息感知机理的夜间和伪装目标检测方法，其特征在于，所述步骤S1具体实现方法为：Y＝B(X)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)R＝RoIAlign(Y，P)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，B代表神经网络架构，B可以使用任意的卷积神经网络来实现，只要该网络具有足够的表现力来提取输入图像的特征即可；X表示输入图像；RoIAlign()代表利用提议框对特征图Y进行对齐操作；P代表输入的N个长度为4的初始提议框向量，其中每个向量中的元素取值范围为[0，1]的所有实数。3.根据权利要求1所述的基于上下文信息感知机理的夜间和伪装目标检测方法，其特征在于，所述步骤S2具体实现方法为：RE＝Conv(R，F(C，W1，B1)，0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)REG＝F(D，W3，B3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)CLS＝F(D，W4，B4)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，F(x，w，b)代表分别以x为输入，w，b为参数的线性加权求和；Conv(x，w，b)代表卷积函数；FFN( )代表前馈神经网络；符号表示逐元素相加操作；σ(x)代表修正线性单元激活函数，其公式为：REG和CLS分别代表输出的边框回归与类别预测值；W
m
、B
m
代表神经网络的固有可学习参数，m＝1,
…
,4；图像的全局与局部上下文特征向量C由下面的公式计算得到：C＝Attention(GL，GL，GL)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，GL代表融合后同时携带全局和局部特征的特征向量；G和L分别代表图像的全局特征向量和图像的局部特征向量；Attention(GL，GL，GL)函数表示自注意力函数；全局特征向量G由下面的公式计算得到：G＝δ(F(δ(F(E，W3，B3))，W4，4))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
δ(x)代表泄露修正线性单元激活函数，其公式为：其中a的取值范围为(0，+∞)；W
i
，B
i
代表神经网络的固有可学习参数；图像的全局特...

【专利技术属性】
技术研发人员：高绍兵，梁宸，
申请(专利权)人：四川大学，
类型：发明
国别省市：