基于ConvGRU融合和权重自适应的弱光增强方法技术

本发明专利技术公开了基于ConvGRU融合和权重自适应的弱光增强方法，通过特征聚合门控(ConvGRU)，以交互方式将卷积局部特征与基于Transformer的全局表示融合在一起，最大限度地保留了局部特征和全局表示，使用FR进行图像重建，能够准确描述输入的红外和可见光的细节特征实现弱光图像增强，再加上权重自适应的损失函数，自适应地调整损失函数的权重，以约束网络达到最优的融合结果。网络达到最优的融合结果。网络达到最优的融合结果。

【技术实现步骤摘要】
基于ConvGRU融合和权重自适应的弱光增强方法


[0001]本专利技术属于计算机数字图像处理
，具体涉及基于ConvGRU融合和权重自适应的弱光增强方法。

技术介绍

[0002]当进入相机的光线不足时，获取的图像亮度会较低，成为低照度图像。低照度图像存在亮度较低、图像细节信息模糊不清等问题。当一张图像亮度和细节信息达不到所需时，便会对其进行增强，增强的方式有很多，其中基于深度学习的融合方法，充分考虑了可见光图像与红外图像具有互补信息的特性。基于深度学习的图像增强算法是重要的研究领域之一，在安防监控、目标检测和视频分析等不同领域都发挥着不可替代的作用。
[0003]目前现有的图像融合方法，大致分为四个大类，包括：基于自编码器的融合、基于GAN模型的融合、基于传统CNN的融合、基于Transformer的融合。但是现有的图像融合算法并不容易得到弱光场景下清晰的红外和可见光融合图像。

技术实现思路

[0004]本专利技术的目的是提供基于ConvGRU融合和权重自适应的弱光增强方法，解决了现有的图像融合算法并不容易得到弱光场景下清晰的红外和可见光融合图像的问题。
[0005]本专利技术所采用的技术方案是：基于ConvGRU融合和权重自适应的弱光增强方法，具体按照以下步骤实施：
[0006]步骤1、采集同一弱光场景下，一个红外图像，一个可见光图像，作为红外可见光图像对，设计基于CNN和Transformer架构的特征提取模块CTFE，输入红外可见光图像对提取局部和全局相关性进行建模，提取输入图像的深层特征；
[0007]步骤2、设计门控单元ConvGRU，将图像的局部特征F
CNN
和全局特征F
T
有选择性的融合在一起，使用Convblock对融合结果进行特征增强，得到融合特征Z
feats
；
[0008]步骤3、设计特征重建模块FR，根据融合特征Z
feats
重建融合结果I
F
；
[0009]步骤4、设计权重自适应的损失函数，多个损失通过共享信息，相互补充，最终得到最优融合图像的网络；
[0010]步骤5、对于最优融合图像的网络进行训练70个Epoch，得到训练后的最优融合图像网络；
[0011]步骤6、将待增强弱光图像输入训练后的最优融合图像网络，得到弱光增强的图像。
[0012]本专利技术的特点还在于：
[0013]步骤1中基于CNN和Transformer架构的特征提取模块CTFE包括3个卷积神经网络和2个Transformer层。
[0014]步骤1具体过程为：
[0015]步骤1.1、首先将弱光场景下的红外图像I
Inf
和可见光图像I
Vis
，作为红外可见光图
像对，送入基于CNN和Transformer架构的特征提取模块CTFE，利用基于CNN和Transformer架构的特征提取模块CTFE获取图像的局部特征F
CNN
和全局特征F
T
；基于Transformer自身分块原理，对全局特征F
T
进行线性投影得到红外特征序列Z
Inf
和可见光特征序列Z
Vis
；
[0016]步骤1.2，将红外特征序列Z
Inf
和可见光特征序列Z
Vis
依次通过2个Transformer层，得到输入图像的深层特征。
[0017]Transformer层的结构由一个多头注意力机制MSA块和一个多层感知机MLP块组成；多头注意力机制MSA块如公式(1)(2)(3)所示：
[0018]MultiHead(Q,K,V)＝Concat(head1,
…
,head
h
)W
O
ꢀꢀꢀ
(1)；
[0019]head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0020][0021]其中，d
model
表示序列编码长度，Q，K，V分别表示矩阵形式的query，key和value，d
k
表示向量key的维度。
[0022]步骤2具体过程为：
[0023]步骤2.1、将步骤1得到的局部特征F
CNN
和全局特征F
T
通过门控单元ConvGRU有选择性的进行特征的融合，根据ConvGRU中的控制重置的门控r和控制更新的门控z，获得门控信号后，使用重置门控获取重置后的数据F
T～
，F
T～
计算如公式(6)所示：
[0024]F
T～
＝F
T
⊙
r
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)；
[0025]公式(6)中，
⊙
表示逐元素相乘，重置之后的数据F
T～
与CNN提取到的局部特征F
CNN
进行拼接，通过tanh激活函数将其缩放到
‑
1到1的范围，得到F
T
′
，F
T
′
主要包含F
CNN
，同时有选择性的记忆重置之后的数据F
T～
，F
T
′
计算如公式(7)所示：
[0026]F
T
′
＝tanh(W(F
CNN
,F
T～
)) (7)；
[0027]之后使用更新门控z获得最终更新后的含有局部信息和全局信息的融合特征F，F的计算如公式(8)所示：
[0028]F＝(1
‑
z)
⊙
F
T
+z
⊙
F
T
′ꢀ
(8)；
[0029]步骤2.2、含有局部信息和全局信息的融合特征送入两个顺序连接的卷积块Convblock中，得到融合特征Z
feats
。
[0030]门控r和控制更新的门控z表达式为：
[0031]r＝S(W
r
(F
CNN
,F
T
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0032]z＝S(W
z
(F
CNN
,F
T
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)；
[0033]S是sigmoid函数，通过S将数据转换为0
‑
1范围内的值，以作为门控信号，W
r
和W
z
是各自的权重。
[0034]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于ConvGRU融合和权重自适应的弱光增强方法，其特征在于，具体按照以下步骤实施：步骤1、采集同一弱光场景下，一个红外图像，一个可见光图像，作为红外可见光图像对，设计基于CNN和Transformer架构的特征提取模块CTFE，输入红外可见光图像对提取局部和全局相关性进行建模，提取输入图像的深层特征；步骤2、设计门控单元ConvGRU，将图像的局部特征F
CNN
和全局特征F
T
有选择性的融合在一起，使用Convblock对融合结果进行特征增强，得到融合特征Z
feats
；步骤3、设计特征重建模块FR，根据融合特征Z
feats
重建融合结果I
F
；步骤4、设计权重自适应的损失函数，多个损失通过共享信息，相互补充，最终得到最优融合图像的网络；步骤5、对于最优融合图像的网络进行训练70个Epoch，得到训练后的最优融合图像网络；步骤6、将待增强弱光图像输入训练后的最优融合图像网络，得到弱光增强的图像。2.根据权利要求1所述基于ConvGRU融合和权重自适应的弱光增强方法，其特征在于，步骤1中所述基于CNN和Transformer架构的特征提取模块CTFE包括3个卷积神经网络和2个Transformer层。3.根据权利要求2所述基于ConvGRU融合和权重自适应的弱光增强方法，其特征在于，步骤1具体过程为：步骤1.1、首先将弱光场景下的红外图像I
Inf
和可见光图像I
Vis
，作为红外可见光图像对，送入基于CNN和Transformer架构的特征提取模块CTFE，利用基于CNN和Transformer架构的特征提取模块CTFE获取图像的局部特征F
CNN
和全局特征F
T
；基于Transformer自身分块原理，对全局特征F
T
进行线性投影得到红外特征序列Z
Inf
和可见光特征序列Z
Vis
；步骤1.2，将红外特征序列Z
Inf
和可见光特征序列Z
Vis
依次通过2个Transformer层，得到输入图像的深层特征。4.根据权利要求2所述基于ConvGRU融合和权重自适应的弱光增强方法，其特征在于，所述Transformer层的结构由一个多头注意力机制MSA块和一个多层感知机MLP块组成；所述多头注意力机制MSA块如公式(1)(2)(3)所示：MultiHead(Q,K,V)＝Concat(head1,
…
,head
h
)W
O
ꢀꢀꢀ
(1)；head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；其中，d
model
表示序列编码长度，Q，K，V分别表示矩阵形式的query，key和value，d
k
表示向量key的维度。5.根据权利要求1所述基于ConvGRU融合和权重自适应的弱光增强方法，其特征在于，步骤2具体过程为：步骤2.1、将步骤1得到的局部特征F
CNN
和全局特征F
T
通过门控单元ConvGRU有选择性的进行特征的融合，根据ConvGRU中的控制重置的门控r和控制更新的门控z，获得门控信号
后，使用重置门控获取重置后的数据F
T～
，F
T～
计算如公式(6)所示：F
T～
＝F
T
⊙
r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)；公式(6)中，
⊙
表示逐元素相乘，重置之后的数据F
T～
与CNN提取到的局部特征F
CNN
进行拼接，通过tanh激活函数将其缩放到
‑
1到1的范围，得到F
T
′
，F
T
′
主要包含F
CNN
，同时有选择性的记忆重置之后的数据F
T～
，F
T
′
计算如公式(7)所示：F
T
′
＝tanh(W(F
CNN
,F
T
～))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)；之后使用更新门控z获得最终更新后的含有局部信息和全局信息的融合特征F，F的计算如公式(8)所示：F＝(1
‑
z)
⊙
F
T
+z
⊙
F
T
′ꢀꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：金海燕，杨越，苏浩楠，王彬，肖照林，蔡磊，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：