【技术实现步骤摘要】
本专利技术涉及一种红外与可见光图像融合，特别涉及一种基于分布式结构的红外与可见光图像融合网络。
技术介绍
1、图像融合是一种关键的图像处理技术，旨在克服由于硬件理论和技术的限制，单一模式传感器拍摄的图像无法有效全面地描述图像场景的困境。现有的图像融合场景中，最广泛使用的是可见光和红外图像融合。红外图像可以显示对象的热分布，即使在恶劣天气条件下也可以有效地突出目标。然而，红外图像的背景细节不够清晰。可见光图像提供丰富的颜色信息和高分辨率的纹理细节，但其视觉质量和分辨率高度依赖于光照和环境条件。将红外和可见光图像进行融合处理，可以将可见光的丰富细节与红外的目标特性相结合，生成包含比任何单个源图像更多有用信息的综合图像，为后续的高级视觉任务如目标检测、目标跟踪 和语义分割，等提供更为有利的帮助，目前，大多数现有方法得到的融合结果通常具有不完善的纹理细节，并且缺乏热目标特征，现有的融合方法通常是人工设计和不可学习的，没有充分考虑上下文信息。针对上述问题，本文提出了一种基于注意力机制和密集空洞卷积的分布式架构网络。
技术实现思路
1、本专利技术的目的在于提供一种基于分布式结构的红外与可见光图像融合网络，以解决上述
技术介绍
中提出的问题。
2、本专利技术是通过以下技术方案实现的：
3、一种基于分布式结构的红外与可见光图像融合网络，所述网络的拓扑结构由上通道、下通道以及中间通道构成，所述上通道、下通道均由依次级联的mddc多尺度密集空洞卷积模块以及ecb边缘辅助修正模块所组
4、具体的，所述mddc多尺度密集空洞卷积模块由四条不同感受野的输出分支、mat多尺度注意力模块、scm 空间与通道注意力融合模块组成，所述mat多尺度注意力模块用于对输入特征进行加权，再将加权后的特征馈送到四个不同的卷积分支中，通过具有不同接受域的卷积核获得多尺度特征，通过所述scm空间与通道注意力融合模块进行融合，融合后的信息特征为所述mddc多尺度密集空洞卷积模块的最终输出。
5、具体的，对输入特征计算空间注意力权重与通道注意力权重的具体过程如下：
6、
7、
8、其中，表示输入的特征，表示位于mddc多尺度密集空洞卷积模块的第n层，表示卷积操作，(·)表示sigmoid激活函数，(·)表示全局池化操作，(·)表示l1正则化操作，为经过通道注意力模块得到的权重特征图，为经过空间注意力模块得到的权重特征图，=1、2，表示输入的特征之一；
9、而注意融合操作可以表示为：
10、
11、
12、其中，，和分别表示通过soft-max操作计算得到的通道注意力加权图和空间注意力加权图，接着，、和便可以由如下公式得到：
13、
14、
15、
16、其中，和分别表示增强后的通道注意特征图和空间注意特征图，是最终的输出，表示通道注意力特征，表示空间注意力特征，表示最终输出特征。
17、具体的，所述cmb坐标平均注意力融合模块在ca坐标注意力模块用一维平均池化操作的基础上，通过并行一维最大值池化操作对所述信息特征进行增强提取，具体过程如下：
18、步骤1：输入特征图 x，进行两个并行的一维池化操作，其中，c表示特征图的通道数，h表示特征图的高度，w表示特征图的宽度，所述一维池化操作包括一维平均池化和一维最大值池化，每个并行池化方法在沿宽度方向和沿高度方向上执行；
19、步骤2：将两种池化操作后的结果进行转置并沿着空间维度拼接，分别得到一个关注显著目标的中心区域的特征图和一个关注变化显著的边缘区域的特征图，接着对这两个特征图进行1x1卷积变换，后进行非线性激活操作，以增加非线性拟合能力；
20、
21、
22、其中，表示relu激活函数，表示1×1卷积，和表示沿特征图的高度和宽度方向进行平均池化操作后得到的特征图,和表示沿特征图的高度和宽度方向进行池化操作后得到的特征图，t表示转置操作，[·;·]表示转置后沿着空间维度进行连接操作，h表示特征图的高度，w表示特征图的宽度，为平均池化的加强特征图，为最大池化的加强特征图；
23、步骤3：接着使用元素最大值操作，融合两个激活后的特征图信息；
24、
25、其中，为和通过元素最大值操作融合后的特征图；
26、步骤4：在空间维度上对融合特征进行分解，得到高度方向和宽度方向的特征向量，随后，对这两个向量进行1x1卷积变换和非线性激活操作，得到高度和宽度方向的注意权值；
27、
28、
29、其中，和分别表示与f的高度和宽度相关的两个分解向量，表示sigmoid激活函数，表示1×1卷积操作，和为高度和宽度方向的注意权值；
30、步骤5： 将特征图 x分别与高度方向上和宽度方向的注意力权重加权生成加强后的特征图；
31、
32、其中，和表示在高度方向和宽度方向上的具体位置，表示加强后的特征图；
33、步骤6：对输入到cmb坐标平均注意力融合模块中的两个输入特征计算得到坐标平均注意力图，对坐标平均注意力图执行soft-max操作得到各自的概率权重，并将其与输入特征相乘以对重要特征加权；
34、
35、其中，表示第a个输入特征，表示第b个输入特征，和为对输入特征的坐标平均注意力图执行soft-max所产生的概率权重，是cmb坐标平均注意力融合模块最终的输出结果。
36、具体的，通过所述ecb边缘辅助修正模块对信息特征的边缘细节进行细化的具体过程如下；
37、获取用于修正图像的边缘信息，其大小为m × n的边缘梯度映射，表示为：
38、
39、
40、
41、其中，表示用于计算水平的线性运算符，h表示水平方向，表示用于计算垂直第一层差的线性运算符，v表示垂直方向，和分别表示源像素左侧和下方的最近邻居像素；
42、利用空间梯度滤波器对边缘细节进行优化，得到更明显的梯度信息，计算公式如下:
43、
44、其中，为空间梯度滤波器，m 、n均为常数，是特征图的水平像素，是特征图的垂直像素，max表示取最大值操作。
45、具体的，所述网络通过构建包含强度损本文档来自技高网...
【技术保护点】
1.一种基于分布式结构的红外与可见光图像融合网络，其特征在于，所述网络的拓扑结构由上通道、下通道以及中间通道构成，所述上通道、下通道均由依次级联的MDDC多尺度密集空洞卷积模块以及ECB边缘辅助修正模块所组成，所述中间通道包括若干卷积块和CMB坐标平均注意力融合模块，所述MDDC多尺度密集空洞卷积模块用于获取红外图像和可见光图像的信息特征，所述ECB边缘辅助修正模块用于将所述上通道和下通道提取的信息特征的边缘细节进行细化，所述CMB坐标平均注意力融合模块用于进行特征融合，利用上通道和下通道中的MDDC多尺度密集空洞卷积模块以及ECB边缘辅助修正模块对可见光和红外图像进行特征提取，利用中间通道中的CMB坐标平均注意力融合模块将两个通道提取的特征与前一步的融合结果逐层融合，最后一层生成融合图像。
2.根据权利要求1所述的一种基于分布式结构的红外与可见光图像融合网络，其特征在于，所述MDDC多尺度密集空洞卷积模块由四条不同感受野的输出分支、MAT多尺度注意力模块、SCM空间与通道注意力融合模块组成，所述MAT多尺度注意力模块用于对输入特征进行加权，再将加权后的特征馈送到四个
3.根据权利要求2所述的一种基于分布式结构的红外与可见光图像融合网络，其特征在于，对输入SCM空间与通道注意力融合模块的特征计算空间注意力权重与通道注意力权重的具体过程如下：
4.根据权利要求1所述的一种基于分布式结构的红外与可见光图像融合网络，其特征在于，所述CMB坐标平均注意力融合模块在CA坐标注意模块用一维平均池化操作的基础上，通过并行一维最大值池化操作对所述信息特征进行增强提取，具体过程如下：
5.根据权利要求1所述的一种基于分布式结构的红外与可见光图像融合网络，其特征在于，通过所述ECB边缘辅助修正模块对信息特征的边缘细节进行细化的具体过程如下：
6.根据权利要求5所述的一种基于分布式结构的红外与可见光图像融合网络，其特征在于，所述网络通过构建包含强度损失与细节损失在内的总损失函数来共同约束融合目标，实现保留融合后的图像中可见光图像中的纹理细节和突出目标的红外热信息，所述总损失函数如下：
7.根据权利要求6所述的一种基于分布式结构的红外与可见光图像融合网络，其特征在于，通过下式计算强度损失函数：
...【技术特征摘要】
1.一种基于分布式结构的红外与可见光图像融合网络，其特征在于，所述网络的拓扑结构由上通道、下通道以及中间通道构成，所述上通道、下通道均由依次级联的mddc多尺度密集空洞卷积模块以及ecb边缘辅助修正模块所组成，所述中间通道包括若干卷积块和cmb坐标平均注意力融合模块，所述mddc多尺度密集空洞卷积模块用于获取红外图像和可见光图像的信息特征，所述ecb边缘辅助修正模块用于将所述上通道和下通道提取的信息特征的边缘细节进行细化，所述cmb坐标平均注意力融合模块用于进行特征融合，利用上通道和下通道中的mddc多尺度密集空洞卷积模块以及ecb边缘辅助修正模块对可见光和红外图像进行特征提取，利用中间通道中的cmb坐标平均注意力融合模块将两个通道提取的特征与前一步的融合结果逐层融合，最后一层生成融合图像。
2.根据权利要求1所述的一种基于分布式结构的红外与可见光图像融合网络，其特征在于，所述mddc多尺度密集空洞卷积模块由四条不同感受野的输出分支、mat多尺度注意力模块、scm空间与通道注意力融合模块组成，所述mat多尺度注意力模块用于对输入特征进行加权，再将加权后的特征馈送到四个不同的卷积分支中，通过具有不同接受域的卷积核获得多尺度特征，通过所述scm空间与...
【专利技术属性】
技术研发人员：邹利兰，毛鑫，童桐，陈欣桐，梁力恒，
申请(专利权)人：广东海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。