【技术实现步骤摘要】
本专利技术涉及多曝光图像融合领域，尤其涉及一种基于深度可分离transformer与cnn级联网络的多曝光图像融合方法。
技术介绍
1、由于普通成像传感器可捕获的动态范围有限，通常拍摄的单张图像会出现曝光不足或曝光过度的问题，而单张图像通常又不足以显示现实场景中的所有细节。目前解决这个问题最为经济高效的方法就是利用多曝光图像融合技术。具体来说，多曝光图像融合技术是融合具有不同曝光度的多个图像，以产生单个视觉表现良好的高动态范围(hdr)图像的过程。在获取高质量的摄影图像、提高下游图像任务准确率、低成本自动驾驶的实现等领域都有着很重要的研究意义和价值。
2、多曝光图像融合技术可分为传统方法与基于深度学习的方法。但传统方法存在诸多问题。首先，是难以处理复杂场景，这是由于其手工设计特征融合规则，算法泛化性较差，难以保持细节平衡和伪影的抑制。其次，则是预处理、后处理步骤繁多，如在融合前需对源图像进行直方图均衡化等操作，在融合中对权重图进行边缘保留滤波等。在深度学习技术在计算机视觉领域取得令人吃惊的效果后，研究人员也提出了大量基于深度学习的多曝光图像融合方法。大量研究也表明，基于深度学习的方法无论是在融合性能还是在算法泛化性方面都大幅领先于传统mef方法。
3、基于深度学习的mef方法根据特征提取机制的不同可分为单纯使用卷积神经网络(cnn)的mef方法与引入transformer的方法。单纯基于卷积神经网络的mef方法能很好的在卷积核对应的感受野内将相应的信息进行提取聚合，但对于多曝光图像融合任务而言，融合图像的
技术实现思路
1、根据现有技术存在的问题，本专利技术公开了一种基于深度可分离transformer与cnn级联网络的多曝光图像融合方法，具体包括如下步骤：
2、构建深度可分离transformer架构，基于空间维度与通道维度之间自注意力图的协同作用提取全局信息；
3、构建具备多样性信息挖掘能力的密集层，所述密集层包括cnn级联网络与transformer层的级联，其中多重密集层构成单个密集块；
4、对密集块进行密集连接构建用于特征提取的特征提取网络，使用特征提取网络从源图像中提取特征信息流；
5、构建特征重建网络，采用特征重建网络对特征信息流进行重建得到融合图像；
6、将特征提取网络与特征重建网络组合成用于多曝光图像融合的深度可分离transformer与cnn级联网络；
7、使用结构相似性、均方误差与梯度构成的损失函数组合来训练深度可分离transformer与cnn级联网络，使用该网络衡量融合图像与两张源图像之间的相似性。
8、进一步的，构建深度可分离transformer架构时，通过空间维度与通道维度上的自注意力图的协同作用建模像素间相关性，具体包括：获取空间自注意力特征，计算图像特征的跨通道交叉协方差，再获取跨通道自注意力图，将跨通道自注意力图归一化处理生成通道权重图，通过通道权重图指导空间注意力特征的加权和过程获得复合自注意力特征。
9、进一步的，获取空间自注意力特征时具体采用如下方式：将原始输入特征进行逐通道分离得到c个通道数为1的特征其中i＝[1,2,…,c]、代表原始输入特征x的通道编号，经过卷积层与层归一化(ln)后得到特征映射矩阵
10、zi＝ln(w1·yi)
11、其中w1为卷积层，将特征映射矩阵按通道分割得到query(qi)、key(ki)和value(vi)，经重塑维度后三个映射矩阵的大小均为
12、{qi,ki,vi}＝{re(c1(zi)),re(c2(zi)),re(c3(zi))}
13、其中ca代表从特征zi中切割出的第a个通道的特征，re()代表维度重塑操作；
14、对空间维度上的成对像素点进行显式建模，分别沿着单通道特征zi的高度方向与宽度方向计算出空间自注意力图：
15、
16、其中代表沿单通道特征zi的高度方向上计算得到的空间自注意力图，代表计算得到的沿宽度方向上的空间自注意力图，为缩放参数，用以控制k与q的点积大小，dk为ki的通道数；
17、将得到的两个空间自注意力图与vi相乘并重构维度，得到初步自注意力特征
18、fi1＝re(mi1(qi,ki)·vi)
19、
20、其中fi1与分别代表单通道特征yi沿高度方向与宽度方向上生成的显式编码全局上下文的初步自注意力特征；
21、将fi1与fi2拼接后通过卷积层进行融合，得到单通道特征yi的空间自注意力特征图fi
22、fi＝w2·concat(fi1,fi2)
23、其中w2为卷积层，在c个通道上重复上述操作，并将结果在通道维度上进行拼接，得到最终的空间自注意力特征
24、fs＝concat(f1,f2,...,fc)。
25、进一步的，所述跨通道自注意力图获取方式为：计算输入特征矩阵沿着通道维度的自注意力图，再将其逐行归一化后得到权重图，基于该权重图指导空间自注意力特征fs进行加权计算，从而加强特征通道间的交互作用：基于原始输入特征x的全通道获取自注意力图，先将x经过一个卷积层与层归一化操作(ln)，再按照通道进行分割并重塑维度后得到query(q)和key(k)
26、{q,k}＝{re(c1(ln(w3·x))),re(c2(ln(w3·x)))}
27、其中w3为卷积层，配置与w2保持一致，根据得到的特征映射矩阵q、k进行自注意力计算，得到跨通道自注意力图：
28、
29、其中该通道自注意力图显式的建模了通道间的互相关性；
30、将通道自注意力图逐行归一化后本文档来自技高网...
【技术保护点】
1.一种基于深度可分离Transformer与CNN级联网络的多曝光图像融合方法，其特征在于包括：
2.根据权利要求1所述基于深度可分离Transformer与CNN级联网络的多曝光图像融合方法，其特征在于：构建深度可分离Transformer架构时，通过空间维度与通道维度上的自注意力图的协同作用建模像素间相关性，具体包括：获取空间自注意力特征，计算图像特征的跨通道交叉协方差，再获取跨通道自注意力图，将跨通道自注意力图归一化处理生成通道权重图，通过通道权重图指导空间注意力特征的加权和过程获得复合自注意力特征。
3.根据权利要求2所述基于深度可分离Transformer与CNN级联网络的多曝光图像融合方法，其特征在于：获取空间自注意力特征时具体采用如下方式：将原始输入特征进行逐通道分离得到C个通道数为1的特征其中i＝[1,2,…,C]、代表原始输入特征X的通道编号，经过卷积层与层归一化(LN)后得到特征映射矩阵
4.根据权利要求3所述基于深度可分离Transformer与CNN级联网络的多曝光图像融合方法：其特征在于：所述跨通道自注意力图获取方式
5.根据权利要求3所述基于深度可分离Transformer与CNN级联网络的多曝光图像融合方法：根据通道权重图MW指导空间自注意力特征Fs得到最终的加权输出特征：通道权重图MW的每一行权重值序列用来指导Fs进行通道间的信息交互，复合自注意力特征的计算过程为：
6.根据权利要求1所述基于深度可分离Transformer与CNN级联网络的多曝光图像融合方法，其特征在于：构建特征提取网络时首先进行密集块之间的密集连接：将单个密集块的输入与输出在通道维度上进行拼接成为下一级密集块的输入，所述特征提取网络包括一个前置的浅层特征提取层与三个密集块，其中浅层特征提取层包括卷积层和激活函数，所述浅层特征提取层用于将拼接的源图像序列进行融合并提取混合浅层特征。
7.根据权利要求1所述基于深度可分离Transformer与CNN级联网络的多曝光图像融合方法，其特征在于：所述密集块包括Lj个密集层，其中j为密集连接块的编号，取值区间为[1-3]，对于每个密集块的第一个密集层，都前置一个3×3卷积层与激活函数的组合，对于最后一个密集层，则将其后置，其余的密集层则由深度可分离Transformer构成。
...【技术特征摘要】
1.一种基于深度可分离transformer与cnn级联网络的多曝光图像融合方法，其特征在于包括：
2.根据权利要求1所述基于深度可分离transformer与cnn级联网络的多曝光图像融合方法，其特征在于：构建深度可分离transformer架构时，通过空间维度与通道维度上的自注意力图的协同作用建模像素间相关性，具体包括：获取空间自注意力特征，计算图像特征的跨通道交叉协方差，再获取跨通道自注意力图，将跨通道自注意力图归一化处理生成通道权重图，通过通道权重图指导空间注意力特征的加权和过程获得复合自注意力特征。
3.根据权利要求2所述基于深度可分离transformer与cnn级联网络的多曝光图像融合方法，其特征在于：获取空间自注意力特征时具体采用如下方式：将原始输入特征进行逐通道分离得到c个通道数为1的特征其中i＝[1,2,…,c]、代表原始输入特征x的通道编号，经过卷积层与层归一化(ln)后得到特征映射矩阵
4.根据权利要求3所述基于深度可分离transformer与cnn级联网络的多曝光图像融合方法：其特征在于：所述跨通道自注意力图获取方式为：计算输入特征矩阵沿着通道维度的自注意力图，再将其逐行归一化后得到权重图，基于该权重图指导空间自注意力特征fs进行加权计算，从而加强特征通道间的交互作用：基于原始输入特征...
【专利技术属性】
技术研发人员：王玉磊，曾浩，王洪洲，赵恩宇，杨玉超，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。