【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体涉及一种基于带不对称双分支解码器的u型网络的图像去雨雾方法。
技术介绍
1、现有的图像去雨雾方法大多仅能处理单一类型的污染物，难以同时去除雨、雾、雪等多种污染物，并且在恢复恶劣天气下的场景信息时存在不足。因此，迫切需要一种能够有效去除多种污染物并恢复场景信息的技术方案。
技术实现思路
1、本专利技术的目的在于针对现有技术中仅专注于去除污染物而未考虑恢复场景信息的缺陷，提出一种基于带不对称双分支解码器的u型网络的图像去雨雾方法。
2、本专利技术的目的是通过以下技术方案来实现的：
3、一种基于带不对称双分支解码器的u型网络的图像去雨雾方法，包括以下步骤：
4、步骤一：将原始带雨雾的场景图像输入单分支编码器中，利用编码器中串联的若干卷积块对带雨雾的场景图像进行编码，输出每一个卷积块的编码特征；
5、步骤二：将编码器最后两个卷积块输出的编码特征输入到不对称双分支解码器中的第0个不对称双分支解码块中，输出双分支解码特征；依次完成解码器中的n个不对称双分支解码块的解码处理，其中解码器的第i个不对称双分支解码块的输入为第i1个不对称双分支解码块输出的双分支解码特征和编码器中倒数第i+1个卷积块输出的编码特征，1≤i≤n-1，n为解码器中的不对称双分支解码块数量；
6、步骤三：将最后一个不对称双分支解码块输出的双分支解码特征分别恢复到与原始带雨雾的场景图像尺寸相同；所述的双分支解码特征包括污染物残差特征和
7、步骤四：用原始带雨雾的场景图像减去恢复尺寸后的双分支解码特征，得到去雨雾后的干净图像。
8、进一步地，所述的不对称双分支解码块包括污染物残差分支和场景残差分支，且第i(1≤i≤n-1)个不对称双分支解码块的污染物残差分支和场景残差分支之前还分别设有一个输入卷积块；所述的污染物残差分支和场景残差分支分别用于计算污染物残差特征和场景残差特征。
9、进一步地，所述不对称双分支解码块中的污染物残差分支包括通道特征融合块、窗口多头自注意力机制和输出卷积块，首先利用通道特征融合块融合输入的两个特征，生成污染物残差分支的融合特征；再依次使用窗口多头自注意力机制和输出卷积块得到基于融合特征的污染物残差特征。
10、所述的场景残差分支包括全局通道特征融合块、移位窗口多头自注意力机制和输出卷积块，首先利用全局通道特征融合块融合输入的两个特征，生成场景残差分支的融合特征；再依次使用移位窗口多头自注意力机制和输出卷积块得到基于融合特征的场景残差特征。
11、进一步地，所述的通道特征融合块的计算表示为：
12、
13、其中，表示逐元素相加，σ、bn和relu分别表示sigmoid函数、批归一化和修正线性单元激活函数，表示逐元素相乘，i表示与wc大小相同的单位矩阵，conv表示卷积层，表示污染物残差分支的第一输入特征和第二输入特征，wc表示污染物残差分支的注意力权重，gc表示污染物残差分支的融合特征。
14、进一步地，所述的全局通道特征融合块的计算表示为：
15、
16、
17、其中，表示逐元素相加，σ、bn和relu分别表示sigmoid函数、批归一化和修正线性单元激活函数，gap表示全局平均池化操作，表示逐元素相乘，i表示与ws大小相同的单位向量，conv表示卷积层，表示场景残差分支的第一输入特征和第二输入特征，ws表示场景残差分支的注意力权重，gs表示场景残差分支的融合特征。
18、进一步地，所述的第i(1≤i≤n-1)个不对称双分支解码块中，首先分别通过污染物残差分支和场景残差分支之前设置的输入卷积块融合第i-1个不对称双分支解码块输出的污染物残差特征和场景残差特征，将融合结果分别作为两个分支的第一输入特征，将编码器中倒数第i+1个卷积块输出的编码特征作为两个分支的第二输入特征；
19、所述的第0个不对称双分支解码块中，直接将编码器最后两个卷积块输出的编码特征作为两个分支的第一输入特征和第二输入特征。
20、本专利技术的有益效果是，解决了现有图像去雨雾网络未考虑恢复场景信息重要性而导致恢复的图像缺乏真实性的问题，在去除图像中污染物的同时也尽可能恢复了场景细节信息。
本文档来自技高网...【技术保护点】
1.一种基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，所述的U型网络由所述的单分支编码器和不对称双分支解码器组成，U型网络采用结构相似性损失函数进行训练。
3.根据权利要求2所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，所述的单分支编码器中的每个卷积块包含两个卷积层和一个最大池化层，每经过一个卷积块，输入特征长宽缩小一半，通道增加一倍。
4.根据权利要求1或3所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，单分支编码器中的卷积块数量多于不对称双分支解码器中的不对称双分支解码块数量。
5.根据权利要求1所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，所述的不对称双分支解码器中包含若干不对称双分支解码块和两个卷积层，所述的两个卷积层用于将最后一个不对称双分支解码块输出的污染物残差特征和场景残差特征分别恢复到原始带雨雾的场景图像尺寸。
6.
7.根据权利要求6所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，所述不对称双分支解码块中的污染物残差分支包括通道特征融合块、窗口多头自注意力机制和输出卷积块，首先利用通道特征融合块融合输入的两个特征，生成污染物残差分支的融合特征；再依次使用窗口多头自注意力机制和输出卷积块得到基于融合特征的污染物残差特征；
8.根据权利要求7所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，所述的通道特征融合块的计算表示为：
9.根据权利要求7所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，所述的全局通道特征融合块的计算表示为：
10.根据权利要求1所述的基于带不对称双分支解码器的U型网络的图像去雨雾方法，其特征在于，所述的第i，1≤i≤N-1个不对称双分支解码块中，首先分别通过污染物残差分支和场景残差分支之前设置的输入卷积块融合第i-1个不对称双分支解码块输出的污染物残差特征和场景残差特征，将融合结果分别作为两个分支的第一输入特征，将编码器中倒数第i+1个卷积块输出的编码特征作为两个分支的第二输入特征；
...【技术特征摘要】
1.一种基于带不对称双分支解码器的u型网络的图像去雨雾方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于带不对称双分支解码器的u型网络的图像去雨雾方法，其特征在于，所述的u型网络由所述的单分支编码器和不对称双分支解码器组成，u型网络采用结构相似性损失函数进行训练。
3.根据权利要求2所述的基于带不对称双分支解码器的u型网络的图像去雨雾方法，其特征在于，所述的单分支编码器中的每个卷积块包含两个卷积层和一个最大池化层，每经过一个卷积块，输入特征长宽缩小一半，通道增加一倍。
4.根据权利要求1或3所述的基于带不对称双分支解码器的u型网络的图像去雨雾方法，其特征在于，单分支编码器中的卷积块数量多于不对称双分支解码器中的不对称双分支解码块数量。
5.根据权利要求1所述的基于带不对称双分支解码器的u型网络的图像去雨雾方法，其特征在于，所述的不对称双分支解码器中包含若干不对称双分支解码块和两个卷积层，所述的两个卷积层用于将最后一个不对称双分支解码块输出的污染物残差特征和场景残差特征分别恢复到原始带雨雾的场景图像尺寸。
6.根据权利要求5所述的基于带不对称双分支解码器的u型网络的图像去雨雾方法，其特征在于，所述的不对称双分支解码块包括污染物残差分支和场景残差分支，且第i，1≤i≤n-1个不对称...
【专利技术属性】
技术研发人员：冯缘，陈锘屹，胡曜珺，徐鑫楠，刘盛，沈守枫，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。