一种多尺度高效卷积自注意力单幅图像除雨方法技术

本发明专利技术公开了一种多尺度高效卷积自注意力单幅图像除雨方法，首先通过图像数据预处理，获得对应的有雨图像和无雨图像，再将所述有雨图像传入融合了改进型Transformer自注意力模块和多尺度空间特征融合模块的网络模型进行迭代训练，经过混合损失函数优化输出与所述无雨图像接近的处理图像，保存训练好的网络模型，再使用训练好的网络模型对需要测试的图像数据完成预测输出除雨后的图像，本方法避免了基于模型驱动的除雨方法存在的泛化能力不足和基于数据驱动的除雨方法产生较大的计算开销等问题，解决了现有技术中的单幅图像除雨方法计算量大且效率偏低的技术问题。方法计算量大且效率偏低的技术问题。方法计算量大且效率偏低的技术问题。

【技术实现步骤摘要】
一种多尺度高效卷积自注意力单幅图像除雨方法


[0001]本专利技术涉及图像处理
，尤其涉及一种多尺度高效卷积自注意力单幅图像除雨方法。

技术介绍

[0002]雨天作为较常见的一种自然天气情况，会极大地影响户外视觉系统所拍摄到的图像和视频数据的成像质量，并制约了后续高级计算机视觉任务的性能表现，例如对象跟踪、目标检测和图像分割等。从有雨图像中去除雨噪声并恢复清晰的背景是一项重要的图像预处理问题。
[0003]由于单幅图像可利用的图像特征信息较少，因此单幅图像除雨存在一定的挑战性，现有的单幅图像除雨问题主要分为两类：基于模型驱动和基于数据驱动的方法，基于模型驱动的方法首先基于一些先验知识，例如雨水的物理特性，对雨条纹建立一个物理模型，然后通过手动设计一系列精细的数学模型从有雨图像中去除雨噪声，最终得到干净无雨的背景图像，然而这些基于模型驱动的除雨方法仅适用于特定的降雨类型，无法应对实际降雨图像的不规则分布，而且，这类方法采用的优化算法通常涉及许多计算迭代，从而导致它们的效率低下；基于数据驱动的除雨方法利用深度学习网络模型所具有强大的特征提取能力，经过大量数据集的训练，学习得到雨条纹的特征和有效的背景信息，从而将有雨图像恢复成无雨图像，上述深度学习的除雨方法都将单幅图像除雨问题看成是一个多阶段的任务，并使用递归结构进行雨条纹特征提取和清除，这导致网络层次的加深和参数量的剧增，增加了网络的训练时间，带来了巨大的计算开销。

技术实现思路

[0004]本专利技术的目的在于提供一种多尺度高效卷积自注意力单幅图像除雨方法，旨在解决现有技术中的单幅图像除雨方法计算量大且效率偏低的技术问题。
[0005]为实现上述目的，本专利技术采用一种多尺度高效卷积自注意力单幅图像除雨方法，包括下列步骤：
[0006]数据预处理；
[0007]构建网络模型；
[0008]训练所述网络模型；
[0009]网络模型优化；
[0010]预测输出除雨后的图像。
[0011]其中，在数据预处理的过程中，对图像数据预处理获得有雨图像和无雨图像，所述有雨图像和所述无雨图像分别为同一环境下有雨和无雨的场景。
[0012]所述有雨图像作为训练使用的初始图像数据，所述无雨图像用作处理后的比对数据。
[0013]其中，所述网络模型包括编码结构和解码结构，所述编码结构融合了改进的
Transformer自注意力模块，所述编码结构还嵌入了多尺度空间特征融合模块，所述解码结构中包含有常规的高效卷积块，且融合了所述编码结构中对应尺度的语义特征。
[0014]改进后的Transformer注意力模块由于加入了位置编码，不仅拥有对全局特征的建模能力，而且还对局部相似特征敏感，有利于雨噪声的清除与最大限度的背景细节纹理的保留，多尺度空间特征融合块嵌入在编码阶段可以缓解编码阶段中下采样过程会出现图像部分特征丢失的问题。
[0015]其中，在训练所述网络模型的过程中，首先将预训练模型的最优参数加载到所述网络模型中，其中，所述预训练模型为网络改进前所训练好的网络模型，然后将所述有雨图像传入所述网络模型中进行迭代训练。
[0016]其中，在网络模型优化的过程中，采用混合损失函数反向传播优化迭代更新所述网络模型的网络参数，使输出结果接近所述无雨图像，并保存训练好的网络模型。
[0017]所述有雨图像在所述网络模型中迭代处理，同时也是训练所述网络模型的过程，在所述混合损失函数的优化下，输出的处理图像越来越接近所述无雨图像，此时的网络模型就是训练好的网络模型，可以用来进行其它图像的除雨处理。
[0018]其中，在预测输出除雨后的图像的过程中，将准备好的测试图像数据加载到训练好的网络模型中进行前向计算，获得测试图像除雨后的图像。
[0019]本专利技术的一种多尺度高效卷积自注意力单幅图像除雨方法，首先通过图像数据预处理，获得对应的有雨图像和无雨图像，再将所述有雨图像传入融合了改进型Transformer自注意力模块和多尺度空间特征融合模块的网络模型进行迭代训练，经过混合损失函数优化输出与所述无雨图像接近的处理图像，保存训练好的网络模型，再使用训练好的网络模型对需要测试的图像数据完成预测输出除雨后的图像，本方法避免了基于模型驱动的除雨方法存在的泛化能力不足和基于数据驱动的除雨方法产生较大的计算开销等问题，解决了现有技术中的单幅图像除雨方法计算量大且效率偏低的技术问题。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术的一种多尺度高效卷积自注意力单幅图像除雨方法的流程示意图。
[0022]图2是本专利技术的一种多尺度高效卷积自注意力单幅图像除雨方法的网络模型结构图。
[0023]图3是本专利技术的多尺度空间特征融合模块的结构图。
[0024]图4是本专利技术的具体实施例中的不同算法在合成数据集Rain100H上的主观实验结果对比图。
[0025]图5是本专利技术的具体实施例中的不同算法Rain100H上的平均运行时间及评估指标对比图。
[0026]图6是本专利技术的具体实施例中的不同算法在仿真数据集SPA上的主观实验结果图。
[0027]图7是本专利技术的跨尺度卷积自注意力模块的两种组合方案结构对比图。
具体实施方式
[0028]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0029]请参阅图1，本专利技术提出了采用一种多尺度高效卷积自注意力单幅图像除雨方法，包括下列步骤：
[0030]S1：数据预处理；
[0031]S2：构建网络模型；
[0032]S3：训练所述网络模型；
[0033]S4：网络模型优化；
[0034]S5：预测输出除雨后的图像。
[0035]在数据预处理的过程中，对图像数据预处理获得有雨图像和无雨图像，所述有雨图像和所述无雨图像分别为同一环境下有雨和无雨的场景。
[0036]所述网络模型包括编码结构和解码结构，所述编码结构融合了改进的Transformer自注意力模块，所述编码结构还嵌入了多尺度空间特征融合模块，所述解码结构中除了包含常规的高效卷积块(ECB)之外，还通过Skip Connection操作将编码结构中对应尺度的语义特征进行融合，以指导解码阶段上采样过程，建立长距离的特征依赖，有助于图像细节的恢复。
[0037]如图2所示，网络主体由一个编码
‑
解码结构组成，此外还融合了在原始Trans本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度高效卷积自注意力单幅图像除雨方法，其特征在于，包括下列步骤：数据预处理；构建网络模型；训练所述网络模型；网络模型优化；预测输出除雨后的图像。2.如权利要求1所述的多尺度高效卷积自注意力单幅图像除雨方法，其特征在于，在数据预处理的过程中，对图像数据预处理获得有雨图像和无雨图像，所述有雨图像和所述无雨图像分别为同一环境下有雨和无雨的场景。3.如权利要求2所述的多尺度高效卷积自注意力单幅图像除雨方法，其特征在于，所述网络模型包括编码结构和解码结构，所述编码结构融合了改进的Transformer自注意力模块，所述编码结构还嵌入了多尺度空间特征融合模块，所述解码结构中包含有常规的高效卷积块，且融合了所述编码结构中对应尺度的语义特征。4.如权利要求3所述的多尺度高效卷积自注意...

【专利技术属性】
技术研发人员：王鑫，覃琴，李民谣，颜靖柯，王逸轩，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：