【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于状态空间模型的多域交互图像去雨方法。
技术介绍
1、图像去雨是计算机视觉和图像处理领域中的一个重要研究课题，其目标是从受雨滴影响的图像中恢复出清晰的场景。在实际应用中，如监控、自动驾驶、卫星遥感等领域，获取的图像往往会因为雨水的影响而导致图像质量下降，进而影响图像分析和理解的准确性。为了解决这一问题，研究者们提出了多种图像去雨方法。
2、早期的去雨方法主要依赖于传统的图像处理技术，如基于图像统计特性的方法，这些方法通常需要对雨滴的形态和分布有一定的先验知识。随着图像处理技术的发展，基于模型的方法开始出现，这些方法通过建立雨滴和背景之间的物理模型来进行去雨处理。然而，这些传统方法往往需要复杂的参数调整，并且在处理复杂场景和非典型雨滴模式时效果有限。
3、近年来，随着深度学习技术的兴起，基于学习的方法在图像去雨领域取得了显著的进展。深度卷积神经网络(cnn)因其强大的特征提取能力而被广泛应用于图像去雨任务中。这些基于学习的方法通常通过训练一个网络来直接从含雨图像中学习去雨映射，无需复杂的物理模型和参数调整。例如，一些方法利用注意力机制来增强网络对雨滴区域的识别能力，而另一些方法则通过多尺度处理来提高去雨效果。
4、尽管深度学习方法在图像去雨方面取得了一定的成功，但仍存在一些挑战和局限性。例如，现有的深度去雨方法往往关注于局部特征的提取，而忽视了全局信息的重要性。此外，由于雨滴的形态多样，且在图像中的表现受到多种因素的影响，如雨滴的大小、密度、运动方向等，这使
技术实现思路
1、为解决上述技术问题，本专利技术提供一种基于状态空间模型的多域交互图像去雨方法，能够有效地去除图像中的雨滴，同时保持图像的细节和质量；本专利技术通过层次化的空间与频率信息交互，实现了对图像中雨滴的精确识别和去除，提高了去雨效果的自然性和准确性。
2、为解决上述技术问题，本专利技术采用如下技术方案：
3、一种基于状态空间模型的多域交互图像去雨方法，通过去雨模型对雨滴图像进行处理，得到去除雨滴后的恢复图像；去雨模型的构建以及训练过程包括以下步骤：
4、步骤一，对输入的雨滴图像进行特征提取，得到潜在特征f0；
5、步骤二，使用freqssm模块对潜在特征f0进行多域交互处理并将不同域的信息进行整合交互；
6、freqssm模块包括三条分支，分别为空间分支、频带分支和傅里叶分支；空间分支使用状态空间模型处理潜在特征，提取雨滴图像的细节和空间相关性；频带分支利用离散小波包变换将潜在特征分解为不同频率子带，并使用频率维度序列建模方法将分解后得到的低分辨率特征按照从低频到高频的顺序重新排列，在频率维度进行扫描；傅里叶分支负责全局退化建模，通过快速傅里叶变换将潜在特征转换到频率域；
7、此外，对雨滴图像下采样后，使用注意力模块提取雨纹信息，将雨纹信息做旁路与freqssm模块输出的主干信息流进行融合，得到融合特征，来增强图像去雨的效果；
8、步骤三，将融合特征经过由卷积层构成的恢复模块后与所述雨滴图像融合，得到最终的恢复图像；
9、步骤四，确定损失函数以优化去雨模型，总损失函数包括空间域损失和频率域损失函数，使去雨模型在像素级别上减少误差，在频率层面上提升恢复图像质量。
10、进一步地，步骤一具体包括：
11、通过卷积操作对所述雨滴图像进行特征提取，以得到潜在特征f0：
12、f0＝conv(iin)；
13、式中，conv表示卷积操作。
14、进一步地，所述使用freqssm模块对潜在特征进行多域交互处理并将不同域的信息进行整合交互，具体包括：
15、所述空间分支对潜在特征ft进行层归一化处理得到特征图fln，然后通过两个并行的子分支进行处理；第一个子分支中，将特征图fln通过激活函数，第二个子分支中，将特征图fln经过卷积后，使用mamba扫描机制对特征图进行处理，最终将两个并行的子分支的输出进行逐元素相乘，得到空间分支的输出特征fspatial：
16、fln＝ln(f0)；
17、fspatial＝mamba(conv1×1(fln))⊙s不ilu(fln)；
18、式中，ln(·)表示层归一化，conv1×1表示1×1卷积，⊙表示逐元素点乘，silu(·)为激活函数；mamba(·)表示状态空间模型，能够通过选择性扫描机制对序列数据进行建模；
19、频带分支：将特征图fln通过k层离散小波包变换，分解为不同频率的子带，并将子带按照从低频到高频的顺序重新排列，通过频率维度序列建模方法进行处理，将得到的特征图通过k层小波包逆变换恢复到空间域，得到频带分支的输出特征fband：
20、fband＝idwt(freqscan(dwt(fln)))⊙silu(fln)；
21、式中，dwt表示小波包变换，idwt表示逆小波包变换，freqscan表示频率维度序列建模方法；
22、傅里叶分支：对潜在特征f0进行快速傅里叶变换，并将得到的幅度谱和相位谱分别通过卷积层进行处理，然后通过逆傅里叶变换将处理后的频率域特征转换回空间域，得到傅里叶分支的输出特征ffourier：
23、
24、
25、
26、
27、式中，表示离散傅里叶变换，表示反傅里叶变换，convblock(·)表示1×1卷积与激活函数序列；分别表示幅度谱和相位谱，fp表示经卷积网络处理的相位谱，fa表示经卷积网络处理的幅度谱；
28、之后将freqssm模块的空间分支、频带分支和傅里叶分支的输出特征进行拼接，并通过卷积层进行特征融合，得到freqssm模块的输出。
29、进一步地，所述对雨滴图像下采样后，使用注意力模块提取雨纹信息，将雨纹信息做旁路与freqssm模块输出的主干信息流进行融合，得到融合特征，具体包括：
30、对雨滴图像进行下采样，使用一个注意力模块来识别下采样后的雨滴图像中的雨滴的模式和分布，生成注意力图，注意力图高亮了下采样后的雨滴图像中雨滴最可能存在的位置；
31、将注意力图与主干信息流进行融合：通过逐元素相乘后加和实现融合，
32、mattn＝mamba(conv1×1(iin))；
33、f′＝f⊙matten+f；
34、式中mamba(·)表示状态空间模型；mattn表示中间变量；iin表示输入图像；f表示主干信息流；f′表示融合注意力图的主干信息流。
35、进一步地，所述将融合特征经过由卷积层构成的恢复模块后与所述雨滴图像融合，得到最终的恢复图像，具体包括：
36、将融合特征送入恢复模块的多个卷积层，恢复模块的卷积层中包含激活函数；将经过恢本文档来自技高网...
【技术保护点】
1.一种基于状态空间模型的多域交互图像去雨方法，其特征在于，通过去雨模型对雨滴图像进行处理，得到去除雨滴后的恢复图像；去雨模型的构建以及训练过程包括以下步骤：
2.根据权利要求1所述的一种基于状态空间模型的多域交互图像去雨方法，其特征在于，步骤一具体包括：
3.根据权利要求1所述的一种基于状态空间模型的多域交互图像去雨方法，其特征在于，所述使用FreqSSM模块对潜在特征进行多域交互处理并将不同域的信息进行整合交互，具体包括：
4.根据权利要求1所述的一种基于状态空间模型的多域交互图像去雨方法，其特征在于，所述对雨滴图像下采样后，使用注意力模块提取雨纹信息，将雨纹信息做旁路与FreqSSM模块输出的主干信息流进行融合，得到融合特征，具体包括：
5.根据权利要求1所述的一种基于状态空间模型的多域交互图像去雨方法，其特征在于，所述将融合特征经过由卷积层构成的恢复模块后与所述雨滴图像融合，得到最终的恢复图像，具体包括：
6.根据权利要求1所述的基于状态空间模型的多域交互图像去雨方法，其特征在于：
【技术特征摘要】
1.一种基于状态空间模型的多域交互图像去雨方法，其特征在于，通过去雨模型对雨滴图像进行处理，得到去除雨滴后的恢复图像；去雨模型的构建以及训练过程包括以下步骤：
2.根据权利要求1所述的一种基于状态空间模型的多域交互图像去雨方法，其特征在于，步骤一具体包括：
3.根据权利要求1所述的一种基于状态空间模型的多域交互图像去雨方法，其特征在于，所述使用freqssm模块对潜在特征进行多域交互处理并将不同域的信息进行整合交互，具体包括：
4.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。