【技术实现步骤摘要】
本专利技术涉及图像处理以及计算机视觉领域，具体涉及一种基于频率域高低频交叉融合的图像耀斑去除方法。
技术介绍
1、耀斑是相机镜头指向强光源时可能出现的光学现象，它通常表现为重影、晕光或其他可能降低图像视觉质量的伪影。这些伪影不仅模糊了图像的内容，还降低了其整体视觉质量。而且耀斑还会导致一些计算机视觉下游任务如对象检测、语义分割、深度估计和场景理解等的性能下降，导致计算机视觉系统产生错误决策。在镜头属性、场景条件和光源位置等诸多因素的影响下，耀斑具备了不同强度、不同大小以及不同形状的特点。这些特点使得去除耀斑成为了一个十分具有挑战性的任务。
2、目前图像耀斑去除方法可以分为传统方法和基于深度学习的方法。传统方法如贝叶斯估计、马尔可夫随机场和点扩散函数等基于样本来识别和消除耀斑。然而这些方法仅能识别到有限类型的耀斑，并且需要耗费巨大的算力来检测和消除。由于数据和计算资源的可用性，基于深度学习的技术取得了飞跃，所以也出现了基于深度学习的耀斑去除方法。这些方法采用卷积神经网络和生成模型来检测和消除耀斑。在大量数据的驱动下，基于深度学习的方法可以很好地学习到图像的耀斑特征，进而可以很好地对图像中的耀斑进行检测和去除。
3、然而现有的基于深度学习的方法仅从空间域的角度进行图像耀斑的去除，虽然得到了很好的耀斑去除效果，但是也造成了一些图像细节被错误抹除的问题。图像的高频中包含大量图像细节，可以有效地对被错误去除的图像细节进行恢复，同时图像的低频中包含图像的整体结构、边缘和纹理等主要特征，可以帮助模型学习耀斑的结构特征。
技术实现思路
1、本专利技术的目的在于提供一种基于频率域高低频交叉融合的图像耀斑去除方法，该方法基于深度学习的方法，使用信息采集模块、信息交互模块以及信息融合模块搭建去耀斑网络，以此提取图像中的耀斑特征，并通过设置损失函数进行监督，引导去耀斑网络的训练，从而获得更好的去耀斑效果。
2、为实现上述目的，本专利技术的技术方案是：一种基于频率域高低频交叉融合的图像耀斑去除方法，包括如下步骤：
3、步骤s1、进行数据预处理，包括数据配对、数据随机裁切和数据增强处理，得到训练数据集；
4、步骤s2、设计信息采集模块提取耀斑图像的频率域高频特征和频率域低频特征；
5、步骤s3、设计信息交互模块对耀斑图像的频率域高频特征和频率域低频特征进行初步交叉融合；
6、步骤s4、设计信息融合模块，深度融合耀斑图像的频率域高频特征和频率域低频特征；
7、步骤s5、设计耀斑去除网络，由信息采集模块、信息交互模块以及信息融合模块组成；
8、步骤s6、设计用于指导步骤s5所设计耀斑去除网络参数优化的损失函数；
9、步骤s7、使用步骤s1得到的训练数据集训练步骤s5中的耀斑去除网络，得到训练好的基于频率域高低频交叉融合的图像耀斑去除模型；
10、步骤s8、将待测耀斑图像输入训练好的基于频率域高低频交叉融合的图像耀斑去除模型中，预测生成去耀斑图像。
11、在本专利技术一实施例中，步骤s1的具体实现步骤如下：
12、步骤s11、根据输入数据集中所提供的耀斑图、光源图和背景图生成配对的耀斑图像和带有光源的干净图像；
13、步骤s12、将每张尺寸为h×w×3的耀斑图像随机裁切为p×p×3大小的图像，并对其对应的带有光源的干净图像采用相同的随机裁切方式，其中，h、w是耀斑图像的高度和宽度，p是裁切出图像的高度和宽度；
14、步骤s13、随机采用保持原始图像、垂直翻转、旋转90度、旋转90度后垂直翻转、旋转180度、旋转180度后垂直翻转、旋转270度和旋转270度后垂直翻转8种中的1种增强方式对待训练配对图像进行数据增强，得到训练数据集。
15、在本专利技术一实施例中，步骤s2的具体实现步骤如下：
16、步骤s21、设计残差块，输入图像特征经过1×1卷积、3×3卷积、gelu激活函数和1×1卷积后得到与相加得到输出特征具体公式表示如下：
17、
18、
19、其中，gelu(*)表示gelu激活函数，conv1×1(*)表示卷积核大小为1×1的卷积层，conv3×3(*)表示卷积核大小为3×3的卷积层；
20、步骤s22、设计多尺度特征提取模块中的编码器，输入图像特征经过步骤s21中的残差块得到编码特征e1，e1经过下采样和残差块得到编码特征e2，e2经过下采样和残差块得到编码特征e3，e3经过下采样和残差块得到编码特征e4，具体公式表示如下：
21、
22、e2＝rb(downsample(e1))
23、e3＝rb(downsample(e2))
24、e4＝rb(downsample(e3))
25、其中，rb(*)表示步骤s21中的残差块，downsample(*)表示下采样操作；
26、步骤s23、设计多尺度特征提取模块中的解码器，输入为步骤s22中的编码特征e4，e4经过上采样再和编码特征e3相加，再通过步骤s21中的残差块得到解码特征d3，d3经过上采样再和编码特征e2相加，再通过残差块得到解码特征d2，d2经过上采样再和编码特征e1相加，再通过残差块得到解码特征d1。具体公式表示如下：
27、d3＝rb(upsample(e4)+e3)
28、d2＝rb(upsample(d3)+e2)
29、d1＝rb(upsample(d2)+e1)
30、其中，rb(*)表示步骤s21中的残差块，upsample(*)表示上采样操作。
31、步骤s24、设计多尺度特征提取模块，输入图像特征经过步骤s22和步骤s23的u型编码器和解码器得到输出特征d1；具体公式表示如下：
32、
33、其中，encoder(*)表示步骤s22中的编码器，decoder(*)表示步骤s23中的解码器；
34、步骤s25、设计信息采集模块，输入为耀斑图像iflare，iflare经过3×3卷积、gelu激活函数、3×3卷积和小波变换得到频率域高频特征hh1、hl1和lh1以及频率域低频特征ll1；hh1、hl1和lh1在通道维度经过cat拼接函数得到融合特征经过1×1卷积、gelu激活函数、1×1卷积和步骤s24中的多尺度特征提取模块得到耀斑图像频率域高频特征ll1经过1×1卷积、gelu激活函数、1×1卷积和步骤s24中的多尺度特征提取模块得到耀斑图像频率域低频特征具体公式表示如下：
35、ll1,lh1,hl1,hh1＝wave(conv3×3(gelu(conv3×3(iflare))))
36、
37、
38、
39、其中，gelu(*)表示gelu激活函数，conv1×1(*)表示卷积核大小为1×1的卷积本文档来自技高网...
【技术保护点】
1.一种基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤S1的具体实现步骤如下：
3.根据权利要求1所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤S2的具体实现步骤如下：
4.根据权利要求3所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤S3的具体实现步骤如下：
5.根据权利要求4所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤S4的具体实现步骤如下：
6.根据权利要求5所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤S5的具体实现方式为：
7.根据权利要求6所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤S6的具体实现方式为：
8.根据权利要求7所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤S7的具体实现方式为：
【技术特征摘要】
1.一种基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤s1的具体实现步骤如下：
3.根据权利要求1所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤s2的具体实现步骤如下：
4.根据权利要求3所述的基于频率域高低频交叉融合的图像耀斑去除方法，其特征在于，步骤s3的具体实现步骤如下：
5.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。