【技术实现步骤摘要】
本申请涉及图像增强，尤其涉及一种基于反馈式光照自适应的图像融合方法、装置、存储介质及电子设备。
技术介绍
1、红外和可见光图像融合可以有效结合两种源图像的优点，保留重要的目标信息和丰富的纹理细节。近年来，红外和可见光图像融合领域取得了显著进展，主要方法分为传统方法和基于深度学习。
2、传统方法依赖于多尺度变换、稀疏表示、子空间聚类、优化算法和混合方法。尽管现有图像融合方法已取得一定效果，但仍存在若干问题，例如，由于环境光照限制，可见光图像常表现出亮度低、对比度不足、纹理细节缺失以及色彩失真等多只针对光照较好的场景，在夜间或低光环境下难以维持图像融合的高质量。
技术实现思路
1、本申请实施例提供一种基于反馈式光照自适应的图像融合方法、装置、存储介质及电子设备，能够得到高质量的融合图像。
2、本申请实施例提供了一种基于反馈式光照自适应的图像融合方法，包括：
3、获取可见光图像数据集和红外图像数据集；
4、将所述可见光图像数据集输入到光照自适应网络中，得到增强图像数据集；
5、将所述红外图像数据集和所述增强图像数据集输入到融合网络中，得到融合图像数据集；
6、将所述融合图像数据集输入到预训练的反馈网络中，得到多组概率数组，基于所述多组概率数据计算反馈损失函数，基于所述反馈损失函数对所述光照自适应网络和所述融合网络进行联合训练；
7、获取待融合的可见光图像和待融合的红外图像，将所述待融合的可见光图像输入到经
8、进一步地，上述基于反馈式光照自适应的图像融合方法，其中，所述融合网络包括多尺度卷积模块、卷积层、全局平均池化层、完全连接层，以及输出层；
9、所述将所述融合图像数据集输入到预训练的反馈网络中，得到多组概率数组，包括：
10、将所述融合图像数据集输入到多尺度卷积模块中进行特征提取和拼接，得到第一特征图；
11、将所述第一特征图依次通过多个所述卷积层进行特征提取，得到第二特征图；
12、将所述第二特征图输入到所述全局平均池化层进行降维；
13、将降维后的所述第二特征图通过多个所述完全连接层进行线性变换；
14、将线性变换后的所述第二特征图输入到所述输出层中，通过激活函数将输出节点的值转换为所述概率数组，所述概率数组包括融合图像处于过度曝光状态的概率、处于正常曝光的概率，以及处于曝光不足的概率。
15、进一步地，上述基于反馈式光照自适应的图像融合方法，其中，所述基于所述多组概率数据计算反馈损失函数，包括：
16、
17、其中，为过度曝光状态的概率、为正常曝光的概率，为曝光不足的概率，r是训练过程中迭代的次数，是一个极小值，防止对数函数的基数为0，h和w分别为融合图像的高度和宽度。
18、进一步地，上述基于反馈式光照自适应的图像融合方法，其中，所述基于所述反馈损失函数对所述光照自适应网络和所述融合网络进行联合训练，包括：
19、基于所述反馈损失函数计算第一损失函数，所述第一损失函数用于训练所述光照自适应网络，所述第一损失函数的计算方式为：
20、
21、其中，、和是超参数，为第一损失函数，为空间一致性损失函数，为曝光控制损失函数，颜色恒定损失函数，平滑损失函数，为反馈损失函数。
22、进一步地，上述基于反馈式光照自适应的图像融合方法，其中，所述空间一致性损失函数的计算方式为：
23、
24、其中，m为局部区域的数量，局部区域的大小设为，表示和的相邻区域，分别为上、下、左、右4个区域，i和e分别表示红外图像和增强图像中局部区域的平均强度值；
25、所述曝光控制损失函数的计算方式为：
26、
27、其中，n为局部区域的数量，局部区域的大小设为，e表示增强图像中局部区域的平均强度值，为预设的良好曝光水平，取值范围为；
28、所述颜色恒定损失函数的计算方式为：
29、
30、其中，、和分别表示红色、绿色和蓝色通道的均值；
31、所述平滑损失函数的计算方式为：
32、
33、其中，分别是像素的横坐标和纵坐标。
34、进一步地，上述基于反馈式光照自适应的图像融合方法，其中，所述基于所述反馈损失函数对所述光照自适应网络和所述融合网络进行联合训练，包括：
35、基于所述反馈损失函数计算第二损失函数，所述第二损失函数用于训练所述融合网络，所述第二损失函数的计算方式为：
36、
37、其中，、和是超参数，是第二损失函数，为梯度损失函数，为结构相似性损失函数，为颜色恒定损失函数，为反馈损失函数。
38、进一步地，上述基于反馈式光照自适应的图像融合方法，其中，所述梯度损失函数的计算方式为：
39、
40、其中，h和w分别为红外图像的高度和宽度，表示sobel梯度算子，用于计算图像强度的空间导数，、和分别表示融合图像、红外图像和经过光照自适应网络后的增强图像；
41、所述结构相似性损失函数的计算方式为：
42、
43、其中，表示结构相似性指数度量。
44、本申请实施例还提供了一种基于反馈式光照自适应的图像融合装置，包括：
45、训练模块，用于获取可见光图像数据集和红外图像数据集；将所述可见光图像数据集输入到光照自适应网络中，得到增强图像数据集；将所述红外图像数据集和所述增强图像数据集输入到融合网络中，得到融合图像数据集；以及，将所述融合图像数据集输入到预训练的反馈网络中，得到多组概率数组，基于所述多组概率数据计算反馈损失函数，基于所述反馈损失函数对所述光照自适应网络和所述融合网络进行联合训练；
46、应用模块，用于获取待融合的可见光图像和待融合的红外图像，将所述待融合的可见光图像输入到经过联合训练的所述光照自适应网络中，得到增强图像，将所述待融合的红外图像和所述增强图像输入到经过联合训练的所述融合网络中，得到融合图像。
47、本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项基于反馈式光照自适应的图像融合方法。
48、本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的基于反馈式光照自适应的图像融合方法中的步骤。
49、本申请提供的基于反馈式光照自适应的图像融合方法、装置、存储介质及电子设备，本申请设置反馈网络，通过反馈网络预测得到的概率数组计算反馈损失函数，基于反馈损本文档来自技高网...
【技术保护点】
1.一种基于反馈式光照自适应的图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述融合网络包括多尺度卷积模块、卷积层、全局平均池化层、完全连接层，以及输出层；
3.根据权利要求2所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述基于所述多组概率数据计算反馈损失函数，包括：
4.根据权利要求3所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述基于所述反馈损失函数对所述光照自适应网络和所述融合网络进行联合训练，包括：
5.根据权利要求4所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述空间一致性损失函数的计算方式为：
6.根据权利要求3所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述基于所述反馈损失函数对所述光照自适应网络和所述融合网络进行联合训练，包括：
7.根据权利要求6所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述梯度损失函数的计算方式为：
8.一种基于反馈式光照自适应的图像融合装置，
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至7任一项所述的基于反馈式光照自适应的图像融合方法。
10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至7任一项所述的基于反馈式光照自适应的图像融合方法中的步骤。
...【技术特征摘要】
1.一种基于反馈式光照自适应的图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述融合网络包括多尺度卷积模块、卷积层、全局平均池化层、完全连接层，以及输出层；
3.根据权利要求2所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述基于所述多组概率数据计算反馈损失函数，包括：
4.根据权利要求3所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述基于所述反馈损失函数对所述光照自适应网络和所述融合网络进行联合训练，包括：
5.根据权利要求4所述的基于反馈式光照自适应的图像融合方法，其特征在于，所述空间一致性损失函数的计算方式为：
6.根据权利要求3所述的基于反馈式光照...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。