本申请公开了一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，包括：获取隐含信息图像‑真彩色图像数据，并对图像数据进行预处理，构建一个用于训练图像融合网络的数据集，该数据集中包含成对的隐含信息图像和真彩色图像；构建一个基于多支路融合策略卷积自编码器的图像融合网络模型中，图像融合网络模型包括多支路注意力融合模块和多尺度特征增强模块；通过解码器输出最终的融合结果。本申请基于深度学习图像融合方法，引入多支路融合策略，解决了彩绘文物真彩色图像隐含信息缺少色彩信息并且缺少真彩色图像中纹理细节的问题，且通过各融合支路进行分支支路特征融合，最后融合成质量高的图像。
【技术实现步骤摘要】
本申请涉及一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，属于图像处理。
技术介绍
1、隐含信息图像与真彩色图像融合在彩绘文物研究和分析中具有重要作用。目前隐含信息挖掘领域中传统方法即深度学习方法所挖掘出隐含信息图像均为灰度图，虽然隐含信息图像有较高的对比度，但与真彩色图像相比，有明显的纹理细节缺失，不利于彩绘文物保护修复工作的开展。因此，本方法考虑使用图像融合方法，尽可能的保留隐含信息图案的同时，能够增强其中的纹理细节以及色彩显示。目前图像融合领域中，传统方法使用一些规则或权重来决定如何将来自不同输入图像的特征进行融合。这些规则可以包括像加权平均、最大值法、最小值法等简单的融合规则，也可以是更复杂的规则，如模糊逻辑融合或基于像素值的权重分配。但是这些方法在处理复杂的图像内容和语义信息时通常表现不佳，因为它们缺乏自适应性和对复杂关系的建模能力，导致其融合的图像清晰度不高。
技术实现思路
1、有鉴于此，本申请提供一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，通过在深度学习网络模型中设置一个多支路融合策略模块，让隐含信息图像与真彩色图图像的特征进行互补，注意力模块能够让网络更关注于突出信息；以及设置有多尺度特征增强模块，用于保留图像梯度的同时，增强特征对比度，提高图像质量，从而解决上述现有技术中处理复杂的图像内容和语义信息时处理结果不佳的问题。具体方案为：
2、一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，包括以下步骤：</p>3、(1)获取隐含信息图像-真彩色图像数据，并对图像数据进行预处理，构建一个用于训练图像融合网络的数据集，该数据集中包含成对的隐含信息图像和真彩色图像；
4、(2)构建一个基于多支路融合策略卷积自编码器的图像融合网络模型中，所述图像融合网络模型包括多支路注意力融合模块和多尺度特征增强模块，所述图像融合网络模型用于输入隐含信息图像和真彩色图像，通过多支路注意力融合模块进行隐含信息图像与真彩色图像的特征互补、突出信息，以及通过所述多尺度特征增强模块增强图像特征的对比度、提高图像的质量，得到初步融合后的图像特征，最后将初步融合后的图像特征送入多尺度特征增强模块，进一步提高和增强融合特征的细节；
5、(3)通过解码器输出最终的融合结果。
6、优选的，述图像融合网络模型的构建过程为：
7、首先，构建一个基于多支路融合策略的深度卷积神经网络；
8、其次，通过数据集训练深度卷积神经网络模型；
9、然后，通过验证集的对训练后的卷积神经网络模型的融合效果进行评估，以选出融合效果最理想的最优网络模型；
10、最后，利用测试集数据对最优网络模型进行测试；
11、其中，融合效果的评价参数包括熵、互信息、空间频率以及相关系数。
12、优选的，所述多支路融合策略模块输入包括隐含信息特征提取支路、真彩色图像特征提取支路以及融合支路；
13、所述隐含信息特征提取支路和所述真彩色图像特征提取支路用于实现隐含信息图像和真彩色图像的属性互补；
14、所述融合支路用于提供全局视野。
15、优选的，所述隐含信息特征提取支路和真彩色图像特征提取支路表示为式(1)：
16、fn(xn-1)＝σ(wn*xn-1+bn) 式(1)；
17、式(1)中，fn表示表示该支路的第n层卷积函数，n＝1,2,3,…,n，σ为非线性激活函数，本方法选择使用relu激活函数，wn为第n层卷积层权重，*代表卷积操作，bn为卷积层偏置，xn-1为第n-1层输出，即第n层输入。
18、优选的，多支路注意力融合模块还设置有边缘提取指导块；
19、所述边缘提取指导块分别加入于所述隐含信息图像支路和真彩色图像支路，所述边缘提取指导块使用拉普拉斯算子分别提取隐含信息图像和真彩色图像的边缘特征图；
20、所述边缘提取指导块提取的隐含信息图像和真彩色图像的边缘特征图结合多支路注意力融合模块中的注意力层，聚焦于隐含信息图像和真彩色图像重要的边缘信息区域，从而实现隐含信息图像和真彩色图像特征提取的相关性和精度。
21、优选的，所述拉普拉斯算子提取边缘特征图表达为式(2)：
22、e＝σ(klaplace*x+blaplace) 式(2)；
23、式(2)中，*代表卷积操作，blaplace为拉普拉斯算子卷积层偏置，klaplace是拉普拉斯算子，一种常用的二阶导数滤波器，用于边缘检测，表示为式(3)：
24、
25、在式(3)中，σ为非线性激活函数。
26、优选的，所述注意力层的原理表示为式(4)：
27、a＝softmax(g(f))
28、fatt＝a⊙f 式(4)；
29、式(4)中，fatt为经过注意力层的特征图，g为生成注意力权重的卷积层或者全连接层，⊙为元素级乘法，softmax是用于将权重归一化的函数。
30、优选的，所述多支路注意力融合模块的输出特征表示为式(5)：
31、y′cat＝concat(ya,yb,ycat) 式(5)；
32、式(5)中，ya为隐含信息图像支路特征图，yb为真彩色图像支路特征图，ycat为组合支路特征图，y'cat为多支路注意力融合模块最终输出特征。
33、优选的，多尺度特征增强模块包括多尺度卷积模块、边缘细节增强模块以及特征对比度计算模块；
34、所述多尺度特征增强模块包括多尺度卷积模块、边缘细节增强模块以及特征对比度计算模块串联；
35、所述多尺度特征增强模块获取融合图像的过程为：
36、首先，通过多尺度卷积模块将不同卷积核的输出特征图拼接在一起；
37、其次，将得到的多尺度特征ymulti输入到后续边缘细节增强模块中，分别提取多尺度特征的高频信息；
38、然后，将经过边缘细节增强模块增强过的融合特征图yedge输入到特征对比度计算模块中获得一个全局的对比度；
39、最后，通过计算出的对比度向量contrast_vec与原始的融合特征图yedge；
40、最终，将增强之后的融合特征图yedge输入到解码器之中，得到最后的融合图像。
41、优选的，所述卷积核的输出特征图通过式(6)获取：
42、
43、式(6)中，ksize为不同大小的卷积核尺寸，size＝1,3,5,7，是使用尺寸为ksize×ksize的卷积核得到的输出特征图，x为输入特征图，是不同大小卷积核权重，为卷积核的偏置项；
44、其中不同尺寸卷积核的拼接输出表达为式(7)：
45、ymulti＝concat(y1×1,y3×3,y5×5,y7×7) 式(7)；
46、式(本文档来自技高网
...
【技术保护点】
1.一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，述图像融合网络模型的构建过程为：
3.根据权利要求1所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述多支路融合策略模块输入包括隐含信息特征提取支路、真彩色图像特征提取支路以及融合支路；
4.根据权利要求3所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述隐含信息特征提取支路和真彩色图像特征提取支路表示为式(1)：
5.根据权利要求3所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，多支路注意力融合模块还设置有边缘提取指导块；
6.根据权利要求5所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述拉普拉斯算子提取边缘特征图表达为式(2)：
7.根据权利要求5所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述注意力层的原理表示为式(4)：
8.根据权利要求3所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述多支路注意力融合模块的输出特征表示为式(5)：
9.根据权利要求1所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，多尺度特征增强模块包括多尺度卷积模块、边缘细节增强模块以及特征对比度计算模块；
10.根据权利要求9所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述卷积核的输出特征图通过式(6)获取：
...
【技术特征摘要】
1.一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，述图像融合网络模型的构建过程为：
3.根据权利要求1所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述多支路融合策略模块输入包括隐含信息特征提取支路、真彩色图像特征提取支路以及融合支路；
4.根据权利要求3所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，所述隐含信息特征提取支路和真彩色图像特征提取支路表示为式(1)：
5.根据权利要求3所述的一种基于多支路融合策略卷积自编码器的彩绘文物真彩色图像融合方法，其特征在于，多支路注意力融合模块还设置有边缘提取指导块；
6.根据...
【专利技术属性】
技术研发人员：彭进业，李智超，王珺，俞凯，彭盛霖，刘璐，屈书毅，汪霖，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。