用于融合图像的生成对抗网络、图像融合方法及终端设备技术

本发明专利技术公开了用于融合图像的生成对抗网络、图像融合方法及终端设备，生成对抗网络包括生成器、边缘感知模块、第一边缘检测单元、第一判别器、第二判别器以及第三判别器。本发明专利技术在生成器的设计中，构造分层多模态小波融合模块，并对不同的特征属性自适应的进行融合处理，实现对不同层级不同频率的特征信息的融合，从而避免不同模态中间层信息的丢失；通过构建边缘感知模块实现对不同模态数据的边缘信息的集成，增加纹理细节信息表示能力，通过联合融合图像与两个原始输入图像以及融合边缘图像与原始边缘图像之间的对抗学习关系，促使最终的融合图像不仅包含原始图像的强度信息，同时避免边缘纹理细节信息的丢失，得到更高质量的融合图像。高质量的融合图像。高质量的融合图像。

【技术实现步骤摘要】
用于融合图像的生成对抗网络、图像融合方法及终端设备


[0001]本专利技术涉及图像融合
，尤其涉及用于融合图像的生成对抗网络、图像融合方法及终端设备。

技术介绍

[0002]图像融合技术可以弥补单一传感器的局限性，并通过将不同传感器或光学设备捕获的多个源图像的互补信息进行集成，进而获取一副包含丰富信息的增强图像，促进该技术在工业、民用、军事、医疗等领域的快速发展。例如在医学成像中通过对不同模态图像(例如PET和MRI)的融合可以提高医学诊断的精度，在军事领域通过对红外与可见光图像的融合实现夜间监视的清晰度。根据医学图像及红外与可见光图像的成像特点，可以通过像素的强度分布对红外或PET图像的特征进行表述，通过图像梯度对可见光或MRI图像的细节纹理信息进行表征。因此，医学图像与红外图像对具有近似的模态特征，可将红外与可见光图像及医学图像归类为多模态图像，从而构建一个泛化性强的多模态图像融合框架，提高其实用价值。
[0003]然而，现有融合图像的方法对于多模态图像的融合效果较差，融合的图像特征偏向于单一模态特征，不能得到高质量的融合图像。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]鉴于上述现有技术的不足，本专利技术的目的在于提供用于融合图像的生成对抗网络、图像融合方法及终端设备，旨在解决现有融合图像的方法对于多模态图像的融合效果较差，融合的图像特征偏向于单一模态特征，不能得到高质量的融合图像的问题。
[0006]本专利技术的技术方案如下：
>[0007]一种用于融合图像的生成对抗网络，其中，包括生成器、边缘感知模块、第一边缘检测单元、第一判别器、第二判别器以及第三判别器；
[0008]所述生成器用于将第一模态图像和第二模态图像进行图像融合，生成融合图像；
[0009]所述边缘感知模块，用于将第一模态图像和第二模态图像的边缘信息进行提取并联合，生成原始边缘图像；
[0010]所述第一边缘检测单元，用于对所述融合图像的边缘信息进行提取并联合，生成融合边缘图像；
[0011]所述第一判别器，用于获取所述融合图像为所述第一模态图像的概率P1；
[0012]所述第二判别器，用于获取所述融合图像为所述第二模态图像的概率P2；
[0013]所述第三判别器，用于获取所述融合边缘图像为所述原始边缘图像的概率P3；
[0014]所述生成器，还用于在所述概率P1、概率P2以及概率P3中的一个或多个小于阈值概率时，再次对所述第一模态图像和第二模态图像进行图像融合，以及在所述概率P1、概率P2以及概率P3均大于阈值概率时，输出所述融合图像。
[0015]所述用于融合图像的生成对抗网络，其中，所述生成器包括特定模态信息融合模块和多模态分层小波融合模块，所述特定模态信息融合模块包括第一编码器和第一解码器；所述多模态分层小波融合模块包括第二编码器和第二解码器；所述第一编码器包含四个卷积块，每个卷积块由两个卷积子块组成，每个卷积子块由卷积层、批量归一化处理层以及Leaky ReLU函数层组成；所述第一解码器包含6个卷积块，其中，前5个卷积块由卷积层、池化层以及Relu层组成，最后一个卷积块由卷积层及Tanh函数组成；所述第二编码器包括四个层间特征融合模块，每个层间特征融合模块由DWT单元、特征选择单元、IDWT单元、特征叠加单元组成；所述第二解码器包含6个卷积块，其中，前5个卷积块由卷积层、池化层以及Relu层组成，最后一个卷积块由卷积层及Tanh函数组成。
[0016]所述用于融合图像的生成对抗网络，其中，所述特征选择单元由级联层、第一1*1卷积层、全局平均池化层、全连接层、Softmax函数层、两个加权层以及第二1*1卷积层组成。
[0017]所述用于融合图像的生成对抗网络，其中，所述边缘感知模块包括高斯滤波单元、第二边缘检测单元以及Max函数。
[0018]所述的用于融合图像的生成对抗网络，其中，所述第一模态图像为红外图像，所述第二模态图像为可见光图像；或者，所述第一模态图像为PET图像，所述第二模态图像为MRI图像。
[0019]一种基于生成对抗网络的图像融合方法，其中，包括步骤：
[0020]将第一模态图像和第二模态图像输入到生成器进行图像融合，生成融合图像；
[0021]将第一模态图像和第二模态图像输入到边缘感知模块进行边缘信息的提取与联合，生成原始边缘图像；
[0022]将所述融合图像输入到第一边缘检测单元进行边缘信息的提取与联合，生成融合边缘图像；
[0023]将所述融合图像和第一模态图像输入到第一判别器，获取所述融合图像为所述第一模态图像的概率P1；
[0024]将所述融合图像和第二模态图像输入到第二判别器，获取所述融合图像为所述第二模态图像的概率P2；
[0025]将所述融合边缘图像和原始边缘图像输入到第三判别器，获取所述融合边缘图像为所述原始边缘图像的概率P3；
[0026]将所述概率P1、概率P2以及概率P3与阈值概率大小进行比较，若所述概率P1、概率P2以及概率P3中至少有一个小于阈值概率时，则调节生成器参数，并再次向生成器中输入所述第一模态图像和第二模态图像对生成器进行训练，直至所述概率P1、概率P2以及概率P3均大于阈值概率时，完成对生成器的训练，得到训练后生成器；
[0027]将待融合的原始图像输入所述训练后生成器中，输入融合图像。
[0028]一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本专利技术所述图像融合方法中的步骤。
[0029]一种终端设备，其中，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
[0030]所述通信总线实现处理器和存储器之间的连接通信；
[0031]所述处理器执行所述计算机可读程序时实现如本专利技术所述图像融合方法中的步
骤。
[0032]有益效果：本专利技术提供的生成对抗网络在生成器与三个判别器之间形成对抗学习关系，用于约束融合图像的生成，在生成器的设计中，根据离散小波变换构造分层多模态小波融合模块，并对不同的特征属性自适应的进行融合处理，实现对不同层级不同频率的特征信息的融合，从而避免不同模态中间层信息的丢失；此外通过构建边缘感知模块实现对不同模态数据的边缘信息的集成，增加纹理细节信息表示能力，通过联合融合图像与两个原始输入图像以及融合边缘图像与原始边缘图像之间的对抗学习关系，促使最终的融合图像不仅包含原始图像的强度信息，同时可以避免边缘纹理细节信息的丢失，从而得到更高质量的融合图像。
附图说明
[0033]图1为本专利技术生成对抗网络的框架图，其中，I1为第一模态图像，I2为第二模态图像，I
f
为生成器生成的融合图像，I
e
为融合边缘图像，I
ef
为原始边缘图像，I
e1
和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于融合图像的生成对抗网络，其特征在于，包括生成器、边缘感知模块、第一边缘检测单元、第一判别器、第二判别器以及第三判别器；所述生成器用于将第一模态图像和第二模态图像进行图像融合，生成融合图像；所述边缘感知模块，用于将第一模态图像和第二模态图像的边缘信息进行提取并联合，生成原始边缘图像；所述第一边缘检测单元，用于对所述融合图像的边缘信息进行提取并联合，生成融合边缘图像；所述第一判别器，用于获取所述融合图像为所述第一模态图像的概率P1；所述第二判别器，用于获取所述融合图像为所述第二模态图像的概率P2；所述第三判别器，用于获取所述融合边缘图像为所述原始边缘图像的概率P3；所述生成器，还用于在所述概率P1、概率P2以及概率P3中的一个或多个小于阈值概率时，再次对所述第一模态图像和第二模态图像进行图像融合，以及在所述概率P1、概率P2以及概率P3均大于阈值概率时，输出所述融合图像。2.根据权利要求1所述用于融合图像的生成对抗网络，其特征在于，所述生成器包括特定模态信息融合模块和多模态分层小波融合模块，所述特定模态信息融合模块包括第一编码器和第一解码器；所述多模态分层小波融合模块包括第二编码器和第二解码器；所述第一编码器包含四个卷积块，每个卷积块由两个卷积子块组成，每个卷积子块由卷积层、批量归一化处理层以及Leaky ReLU函数层组成；所述第一解码器包含6个卷积块，其中，前5个卷积块由卷积层、池化层以及Relu层组成，最后一个卷积块由卷积层及Tanh函数组成；所述第二编码器包括四个层间特征融合模块，每个层间特征融合模块由DWT单元、特征选择单元、IDWT单元、特征叠加单元组成；所述第二解码器包含6个卷积块，其中，前5个卷积块由卷积层、池化层以及Relu层组成，最后一个卷积块由卷积层及Tanh函数组成。3.根据权利要求2所述用于融合图像的生成对抗网络，其特征在于，所述特征选择单元由级联层、第一1*1卷积层、全局平均池化层、全连接层、Softmax函数层、两个加权层以及第二1*1卷积层组成。4.根据权利要求1所述用于融...

【专利技术属性】
技术研发人员：汪天富，赵程，雷柏英，岳广辉，朱云，
申请(专利权)人：深圳大学，
类型：发明
国别省市：