训练图像融合模型的方法、装置和电子设备制造方法及图纸

本申请公开了一种训练图像融合模型的方法和电子设备，属于图像处理领域。其中的方法包括：获取训练数据集，训练数据集中包含图像对；将图像对输入初始的图像融合模型，图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；经过浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到图像对的融合图像；根据预设损失函数计算融合图像与所述图像对之间的差异值，并根据计算的差异值更新图像融合模型的网络参数，直到计算的差异值小于预设阈值，得到训练完成的图像融合模型，所述损失函数用于计算结构损失值和内容损失值。本申请可提高融合图像的客观真实性。合图像的客观真实性。合图像的客观真实性。

【技术实现步骤摘要】
训练图像融合模型的方法、装置和电子设备


[0001]本申请属于图像处理
，具体涉及一种训练图像融合模型的方法、装置和电子设备。

技术介绍

[0002]随着传感器成像技术的迅猛发展，单一传感器成像难以满足日常应用需求，多传感器成像已引领技术革新。图像融合是指将多个传感器探测的图像信息综合处理后，实现对探测场景更全面、更可靠的描述。
[0003]红外与可见光作为图像处理领域最广泛应用的图像类型，红外图像可以高效捕捉场景热辐射且辨识场景高亮目标，可见光图像具有高分辨率特性可呈现场景细节纹理信息，二者图像信息具有高效互补性。因此对红外图像和可见光图像进行融合，可以获得丰富场景信息量的融合图像，能够对场景背景和目标进行清晰准确的描述。
[0004]目前，针对红外图像与可见光图像的融合任务，通常使用基于多尺度分解融合算法，例如小波变换融合算法，将图像进行特征提取以及分解，随后对特征进行分类，同时针对不同特征及场景类别特征制定不同的特征融合策略，得到融合后的多组融合特征进行逆变换，将融合特征变换回融合图像。
[0005]然而，经典基于多尺度分解的图像融合算法，通常沿用固定的变换以及特征提取层次对图像进行特征分解和重构，不仅对图像特征提取和分解存在较大的局限性，同时融合算法中需采用人为制定的特征融合规则，导致融合结果容易引入人为视觉伪影，破坏图像信息的客观真实性，影响融合图像的效果。

技术实现思路

[0006]本申请实施例的目的是提供一种训练图像融合模型的方法，能够解决现有技术对红外图像与可见光图像进行融合需采用人为制定的特征融合规则，导致融合结果容易引入人为视觉伪影，破坏图像信息的客观真实性，影响融合图像的效果的问题。
[0007]为了解决上述技术问题，本申请是这样实现的：
[0008]第一方面，本申请实施例提供了一种训练图像融合模型的方法，该方法包括：
[0009]获取训练数据集，所述训练数据集中包含图像对，所述图像对包含同一场景下的红外图像和可见光图像；
[0010]将所述图像对输入初始的图像融合模型，所述图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；
[0011]经过所述浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到所述图像对的融合图像；
[0012]根据预设损失函数计算所述融合图像与所述图像对之间的差异值，并根据计算的差异值更新所述图像融合模型的网络参数，直到计算的差异值小于预设阈值，得到训练完成的图像融合模型，所述预设损失函数用于计算结构损失值和内容损失值。
[0013]第二方面，本申请实施例提供了一种训练图像融合模型的装置，该装置包括：
[0014]数据获取模块，用于获取训练数据集，所述训练数据集中包含图像对，所述图像对包含同一场景下的红外图像和可见光图像；
[0015]数据输入模块，用于将所述图像对输入初始的图像融合模型，所述图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；
[0016]数据处理模块，用于经过所述浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到所述图像对的融合图像；
[0017]参数调整模块，用于根据预设损失函数计算所述融合图像与所述图像对之间的差异值，并根据计算的差异值更新所述图像融合模型的网络参数，直到计算的差异值小于预设阈值，得到训练完成的图像融合模型，所述预设损失函数用于计算结构损失值和内容损失值。
[0018]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0019]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0020]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0021]在本申请实施例中，基于神经网络模型实现红外图像与可见光图像的融合，神经网络模型可以通过模拟人眼神经元结构，分解并提取更丰富且类型适宜的图像特征，可以提高特征提取的准确性。
[0022]此外，本申请通过设置预设损失函数迫使神经网络去拟合最为合适的图像特征融合规则和策略，以不添加人为融合规则和策略的前提下提升融合性能，高效融合图像信息。所述预设损失函数可用于计算结构损失值和内容损失值，在尽可能将红外图像和可见光图像的结构信息保留在融合图像中的基础上，使得融合图像可以体现红外图像和可见光图像中的细致内容信息。
[0023]由此，使用本申请训练得到的图像融合模型对红外图像和可见光图像进行融合，可以避免融合图像引入人为视觉伪影，提高融合图像的客观真实性，并且使得融合图像可以更好的保留结构特征和内容特征，进一步提高融合图像的效果。
[0024]再者，训练完成的图像融合模型为端对端模型，在得到训练完成的图像融合模型之后，将待融合的图像对输入所述训练完成的图像融合模型，即可通过所述训练完成的图像融合模型输出融合图像，可以提高图像融合操作的便捷性。
附图说明
[0025]图1是本申请的一种训练图像融合模型的方法实施例的步骤流程图；
[0026]图2是某一场景下的红外图像和可见光图像的示意图；
[0027]图3是本申请的一种包括至少两层聚集残余致密块的网络结构示意图；
[0028]图4是本申请的一种图像融合模型的模型结构示意图；
[0029]图5是本申请的一种图像对经过图像融合模型各网络模块处理的流程示意图；
[0030]图6是本申请的一种像素级损失函数的计算流程示意图；
[0031]图7是本申请的一种特征级损失函数的计算流程示意图；
[0032]图8是本申请的一种训练图像融合模型的装置实施例的结构示意图；
[0033]图9是本申请的一种电子设备的结构示意图；
[0034]图10是实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练图像融合模型的方法，其特征在于，所述方法包括：获取训练数据集，所述训练数据集中包含图像对，所述图像对包含同一场景下的红外图像和可见光图像；将所述图像对输入初始的图像融合模型，所述图像融合模型为包含浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的深度神经网络模型；经过所述浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到所述图像对的融合图像；根据预设损失函数计算所述融合图像与所述图像对之间的差异值，并根据计算的差异值更新所述图像融合模型的网络参数，直到计算的差异值小于预设阈值，得到训练完成的图像融合模型，所述预设损失函数用于计算结构损失值和内容损失值。2.根据权利要求1所述的方法，其特征在于，所述经过所述浅层特征提取网络、深层特征提取网络、全局特征融合网络、特征重构网络的依次处理，得到所述图像对的融合图像，包括：对所述图像对进行通道级联处理，得到级联图像；将所述级联图像输入所述浅层特征提取网络以提取浅层特征图谱；将所述浅层特征图谱输入所述深层特征提取网络以提取深度特征信息；将所述浅层特征图谱和所述深度特征信息输入所述全局特征融合网络以对所述浅层特征图谱和所述深度特征信息进行整合，得到整合后的图像；将所述整合后的图像输入所述特征重构网络以对所述整合后的图像进行特征重构，得到融合图像。3.根据权利要求1所述的方法，其特征在于，所述预设损失函数包含结构损失函数和内容损失函数，所述根据预设损失函数计算所述融合图像与所述图像对之间的差异值，包括：通过所述结构损失函数对第一结构损失和第二结构损失进行加权平均计算，得到所述融合图像的结构损失值，所述第一结构损失为所述红外图像与所述融合图像之间的结构损失，所述第二结构损失为所述可见光图像与所述融合图像之间的结构损失；通过所述内容损失函数对第一内容损失和第二内容损失进行加权平均计算，得到所述融合图像的内容损失值，所述第一内容损失为所述红外图像与所述融合图像之间的内容损失，所述第二内容损失为所述可见光图像与所述融合图像之间的内容损失；对所述融合图像的结构损失值和内容损失值进行加权计算，得到所述融合图像与所述图像对之间的差异值。4.根据权利要求3所述的方法，其特征在于，所述通过所述结构损失函数对第一结构损失和第二结构损失进行加权平均计算，得到所述融合图像的结构损失值，包括：通过所述结构损失函数对像素级的第一结构损失和第二结构损失进行加权平均计算，得到像素级的结构损失值；所述通过所述内容损失函数对第一内容损失和第二内容损失进行加权平均计算，得到所述融合图像的内容损失值，包括：通过所述内容损失函数对像素级的第一内容损失和第二内容损失进行加权平均计算，得到像素级的内容损失值；所述对所述融合图像的结构损失值和内容损失值进行加权计算，得到所述融合图像与
所述图像对之间的差异值，包括：对所述像素级的结构损失值和所述像素级的内容损失值进行加权计算，得到所述融合图像与所述图像对之间像素级的差异值。5.根据权利要求3所述的方法，其特征在于，所述根据预设损失函数计算所述融合图像与所述图像对之间的差异值之前，还包括：利用预设神经网络分别对所述红外图像、可见光图像、以及融合图像提取深度特征图谱；基于所述红外图像的深度特征图谱和所述融合图像的深度特征图谱，计算特征级的第一结构损失，以及基于所述可见光图像的深度特征图谱和所述融合图像的深度特征图谱，计算特征级的第二结构损失；基于所述红外图像的深度特征图谱和所述融合图像的深度特征图谱，计算特征级的第一内容损失，以及基于所述可见光图像的深度特征图谱和所述融合图像的深度特征图谱，计算特征级的第二内容损失；所述通过所述结构损失函数对第一结构损失和第二结构损失进行加权平均计算，得到所述融合图像的结构损失值，包括：通过所述结构损失函数对所述特征级的第一结构损失和所述特征级的第二结构损失进行加权平均计算，得到特征级的结构损失值；所述通过所述内容损失函数对第一内容损失和第二内容损失进行加权平均计算，得到所述融合图像的内容损失值，包括：通过所述内容损失函数对所述特征级的第一内容损失和所述特征级的第二内容损失进行加权平均计算，得到特征级的内容损失值；所述对所述融合图像的结构损失值和内容损失值进行加权计算，得到所述融合图像与所述图像对之间的差异值，包括：对所述特征级的结构损失值和所述特征级的内容损失值进行加权计算，得到所述融合图像与所述图像对之间特征级的差异值。6.根据权利要求2所述的方法，其特征在于，所述深层特征提取网络包括至少两层用于提取深度特征信息的聚集残余致密块，所述将所述浅层特征图谱和所述深度特征信息输入所述全局特征融合网络以对所述浅层特征图谱和所述深度特征信息进行整合，得到整合后的图像，包括：对每一层聚集残余致密块提取的深度特征信息进行特征融合，得到全局特征；对所述全局特征以及所述浅层特征提取网络提取的浅层特征图谱进行特征融合，得到整合后的图像。7.根据权利要求1所述的方法，其特征在于，所述得到训练完成的图像融合模型之后，还包括：将待融合的图像对输入所述训练完成的图像融合模型，所述待融合的图像对...

【专利技术属性】
技术研发人员：龙勇志，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：