一种基于多目标分割的多光谱图像融合方法、装置及设备制造方法及图纸

本申请公开了一种基于多目标分割的多光谱图像融合方法、装置及设备，涉及图像处理技术领域，根据多目标分割的类别在特征域对不同目标采用不同的融合方式，产生符合人眼视觉感知图像的同时，有效突出红外图像中的显著目标。所述方法包括：采集可见光图像和红外图像，对可见光图像和红外图像进行图像配准处理，得到已配准的目标可见光图像和目标红外图像；采用多目标分割网络对目标可见光图像和目标红外图像进行多目标语义分割，生成多目标分割图像；基于多光谱图像融合网络提取目标可见光图像对应的第一深度特征和目标红外图像对应的第二深度特征，通过融合第一深度特征、第二深度特征和多目标分割图像，生成目标融合图像。生成目标融合图像。生成目标融合图像。

【技术实现步骤摘要】
一种基于多目标分割的多光谱图像融合方法、装置及设备


[0001]本申请涉及图像处理
，特别是涉及一种基于多目标分割的多光谱图像融合方法、装置及设备。

技术介绍

[0002]基于多光谱图像融合技术在遥感探测、智能驾驶、医疗诊断等领域起着重要作用。专利技术专利CN113033630A公开了一种基于双非局部注意力模型的红外与可见光图像深度学习融合方法。通过构建多尺度深度网络提取两类图像深度特征，融合层利用空间和通道的双非局部注意力模型对提取的深度特征进行增强和合并，并通过特征重构获得融合图像。该方法虽然考虑到了红外和可见光图像特征的显著性，但是获得的融合图像仍然无法突出显著目标，且无法根据目标类别选择不同的融合策略。因此，行业内亟需一种图像融合方法以生成高质量的融合图像。

技术实现思路

[0003]有鉴于此，本申请提供了一种于多目标分割的多光谱图像融合方法、装置及设备，主要目的在于解决目前融合图像无法突出显著目标，且无法根据目标类别选择不同的融合策略的问题。
[0004]依据本申请第一方面，提供了一种基于多目标分割的多光谱图像融合方法，该方法包括：
[0005]采集可见光图像和红外图像，对所述可见光图像和所述红外图像进行图像配准处理，得到已配准的目标可见光图像和目标红外图像；
[0006]采用多目标分割网络对所述目标可见光图像和所述目标红外图像进行多目标语义分割，生成多目标分割图像，所述多目标分割图像包含至少一个目标子集，所述至少一个目标子集用于指示至少一个显著目标类对应的像素区域；
[0007]基于多光谱图像融合网络提取所述目标可见光图像对应的第一深度特征和所述目标红外图像对应的第二深度特征，通过融合所述第一深度特征、所述第二深度特征和所述多目标分割图像，生成目标融合图像。
[0008]可选地，所述采用多目标分割网络对所述目标可见光图像和所述目标红外图像进行多目标语义分割，生成多目标分割图像，包括：
[0009]将所述目标可见光图像和所述目标红外图像输入至所述多目标分割网络，所述多目标分割网络包括编码子网络和解码子网络，其中，所述编码子网络包括可见光图像编码流和红外图像编码流；
[0010]采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，采用所述红外图像编码流对所述目标红外图像进行特征提取，得到多个尺度的红外图像特征；
[0011]将每个尺度的可见光图像特征按照尺度标识与对应尺度的红外图像特征进行相
加融合，得到多个尺度的融合特征，以及将每个尺度的融合特征通过跳跃连接和通道合并的方式，添加至对应尺度的解码卷积块中，所述解码卷积块位于所述解码子网络；
[0012]所述解码子网络包括多个尺度的解码卷积块，每个尺度的解码卷积块依据接收到的融合特征和前一尺度的解码卷积块传递的重建特征进行特征重建，得到待约束特征，以及采用交叉熵损失函数对所述待约束特征进行约束，得到目标重建特征，将所述目标重建特征传递至下一尺度解码卷积块，直至最后一个尺度的解码卷积块输出特征图；
[0013]使用预设激活函数对所述特征图进行激活，将所述特征图中的预测值转换为概率值，并生成预测的类别，得到所述多目标分割图像。
[0014]可选地，所述采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，包括：
[0015]可选地，所述采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，包括：
[0016]所述可见光图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；
[0017]采用第一尺度的编码卷积模块对所述目标可见光图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的可见光图像特征，并将所述第一尺度的可见光图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强模块，生成第二尺度的可见光图像特征，直至最后一个尺度的注意力增强模块输出最后一个尺度的可见光图像特征；
[0018]确定每个尺度的注意力增强模块输出的可见光图像特征，得到所述多个尺度的可见光图像特征。
[0019]可选地，所述采用所述红外图像编码流对所述目标红外图像进行特征提取，得到多个尺度的红外图像特征，包括：
[0020]所述红外图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；
[0021]采用第一尺度的编码卷积模块对所述目标红外图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的红外图像特征，并将所述第一尺度的红外图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强模块，生成第二尺度的红外图像特征，直至最后一个尺度的注意力增强模块输出最后一个尺度的红外图像特征；
[0022]确定每个尺度的注意力增强模块输出的红外图像特征，得到所述多个尺度的红外图像特征。
[0023]可选地，所述基于多光谱图像融合网络提取所述目标可见光图像对应的第一深度特征和所述目标红外图像对应的第二深度特征，通过融合所述第一深度特征、所述第二深度特征和所述多目标分割图像，生成目标融合图像，包括：
[0024]将所述目标可见光图像和所述目标红外图像输入至所述多光谱图像融合网络的编码子网络，通过所述编码子网络对所述目标可见光图像和所述目标红外图像进行特征抽取，得到所述第一深度特征和所述第二深度特征；
[0025]将所述第一深度特征、所述第二深度特征和所述多目标分割图像传递至所述多光谱图像融合网络的融合层，通过所述融合层中的多目标增强特征融合模块对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行融合，得到融合特征；
[0026]采用所述多光谱图像融合网络的解码子网络对所述融合特征进行特征重建，得到目标图像。
[0027]可选地，所述通过所述融合层中的多目标增强特征融合模块对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行融合，得到融合特征，包括：
[0028]采用所述多目标增强特征融合模块，按照所述显著目标类对所述第一深度特征、所述第二深度特征和所述多目标分割图像进行特征融合，得到背景特征、次要显著目标特征和主要显著目标特征；
[0029]将所述背景特征、所述次要显著目标特征和所述主要显著目标特征相加，得到所述融合特征。
[0030]可选地，所述按照所述显著目标类对所述第一深度特征、所述第二深度特征和所述多目标分割图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标分割的多光谱图像融合方法，其特征在于，包括：采集可见光图像和红外图像，对所述可见光图像和所述红外图像进行图像配准处理，得到已配准的目标可见光图像和目标红外图像；采用多目标分割网络对所述目标可见光图像和所述目标红外图像进行多目标语义分割，生成多目标分割图像，所述多目标分割图像包含至少一个目标子集，所述至少一个目标子集用于指示至少一个显著目标类对应的像素区域；基于多光谱图像融合网络提取所述目标可见光图像对应的第一深度特征和所述目标红外图像对应的第二深度特征，通过融合所述第一深度特征、所述第二深度特征和所述多目标分割图像，生成目标融合图像。2.根据权利要求1所述的方法，其特征在于，所述采用多目标分割网络对所述目标可见光图像和所述目标红外图像进行多目标语义分割，生成多目标分割图像，包括：将所述目标可见光图像和所述目标红外图像输入至所述多目标分割网络，所述多目标分割网络包括编码子网络和解码子网络，其中，所述编码子网络包括可见光图像编码流和红外图像编码流；采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，采用所述红外图像编码流对所述目标红外图像进行特征提取，得到多个尺度的红外图像特征；将每个尺度的可见光图像特征按照尺度标识与对应尺度的红外图像特征进行相加融合，得到多个尺度的融合特征，以及将每个尺度的融合特征通过跳跃连接和通道合并的方式，添加至对应尺度的解码卷积块中，所述解码卷积块位于所述解码子网络；所述解码子网络包括多个尺度的解码卷积块，每个尺度的解码卷积块依据接收到的融合特征和前一尺度的解码卷积块传递的重建特征进行特征重建，得到待约束特征，以及采用交叉熵损失函数对所述待约束特征进行约束，得到目标重建特征，将所述目标重建特征传递至下一尺度解码卷积块，直至最后一个尺度的解码卷积块输出特征图；使用预设激活函数对所述特征图进行激活，将所述特征图中的预测值转换为概率值，并生成预测的类别，得到所述多目标分割图像。3.根据权利要求2所述的方法，其特征在于，所述采用所述可见光图像编码流对所述目标可见光图像进行特征提取，得到多个尺度的可见光图像特征，包括：所述可见光图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；采用第一尺度的编码卷积模块对所述目标可见光图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的可见光图像特征，并将所述第一尺度的可见光图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强模块，生成第二尺度的可见光图像特征，直至最后一个尺度的注意力增强模块输出最后一个尺度的可见光图像特征；确定每个尺度的注意力增强模块输出的可见光图像特征，得到所述多个尺度的可见光图像特征。
4.根据权利要求2所述的方法，其特征在于，所述采用所述红外图像编码流对所述目标红外图像进行特征提取，得到多个尺度的红外图像特征，包括：所述红外图像编码流串联多个尺度的编码卷积模块，每个尺度的所述编码卷积模块连接有一个注意力增强模块，所述注意力增强模块为空间注意力增强模块、空间和通道注意力增强模块、通道注意力增强模块其中之一，所述编码卷积模块用于进行特征提取，所述注意力增强模块用于进行特征增强，抑制冗余特征；采用第一尺度的编码卷积模块对所述目标红外图像进行特征提取，采用第一尺度的注意力增强模块进行加权特征增强，得到第一尺度的红外图像特征，并将所述第一尺度的红外图像特征输入至第二尺度的编码卷积模块和第二尺度的注意力增强...

【专利技术属性】
技术研发人员：郑曰文，向咸旭，应佳成，俞贝楠，沈会良，
申请(专利权)人：浙江大学金华研究院，
类型：发明
国别省市：