【技术实现步骤摘要】
本专利技术属于遥感图像目标检测，具体涉及一种基于掩码增强的像素级多光谱融合小目标检测方法及系统。
技术介绍
1、近年来，小目标检测技术广泛应用于民用和军事领域。随着多光谱模态设备的发展，利用多种光谱模态融合技术提升小目标检测精度成为趋势，例如应用可见光光谱、红外光谱以及紫外等。多种模态数据之间的信息互补可以提高检测精度，但是现有的多光谱模态融合存在参数量大、计算冗余以及融合效果不佳从而导致模型在边缘部署时检测性能不佳的问题。
2、多模态算法根据特征融合的层次可以分为像素级融合、特征级融合以及决策级融合。特征级融合相较于像素级融合具有较多的参数量。例如图1为现有技术的特征级融合方法框图。特征级融合是指在数据转换成特征描述符的特征表示层面进行融合。该融合方法具有两个特征提取主干网络和三个头部网络，模型总参数量达到1.22亿，实时帧率仅6fps，达不到边缘设备部署要求。
3、这限制了其在资源受限的移动设备或实时系统的应用。边缘部署主要考虑轻量的像素级融合方法。然而现有的像素级融合方法存在融合质量低的问题。不同模态的数据在进行融合时需要转换到统一的特征空间或表示形式，这会导致丢失一些原始的特征信息。此外，不同模态存在重复的信息，将增加计算成本，并干扰模型对关键信息的提取和理解，降低融合的效果。
4、面对诸多挑战，传统的融合方法无法满足实时目标检测的需求，发展融合质量高且可以轻量化部署的融合方法成为一个重要的研究领域。
技术实现思路
1、针对现有技术中融合
2、有鉴于此，本专利技术提出了一种基于掩码增强的像素级多光谱融合小目标检测方法，包括：
3、步骤(1)：获取待处理的遥感图像数据，所述遥感图像数据中包括可见光光谱和红外光谱的多光谱图像对；
4、步骤(2)：将多光谱模态图像对进行拆分并同时输入特征融合模块，分别得到各自的掩码，再根据各自的掩码得到掩码处理后的特征信息，并与拆分后的原始图像进行特征融合得到单一模态特征的第一次融合结果，再进行通道拼接与合并，得到第二次融合后的结果；
5、步骤3)将第二次融合后的结果输入se模块，筛选出有效信息特征，抑制冗余特征，得到像素级融合后的图像；
6、步骤4)将像素级融合后的图像输入轻量级检测网络得到检测结果。
7、优选的，所述步骤2)的特征融合模块包括两个结构相同的掩码生成模块，其中，第一掩码生成模块的输入为可见光光谱的特征图xrgb_ori，输出为可见光光谱的掩码xmask_rgb，第二掩码生成模块的输入为红外光谱的特征图xir_ori，输出为红外光谱的掩码xmask_ir，每个所述掩码生成模块包括：两个卷积核大小为3的卷积层、一个relu激活函数以及sigmoid激活函数，其中，
8、第一卷积层，用于对输入数据进行初步的特征提取；
9、relu激活函数，用于引入非线性特性，使得网络能够更好的表达特征；
10、第二卷积层，用于将前面提取的特征进行变换；
11、sigmoid激活函数，用于将掩码的值映射到0到1之间。
12、优选的，所述步骤2)的特征融合模块包括两个结构相同的相乘层，用于根据掩码对原始图像中的像素元素进行筛选，其中，
13、可见光光谱的掩码xmask_rgb与可见光光谱的特征图xrgb_ori进行逐元素相乘，红外光谱的掩码xmask_ir与红外光谱的特征图xir_ori进行逐元素相乘，分别得到对应的掩码处理后的特征信息xrgb_masked和xir_masked。
14、优选的，所述步骤2)的特征融合模块包括第一次融合网络，所述第一次融合网络包括：两个结构相同的加法层和卷积核大小为3的卷积层；其中，
15、第一加法层，用于将xrgb_masked与xrgb_ori进行逐元素相加；第一卷积层，用于对第一加法层的输出进行卷积，得到可见光模态特征的第一次融合结果xout_rgb；
16、第二加法层，用于将xir_masked与xir_ori进行逐元素相加；第二卷积层，用于对第二加法层的输出进行卷积，得到红外光模态特征的第一次融合结果xout_ir。
17、优选的，所述步骤2)的特征融合模块包括通道拼接与合并，用于对xout_rgb和xout_ir沿着维度为1的通道进行拼接，得到第二次融合后的结果xout_cat。
18、优选的，所述步骤3)的se模块包括全局平均池化层和两个全连接层构成的门机制；其中，
19、所述全局平均池化层，用于将每个通道的全局空间信息压缩；
20、所述门机制，用于为每个通道提供特定的权重，该权重用于反映通道的重要性，通过加权筛掉冗余信息，并加强有效信息，得到像素级融合后的图像if。
21、优选的，所述步骤4)的轻量级检测网络为yolov8n轻量级检测网络，输入为融合后的图像if，输出为带有置信度和类别标记的识别结果图。
22、优选的，所述轻量级检测网络包括主干网络和头部网络。
23、另一方面，本专利技术提供了一种基于掩码增强的像素级多光谱融合小目标检测系统，包括：
24、获取模块，用于获取待处理的遥感图像数据，所述遥感图像数据中包括可见光光谱和红外光谱的多光谱图像对；
25、二次融合模块，用于将多光谱模态图像对进行拆分并同时输入特征融合模块，分别得到各自的掩码，再根据各自的掩码得到掩码处理后的特征信息，并与拆分后的原始图像进行特征融合得到单一模态特征的第一次融合结果，再进行通道拼接与合并，得到第二次融合后的结果；
26、筛选抑制模块，用于将第二次融合后的结果输入se模块，筛选出有效信息特征，抑制冗余特征，得到像素级融合后的图像；
27、检测输出模块，用于将像素级融合后的图像输入轻量级检测网络得到检测结果。
28、与现有技术相比，本专利技术的优势在于：
29、1、传统的像素级融合方法使用1×1的卷积生成掩码。简单的1×1卷积不足以捕捉复杂的空间关系，会丢失一些原始的空间结构信息，从而影响掩码的质量。相比之下，我们的方法在特征融合模块中的掩码生成模块使用两个3×3卷积层和一个relu激活函数来生成掩码，能够学习更丰富的空间特征。
30、2、在掩码应用方式上，传统方法将原始图特征分别乘以0.5后再应用生成的掩码，这种缩放可能会影响特征的表达能力和后续处理的精度。相比之下，我们的方法直接对原始特征图进行处理，没有额外的缩放步骤，保持了特征的原始信息。此外，我们的方法在特征融合模块中使用sigmoid函数将掩码值限制在0到1之间，有助于更精细地控制特征的重要性。
31、3、不同模态之间存在一些重复或相似的信息例如，图像中的背景信息、重复的纹本文档来自技高网...
【技术保护点】
1.一种基于掩码增强的像素级多光谱融合小目标检测方法，包括：
2.根据权利要求1所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤2)的特征融合模块包括两个结构相同的掩码生成模块，其中，第一掩码生成模块的输入为可见光光谱的特征图xrgb_ori，输出为可见光光谱的掩码xmask_rgb，第二掩码生成模块的输入为红外光谱的特征图xir_ori，输出为红外光谱的掩码xmask_ir，每个所述掩码生成模块包括：两个卷积核大小为3的卷积层、一个ReLU激活函数以及Sigmoid激活函数，其中，
3.根据权利要求2所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤2)的特征融合模块包括两个结构相同的相乘层，用于根据掩码对原始图像中的像素元素进行筛选，其中，
4.根据权利要求3所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤2)的特征融合模块包括第一次融合网络，所述第一次融合网络包括：两个结构相同的加法层和卷积核大小为3的卷积层；其中，
5.根据权利要求4所述的基于掩码增强的像
6.根据权利要求5所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤3)的SE模块包括全局平均池化层和两个全连接层构成的门机制；其中，
7.根据权利要求6所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤4)的轻量级检测网络为YOLOv8n轻量级检测网络，输入为融合后的图像If，输出为带有置信度和类别标记的识别结果图。
8.根据权利要求7所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述轻量级检测网络包括主干网络和头部网络。
9.一种基于掩码增强的像素级多光谱融合小目标检测系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于掩码增强的像素级多光谱融合小目标检测方法，包括：
2.根据权利要求1所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤2)的特征融合模块包括两个结构相同的掩码生成模块，其中，第一掩码生成模块的输入为可见光光谱的特征图xrgb_ori，输出为可见光光谱的掩码xmask_rgb，第二掩码生成模块的输入为红外光谱的特征图xir_ori，输出为红外光谱的掩码xmask_ir，每个所述掩码生成模块包括：两个卷积核大小为3的卷积层、一个relu激活函数以及sigmoid激活函数，其中，
3.根据权利要求2所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤2)的特征融合模块包括两个结构相同的相乘层，用于根据掩码对原始图像中的像素元素进行筛选，其中，
4.根据权利要求3所述的基于掩码增强的像素级多光谱融合小目标检测方法，其特征在于，所述步骤2)的特征融合模块包括第一次融合网络，所述第一次融合网络包括：两个结构相同的...
【专利技术属性】
技术研发人员：张倩倩，周莉，安军社，
申请(专利权)人：中国科学院国家空间科学中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。