一种基于多分支信息互补的多源遥感图像目标检测识别方法技术

一种基于多分支信息互补的多源遥感图像目标检测识别方法，所述方法为：基于跨域信息引导的信号级融合检测识别

【技术实现步骤摘要】
一种基于多分支信息互补的多源遥感图像目标检测识别方法


[0001]本专利技术属于目标探测与识别
，涉及一种面向多源遥感图像的目标检测识别方法，具体涉及一种基于多分支信息互补的多源遥感图像目标检测识别方法
。

技术介绍

[0002]遥感图像目标检测识别作为遥感图像解译领域的一项关键技术，通过提取航空航天遥感数据中目标与背景的差异性特征实现对感兴趣区域或目标实例的有效分类和准确定位，在海上及时营救
、
交通智能管理
、
区域实时监控等军民应用中发挥着关键作用
。
[0003]然而单一载荷成像容易受自身成像方式和外界成像环境的影响，在低质量成像条件以及复杂环境干扰条件下应用存在一定局限性
。
光学载荷成像分辨率高
、
图像纹理细节丰富，但容易受云雾等环境因素影响且难以在夜间成像；红外载荷可以实现昼夜成像，但是图像分辨率低
、
纹理细节信息缺失；
SAR
载荷不易受环境因素影响，但是噪声分布严重
、
成像质量差
。
因此，针对现有的单源目标检测方法如
YOLO、FasterRCNN
等难以满足全天时
、
全天候的目标探测需求问题，亟需通过多源数据融合利用互补信息，实现对复杂场景下的目标高精度检测识别
。
[0004]现有的融合检测识别方法主要分为信号级融合和决策级融合
。
信号级融合对图像像素提取特征进行相加或拼接操作，可以对多源数据之间的互补信息进行较充分的融合，但是单源图像中的噪声等干扰因素仍会影响图像质量，影响检测识别的精度；决策级融合对多源图像分别进行检测识别，通过决策判据对结果进行融合，尽管可以减少单源图像质量差的影响，但是并不能充分融合多源数据的互补信息，对于复杂场景下的检测识别提升效果较小
。
[0005]为解决上述单一融合过程的局限性，本专利技术结合信号级和决策级融合，通过多分支信息互补实现多源遥感图像中目标的准确检测识别
。

技术实现思路

[0006]针对单一载荷信息难以满足对复杂场景下的目标高精度检测识别，本专利技术提出一种基于多分支信息互补的多源遥感图像目标检测识别方法
。
该方法通过基于跨域信息引导的信号级融合，充分挖掘多源数据之间的互补信息，减少复杂场景中虚警对目标检测识别的干扰，同时提升对易混淆目标的识别能力；再将信号级融合和单源融合检测识别结果进行决策级融合，减少图像质量差的数据对信号级融合识别的影响，最终输出目标的位置
、
类别
、
置信度结果
。
[0007]本专利技术的目的是通过以下技术方案实现的：
[0008]一种基于多分支信息互补的多源遥感图像目标检测识别方法，所述方法为：
[0009]步骤1：基于跨域信息引导的信号级融合检测识别；其中，信号级融合检测识别通过跨域信息引导融合模块自适应生成多源图像的融合权重，增强互补信息中的有效目标特征并抑制无效环境干扰，避免由于直接相加或拼接操作带来的数据融合不充分的问题，实
现多源数据互补信息的充分融合，生成信号级融合图像，再经由目标检测识别模块实现目标位置
、
类别信息输出；
[0010]步骤2：基于交并比的多分支融合识别结果关联；利用单源目标检测识别模块处理单源图像，输出单源检测识别结果，结合步骤1中的信号级融合检测识别结果，计算多分支目标预测框交并比，以实现对单源和信号级融合检测识别结果的关联匹配；
[0011]步骤3：基于阶梯置信度阈值筛选的多分支识别结果决策级融合；对于步骤2中关联后的多分支预测结果，基于预测框关联数目计算阶梯置信度阈值，结合目标置信度和
one
‑
hot
类别编码，筛选目标并确定最终目标类型，以减少单一数据源中的虚警和漏警对于结果产生的影响，提高识别准确率
。
[0012]进一步地，步骤1中，跨域信息引导融合模块和目标检测识别模块为端到端级联网络，两者在训练过程中参数同时被优化，训练和推理过程中使用的数据都为多源图像数据
。
[0013]进一步地，所述步骤1的具体步骤为：
[0014]步骤1‑1：通过跨域信息引导融合模块实现对于多源图像的信号级融合，若共有
n
个数据源，则第
i
个数据源图像记为
I
i
，其长
、
宽
、
通道数目记为
(H,W,1)
，经由信号级融合后的图像记为
I
signal
∈(H,W,n)
；
[0015]步骤1‑2：通过目标检测识别模块对信号级融合后的数据进行检测识别，目标检测识别模块输入跨域信息引导融合模块得到的融合数据
I
signal
，输出信号级融合检测识别结果，分别代表信号级融合检测识别出的第
j
个目标中心横坐标
、
纵坐标
、
宽
、
长
、
类别
、
置信度
。
[0016]进一步地，所述步骤1‑1的具体步骤为：
[0017]步骤1‑1‑1：利用跨域信息引导挖掘不同源数据的空间注意力，以自适应生成多源数据的融合权重，生成权重的方法为，首先将多源图像数据沿通道维进行拼接得到
I
cat
∈(H,W,n)
，每个分支分别通过3×3卷积实现跨域信息交互，再通过
Sigmoid
激活函数生成第
i
路融合权重
ω
i
，记作：
[0018]ω
i
＝
σ
(conv3×3(I
cat
))
[0019]式中，
conv3×3(
·
)
为3×3卷积，
σ
(
·
)
为
Sigmoid
激活函数；
[0020]步骤1‑1‑2：基于步骤1‑1‑1自适应生成的权重调整多源数据空间域重要程度，结合通道拼接和3×3卷积实现对于多源数据的融合；首先不同分支图像点乘上对应生成的权值后沿通道维进行拼接，再通过3×3卷积对权值调整后的数据进行融合，融合后的数据
I
fusion
记作：
[0021]I
fusion
＝
conv3×3(cat(
ω1·
I1,
ω2·
I2,...
ω
n
·
I
n
,))
[0022]式中，
cat(
·
)
为通道拼接操作；
[0023]步骤1‑1‑3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多分支信息互补的多源遥感图像目标检测识别方法，其特征在于：所述方法为：步骤1：基于跨域信息引导的信号级融合检测识别；其中，信号级融合检测识别通过跨域信息引导融合模块实现多源数据互补信息的充分融合，生成信号级融合图像，再经由目标检测识别模块实现目标位置
、
类别信息输出；步骤2：基于交并比的多分支融合识别结果关联；利用单源目标检测识别模块处理单源图像，输出单源检测识别结果，结合步骤1中的信号级融合检测识别结果，计算多分支目标预测框交并比，以实现对单源和信号级融合检测识别结果的关联匹配；步骤3：基于阶梯置信度阈值筛选的多分支识别结果决策级融合；对于步骤2中关联后的多分支预测结果，基于预测框关联数目计算阶梯置信度阈值，结合目标置信度和
one
‑
hot
类别编码，筛选目标并确定最终目标类型
。2.
根据权利要求1所述的一种基于多分支信息互补的多源遥感图像目标检测识别方法，其特征在于：步骤1中，跨域信息引导融合模块和目标检测识别模块为端到端级联网络，两者在训练过程中参数同时被优化，训练和推理过程中使用的数据都为多源图像数据
。3.
根据权利要求1所述的一种基于多分支信息互补的多源遥感图像目标检测识别方法，其特征在于：所述步骤1的具体步骤为：步骤1‑1：通过跨域信息引导融合模块实现对于多源图像的信号级融合，若共有
n
个数据源，则第
i
个数据源图像记为
I
i
，其长
、
宽
、
通道数目记为
(H,W,1)
，经由信号级融合后的图像记为
I
signal
∈(H,W,n)
；步骤1‑2：通过目标检测识别模块对信号级融合后的数据进行检测识别，目标检测识别模块输入跨域信息引导融合模块得到的融合数据
I
signal
，输出信号级融合检测识别结果，分别代表信号级融合检测识别出的第
j
个目标中心横坐标
、
纵坐标
、
宽
、
长
、
类别
、
置信度
。4.
根据权利要求3所述的一种基于多分支信息互补的多源遥感图像目标检测识别方法，其特征在于：所述步骤1‑1的具体步骤为：步骤1‑1‑1：利用跨域信息引导挖掘不同源数据的空间注意力，以自适应生成多源数据的融合权重，生成权重的方法为，首先将多源图像数据沿通道维进行拼接得到
I
cat
∈(H,W,n)
，每个分支分别通过3×3卷积实现跨域信息交互，再通过
Sigmoid
激活函数生成第
i
路融合权重
ω
i
，记作：
ω
i
＝
σ
(conv3×3(I
cat
))
式中，
conv3×3(
·
)
为3×3卷积，
σ
(
·
)
为
Sigmoid
激活函数；步骤1‑1‑2：基于步骤1‑1‑1自适应生成的权重调整多源数据空间域重要程度，结合通道拼接和3×3卷积实现对于多源数据的融合；首先不同分支图像点乘上对应生成的权值后沿通道维进行拼接，再通过3×3卷积对权值调整后的数据进行融合，融合后的数据
I
fusion
记作：
I
fusion
＝
conv3×3(cat(
ω1·
I1,
ω2·
I2,...
ω
n
·
I
n
,))
式中，
cat(
·
)
为通道拼接操作；步骤1‑1‑3：基于通道注意力机制调整多源融合数据通道域的重要程度，首先通过空间
全局池化汇总各个通道中的空间全局信息，得到与通道数目相匹配的
n
维空间池化向量
g
ave
，其中第
i
个通道权值的计算方法为记作：式中，为
I
fusion
第
i
个通道在位置
(j,k)
的值；空间池化向量依次经过全连接层和
Sigmoid
激活函数获得通道权重系数向量
c
，再与
I
fusion
各个通道相乘实现对于通道重要程度的调节，最终...

【专利技术属性】
技术研发人员：施天俊，巩晋南，胡建明，智喜洋，鲍广震，张鹏飞，袁彬桓，张伟，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：