一种基于图卷积的遥感图像显著性检测方法技术

本发明专利技术公开了一种基于图卷积的遥感图像显著性检测方法。首先使用ResNet34网络对输入的遥感图像进行主干特征的提取。然后使用相邻层的特征作为输入，集成来自相邻的不同分辨率的信息，为当前分辨率提供更相关和有效的补充，同时在最后一级特征进行粗监督，对每一层级特征进行监督指导，之后对于每一分支在空间和通道维度上串行使用图卷积的方法，建立图上每个像素和每个通道之间的语义关系，从而获得更全面、更深层次的内部建模关系得到高级语义特征，最后进行解码操作，并对每一分支进行监督。本发明专利技术对每一层级都进行空间和通道维度上的图卷积推理，从而获得更全面、更深层次的全局关系。局关系。局关系。

【技术实现步骤摘要】
一种基于图卷积的遥感图像显著性检测方法


[0001]本专利技术属于图像处理领域，具体涉及一种基于图卷积模型的遥感图像显著性检测方法。

技术介绍

[0002]视觉注意机制旨在捕捉场景中最吸引人的区域，在人类视觉系统中起着重要作用。人类的注意力很容易被图像中独特的物体/区域吸引]。通过模仿这种视觉注意系统，显著对象检测(SOD)旨在准确定位最吸引人的对象/区域。
[0003]伴随着航天事业的发展，遥感图像数据量大幅度增长，如何快速有效地从遥感图像中提取有效信息成为了当前利用遥感图像数据的首要问题。遥感图像由于其成像方式的特殊性，图像内部大多包含较大空间范围内的多个目标，然而只有少数目标能够吸引人类视觉关注(即显著目标)，所以如何过滤冗余信息并突出显著目标成为了遥感图像信息处理的首要任务。
[0004]现有遥感图像显著目标检测模型大多基于卷积神经网络构建，在检测精度和泛化性能上相比于传统方法均有显著提升。如今已被证实图卷积是用于图形数据分析的强大工具，本专利技术将基于图卷积的方法来构造遥感图像显著性检测模型。

技术实现思路

[0005]本专利技术所要解决的技术问题：光学RSI中目标数量的多样性、目标尺度的多样性以及背景复杂很难准确地检测出位置和结构完整的显著目标，现有遥感图像显著目标检测模型大多基于卷积神经网络构建，在检测精度和泛化性能上相比于传统方法均有显著提升。但由于其未针对遥感图像自身特性，从而导致检测效果未能满足实际应用需求，突出目标的缺失和不完全检测是常见的问题。
[0006]本专利技术提供一种基于图卷积的遥感图像显著性检测方法。本专利技术解决该技术问题所采用的技术方案：本专利技术是针对遥感图像数据集自身的特点进行设计的模型，引入并行交互聚合相邻语义信息以及串行空间及通道维度上的图卷积网络推理深层语义信息用于解决现有问题。
[0007]一种基于图卷积的遥感图像显著性检测方法，步骤如下：
[0008]步骤1：数据集的选择和扩增；
[0009]数据集中必须包括不同类别，不同环境下的遥感图像以避免图像单一，网络泛化能力弱；其次，对数据集进行数据扩增，弥补数据集图像数量少的问题，以降低过拟合的风险。
[0010]步骤2：主干网络的特征提取。
[0011]对输入图像进行预处理后，使用主干网络进行特征提取，提取出的初步特征从低级到高级共分为5层级。
[0012]步骤3：聚合相邻语义信息，有效地利用多级信息。
[0013]对于每一层级的输出特征，再集成其前一层级和后一层级的特征进行多级特征融合。
[0014]步骤4：高层级特征的监督指导；
[0015]对第5层级的特征加以监督，生成粗略的预测图，将此输出对每一层级特征进行监督指导。
[0016]步骤5：利用图结构的表示能力，建立图上每个像素和每个通道之间的语义关系，进行更深层次的内部建模获得高级语义特征。
[0017]通过投影操作将图像特征转换为依赖于样本的语义图，其中具有相似特征的像素形成一个顶点，边表示特征空间中顶点之间的相似度，获得更全面、更深层次的内部建模关系，接着在空间和通道维度上串行使用图卷积的方法，再通过反投影将得到的特征变换回原始坐标空间，获得更深层的语义信息。
[0018]步骤6：解码得到的第一层级的解码特征生成预测图。
[0019]步骤7：通过步骤1处理后的数据集对整体模型进行训练。
[0020]进一步的，步骤2中所述预处理为：将输入图像尺寸裁剪到256
×
256大小，最后将其数据类型转化为Tensor型且数值范围从[0,255]映射到[
‑
1,1]。
[0021]进一步的，步骤2中所述主干网络采用ResNet34，主干网络输入卷积层和前四层级采用ResNet
‑
34，在ResNet
‑
34第四层级之后增加了一层级，该第五层级由三个基本res
‑
block组成。res
‑
block即进行一层3
×
3卷积，再进行批量归一化和Relu激活函数。
[0022]进一步的，步骤2中所述主干网络采用VGG
‑
16或ResNet
‑
50，使用操作相同，均只取对应的前四层级，第五层则由三个基本res
‑
block组成。
[0023]进一步的，步骤3具体方法如下：
[0024]在获取初步特征后,对每一级特征分别进行3
×
3卷积，ReLU和批量归一化操作进行通道压缩，将每一层级的通道数都压缩为64，得到特征E
i
,(i＝1,2,3,4,5)。每一个层级相互集成来自前后层级的不同分辨率的信息，即集成相邻层的特征，有效地利用多级信息，为当前分辨率特征提供更相关和有效的补充，得到特征F
i
,(i＝1,2,3,4,5)。不同分辨率特征信息聚合过程可表示为：
[0025][0026]其中，CBR
i
(
·
)表示3
×
3卷积，ReLU和批量归一化操作，将特征通道数压成当前层级相应的数量。表示矩阵相加，up(
·
)表示2倍的上采样操作，down(
·
)表示2倍的下采样操作。此时F
i
的特征尺寸大小分别为：F1∈R
64
×
128
×
128
，F2∈R
128
×
64
×
64
，F3∈R
256
×
32
×
32
，F4∈R
512
×
16
×
16
，F5∈R
512
×8×8。
[0027]进一步的，步骤4具体方法如下：
[0028]对第五层级输出的特征F5，进行1
×
1的卷积操作，将通道数压成1，同时，进行上采样操作使F5尺寸大小变为与输入图片一致，最后进行sigmoid函数激活操作即将特征的数值映射到[0,1]范围内得到粗略的预测图S
c
∈R1×
256
×
256
，并对其使用BCE损失监督。将S
c
与每一级特征进行特征相乘与残差连接，再使用3
×
3卷积、ReLU、批量归一化操作进一步去除冗
余特征，得到特征
[0029]进一步的，步骤5具体方法如下：
[0030]利用图结构的表示能力，建立图上每个像素和每个通道之间的语义关系，进行更深层次的内部建模获得高级语义特征。
[0031]这一部分可以分为映射、空间维度上的图卷积运算、通道维度上的图卷积运算和反映射四个步骤。
[0032]对于输入特征首先将其重塑为i＝1,2,3,4,5，其中C表示顶点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的遥感图像显著性检测方法，其特征在于，步骤如下：步骤1：数据集的选择和扩增；数据集中必须包括不同类别，不同环境下的遥感图像以避免图像单一，网络泛化能力弱；其次，对数据集进行数据扩增，弥补数据集图像数量少的问题，以降低过拟合的风险；步骤2：主干网络的特征提取；对输入图像进行预处理后，使用主干网络进行特征提取，提取出的初步特征从低级到高级共分为5层级；步骤3：聚合相邻语义信息，有效地利用多级信息；对于每一层级的输出特征，再集成其前一层级和后一层级的特征进行多级特征融合；步骤4：高层级特征的监督指导；对第5层级的特征加以监督，生成粗略的预测图，将此输出对每一层级特征进行监督指导；步骤5：利用图结构的表示能力，建立图上每个像素和每个通道之间的语义关系，进行更深层次的内部建模获得高级语义特征；通过投影操作将图像特征转换为依赖于样本的语义图，其中具有相似特征的像素形成一个顶点，边表示特征空间中顶点之间的相似度，获得更全面、更深层次的内部建模关系，接着在空间和通道维度上串行使用图卷积的方法，再通过反投影将得到的特征变换回原始坐标空间，获得更深层的语义信息；步骤6：解码得到的第一层级的解码特征生成预测图；步骤7：通过步骤1处理后的数据集对整体模型进行训练。2.根据权利要求1所述的一种基于图卷积的遥感图像显著性检测方法，其特征在于，步骤2中所述预处理为：将输入图像尺寸裁剪到256
×
256大小，最后将其数据类型转化为Tensor型且数值范围从[0,255]映射到[
‑
1,1]。3.根据权利要求2所述的一种基于图卷积的遥感图像显著性检测方法，其特征在于，步骤2中所述主干网络采用ResNet34，主干网络输入卷积层和前四层级采用ResNet
‑
34，在ResNet
‑
34第四层级之后增加了一层级，该第五层级由三个基本res
‑
block组成；res
‑
block即进行一层3
×
3卷积，再进行批量归一化和Relu激活函数。4.根据权利要求2所述的一种基于图卷积的遥感图像显著性检测方法，其特征在于，步骤2中所述主干网络采用VGG
‑
16或ResNet
‑
50，使用操作相同，均只取对应的前四层级，第五层则由三个基本res
‑
block组成。5.根据权利要求3或4所述的一种基于图卷积的遥感图像显著性检测方法，其特征在于，步骤3具体方法如下：在获取初步特征后,对每一级特征分别进行3
×
3卷积，ReLU和批量归一化操作进行通道压缩，将每一层级的通道数都压缩为64，得到特征E
i
,(i＝1,2,3,4,5)；每一个层级相互集成来自前后层级的不同分辨率的信息，即集成相邻层的特征，有效地利用多级信息，为当前分辨率特征提供更相关和有效的补充，得到特征F
i
,(i＝1,2,3,4,5)；不同分辨率特征信息聚合过程可表示为：
其中，CBR
i
(
·
)表示3
×
3卷积，ReLU和批量归一化操作，将特征通道数压成当前层级相应的数量；表示矩阵相加，up(
·
)表示2倍的上采样操作，down(
·
)表示2倍的下采样操作；此时F
i
的特征尺寸大小分别为：F1∈R
64
×
128

【专利技术属性】
技术研发人员：颜成钢，朱晨薇，高宇涵，孙垚棋，朱尊杰，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：