基于多尺度差分特征注意力机制的SAR图像变化检测方法技术

本发明专利技术公开了一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，包括以下步骤：将T1时刻和T2时刻的合成孔径雷达(SAR)图像滤波后生成差分图像；利用层次聚类算法处理差分图得到部分像素点的伪标签；将少量有伪标签的数据和无标签的数据共同输入网络实现半监督；构建孪生卷积网络模块，提取T1和T2时刻图像的多尺度差分特征；添加向量映射操作，将多尺度差分特征图转换为向量集合；添加多头自注意力模块对向量化特征编码，通过全连接层分类，获取SAR图像的变化检测结果。本发明专利技术的方法，全局都没有使用变化检测参考图，利用半监督的方法训练网络；同时网络本身可以有效提取双时图像对的多尺度差分特征，并且通过多头注意力模块增强对特征图全局信息的有效利用，进行提高检测的性能。行提高检测的性能。行提高检测的性能。

【技术实现步骤摘要】
基于多尺度差分特征注意力机制的SAR图像变化检测方法


[0001]本专利技术属于遥感图像变化检测领域，涉及一种基于多尺度差分特征注意力机制的SAR图像变化检测方法。

技术介绍

[0002]变化检测是基于不同时间点对同一地点进行的观测，通过设计变化提取器来鉴定不同时间点观测之间差异的过程。地表生态系统和人类活动处在不断演化过程中，准确地获取地表变化信息对于生态环境保护、自然资源管理和研究社会经济发展等具有重要意义。而遥感成像技术的进步与发展使得系统的、长期的对地观测成为可能。
[0003]遥感对地观测技术具有大范围、长时间和周期性监测能力，基于多时遥感影像来获取地表地物变化情况的变化检测是遥感技术出现最早、应用最广泛的研究领域之一。且随着技术的提高，涌现了更多性能更好的变化检测算法，并被广泛应用于国土监测、农作物生长监测、灾后评估、生态环境变化监测等领域。特别地，对于地表的异常变化，如地震、火灾、洪水等，由于合成孔径雷达图像全天时、全天候、不受云雨限制的原因，因此已成为此类变化检测中关键的数据来源。
[0004]自然语言处理中的Transformer网络最近取得了成功，这促使研究人员将Transformer应用于各种计算机视觉任务，然而很少有人对 Transformer应用于SAR图像变化检测进行过研究。目前变化检测方法主要基于深度卷积网络，因为它们能够提取强大的鉴别特征。而 Transformer网络有更大的感受野，如果利用Transformer和卷积神经网络结合进行SAR图像变化检测，可以实现对现有方法的改良，并且扩展Transformer的应用。
[0005]由于存在上述问题，针对SAR图像变化检测依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此SAR图像变化检测问题依然有很大的研究价值。

技术实现思路

[0006]针对上述技术问题，本专利技术提供一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，不仅可以有效提取双时SAR图像对的多尺度差分特征，而且通过多头注意力机制考虑全局又聚焦重点的特征信息，进而提高变化检测的效果，同时全局无监督局部半监督的实现方式具有现实应用的可能。
[0007]为实现上述目的，本专利技术采用的技术方案为：
[0008]步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本：
[0009]步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和 I2；
[0010]步骤102、对于I1和I2各个像素，选取以它为中心、大小为n
×
n的超像素块作为总样本集合M，利用中心点相邻像素点特征来增强判别能力；
[0011]步骤二、利用层次聚类算法生成每个像素点的伪标签，并划分训练集、测试集、验证集；
[0012]步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI，对数比算子公式为：
[0013]DI＝|lg(I1+1)
‑
lg(I2+1)|
[0014]其中lg是以10为底的对数运算符，对数比算子可以有效抑制SAR图像的相干斑噪声；
[0015]步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析，得到总样本集M中对应位置样本的伪标签，聚类为“变化”、“不变”、以及“不确定”三类；
[0016]步骤203、从伪标签为“变化”和“不变”的样本中随机选取T 个样本并结合所有伪标签为“不确定”的样本共同作为训练集，其中将前者作为有标签数据，后者作为无标签数据，每一个批次中有标签数据为X＝((x
b
,p
b
),b∈(1,...,B))，无标签数据为U＝((u
b
),b∈(1,...,B))，p
b
为预分类的伪标签，B为一个批次数据的数量，将所有的无标签数据作为测试集；
[0017]步骤三、构建孪生卷积网络模块，提取T1和T2时刻图像的多尺度差分特征：
[0018]步骤301、构建多尺度卷积网络，包括4个卷积单元，分别是 Common Conv1、Common Conv2、Inception Module1、Inception Module2；
[0019]步骤302、采用双分支多尺度卷积网络作为孪生网络，分别提取 T1和T2时刻SAR图像的特征，对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征差分模块的计算式如下：
[0020][0021]其中，和分别代表第i级编码器T1时刻和T2时刻像素块的特征图， BN代表批标准化操作，GELU是激活函数，Conv2D3×3代表深度可分离卷积；
[0022]步骤303、将各级差分特征融合后得到多尺度的差分特征F
M
，C为通道数，n为超像素块的大小，双分支之间共享参数，使得模型能够获得分布更一致的特征图，同时突出特征图间的不同，并且模型的网络参数也极大减少；
[0023]步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征，从而得到分类结果：
[0024]步骤401、将孪生网络输出的多尺度差分特征F
M
进行向量化操作，其维度转化为其中N＝n
×
n，N为像素数目，这样每对超像素块的多尺度差分特征就映射为向量集合a，即a＝{a1,...,a
N
}；
[0025]步骤402、向a中插入一个专门用于变化判别的分类向量class，从而得到向量集合b，并且为了引入位置信息，让b加上位置编码得到其中位置编码的维度和b一致；
[0026]步骤403、将上一步得到的向量集合通过Transformer编码器，输出维度为其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器，多头注意力模块的工作流程为：输入向量通过W
q
，W
k
，W
v
三个转换矩阵得到对应的查询向量Q，键向量K，值向量V，然后通过W
iQ
，W
iK
，W
iV
三个映射矩阵得到每个子空
间的Q
i
，K
i
，V
i
向量，接下来针对每个子空间使用自注意力机制中的方法得到对应的结果，即：
[0027][0028]其中，Attention(Q
i
,K
i
,V
i
)表示第i个子空间的注意力向量，为K的转置矩阵，d
k
为键向量K的维度，softmax函数的定义为 z
i
为第i个节点的输出值，C为输出节点的个数。接着将每个子空间得到的结果进行拼接并通过W
O
矩阵(可学习的参数)进行融合，即：
[0029]Multihead(Q,K,V)＝Concat(hea本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，其特征在于，包括以下步骤：步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本：步骤101、对双时相SAR图像对进行中值滤波并归一化得到I1和I2；步骤102、对于I1和I2各个像素，选取以它为中心、大小为n
×
n的超像素块作为总样本集合M，利用中心点相邻像素点特征来增强判别能力；步骤二、利用层次聚类算法生成每个像素点的伪标签，并划分训练集、测试集、验证集；步骤201、利用步骤101中得到的I1和I2通过对数比算子生成差异图DI，对数比算子可以有效抑制SAR图像的相干斑噪声；步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析，得到总样本集M中对应位置样本的伪标签，聚类为“变化”、“不变”、以及“不确定”三类；步骤203、从伪标签为“变化”和“不变”的样本中随机选取T个样本并结合所有伪标签为“不确定”的样本共同作为训练集，其中将前者作为有标签数据，后者作为无标签数据，每一个批次中有标签数据为X＝((x
b
,p
b
),b∈(1,
…
,B))，无标签数据为U＝((u
b
),b∈(1,
…
,B))，p
b
为预分类的伪标签，B为一个批次数据的数量，将所有的无标签数据作为测试集；步骤三、构建孪生卷积网络模块，提取T1和T2时刻图像的多尺度差分特征：步骤301、构建多尺度卷积网络，包括4个卷积单元，分别是Common Conv1、Common Conv2、Inception Module1、Inception Module2；步骤302、采用双分支多尺度卷积网络作为孪生网络，分别提取T1和T2时刻SAR图像的特征，对双分支中每个卷积单元的输出特征图分别通过差分模块得到每一级的差分特征差分模块的计算式如下：其中，和分别代表第i级编码器T1时刻和T2时刻像素块的特征图，BN代表批标准化操作，GELU是激活函数，Conv2D3×3代表深度可分离卷积；步骤303、将各级差分特征融合后得到多尺度的差分特征F
M
，C为通道数，n为超像素块的大小，双分支之间共享参数，使得模型能够获得分布更一致的特征图，同时突出特征图间的不同，并且模型的网络参数也极大减少；步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征，从而得到分类结果：步骤401、将孪生网络输出的多尺度差分特征F
M
进行向量化操作，其维度转化为其中N＝n
×
n，N为像素数目，这样每对超像素块的多尺度差分特征就映射为向量集合a，即a＝{a1,...,a
N
}；步骤402、向a中插入一个专门用于变化判别的分类向量class，从而得到向量集合b，并且为了引入位置信息，让b加上位置编码得到其中位置编码的维度和b一致；
步骤403、将上一步得到的向量集合通过Transformer编码器，输出维度为其中多头注意力模块和多层感知机模块合并后的编码模块重复堆叠L次即为Transformer编码器；步骤404、从上一步Transformer编码器的输出中提取分类向量class，接着通过全连接层进行分类，得到图像各个类别的得分，得分最高的类别即为预测的结果。全连接层的维度为步骤五、设计半监督训练损失函数，充分利用无标签数据的信息：步骤501、对于每一个批次中有标签数据x
b
，做一次数据增强，即同样对于无标签数据u
b
，做两次数据增强，即其中k＝1为弱增强，k＝2为强增强；步骤502、上一步将得到的送入模型得到对应的预测标签概率q
b,k
，为了让模型有更加准确的预测，首先对弱增强后分类概率q
b,1
应用锐化算法得到然后利用得到更为准确的预测标签；步骤503、将所有带标签的增强数据和所有无标签样本以及对应的预测标签数据进行混合，随机打乱后得到数据集W；步骤504、将上一步得到的和W做数据扩充操作得到增广标记数据X
′
，同样的将和W做数据扩充操作得到增广无标记数据U
′
；步骤505、对于增广得到的数据X
′
和U
′
分别计算损失项和步骤506、考虑负样本较多的情况，模型更容易将所有样本...

【专利技术属性】
技术研发人员：蒋雯，巫浩然，耿杰，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：