一种联合局部表征和全局建模的双时遥感变化检测方法技术

本发明专利技术公开了一种联合局部表征和全局建模的双时遥感变化检测方法，包括：获取双时遥感图像对并将图像分割为相同尺寸的子图；建立对偶主干网络模型并进行预训练；采用预训练好的对偶主干网络模型对子图进行特征提取，对应获得多尺度局部特征图和全局特征图；对相同空间分辨率下的局部特征图和全局特征图执行双分支信息交叉融合操作，获取联合表示；对不同空间分辨率的联合表示执行多尺度特征图融合操作，获取多尺度融合特征图；将图像对中对应子图获得的多尺度融合特征图之间依次进行差值、上采样和卷积变换，获取变化检测图。该方法可实现更好的目标定位、边缘细化和语义理解，保障检测精度和泛化性能，数据处理速度快。数据处理速度快。数据处理速度快。

A bi temporal remote sensing change detection method combining local representation and global modeling

【技术实现步骤摘要】
一种联合局部表征和全局建模的双时遥感变化检测方法


[0001]本专利技术属于图像处理
，具体涉及一种联合局部表征和全局建模的双时遥感变化检测方法。

技术介绍

[0002]双时遥感图像变化检测对于理解地表变化至关重要，其在灾害损失评估、土地覆盖制图和城市扩展调查等应用中得到了广泛研究。随着高分辨率光学传感器的发展，高分辨率遥感图像的可用性不断提高，从而拓宽了高分辨率双时相图像中变化检测的应用范围。
[0003]基于卷积网络的变化检测模型CNN凭借局部连接和权值共享的特性而取得了较好的检测性能，但是受感受野大小和局部特征提取的限制，不具备全局上下文信息的建模能力。而Transformer网络一经从自然语言处理领域应用到计算机视觉中，就凭借其自注意力机制中长距离依赖特性产生了巨大轰动，然而Transformer中不同网络阶段所捕获的全局特征极度相似而存在冗余。因此，提出一种检测精度和泛化性能更好的双时遥感图像变化检测方法。

技术实现思路

[0004]本专利技术的目的在于针对上述问题，提出一种联合局部表征和全局建模的双时遥感变化检测方法，兼具CNN模型和Transformer模型的优点，在引进局部归纳偏置的同时，建立长距离依赖，从而保证模型的特征互补与有效表征，可实现更好的目标定位、边缘细化和语义理解，进一步保障双时遥感图像对变化检测的检测精度和泛化性能，且数据处理速度快。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]本专利技术提出的一种联合局部表征和全局建模的双时遥感变化检测方法，包括如下步骤：
[0007]S1、获取双时遥感图像对，将图像对中的两图像分割为若干相同尺寸的子图；
[0008]S2、建立对偶主干网络模型并进行预训练，对偶主干网络模型包括并行的CNN模型和Transformer模型；
[0009]S3、采用预训练好的对偶主干网络模型对子图进行特征提取，对应获得CNN模型输出的多尺度局部特征图F
local
和Transformer模型输出的多尺度全局特征图F
global
；
[0010]S4、对相同空间分辨率下的局部特征图F
local
和全局特征图F
global
执行双分支信息交叉融合操作，局部特征图F
local
的尺寸记为W
×
H
×
L
local
，全局特征图F
global
的尺寸记为W
×
H
×
L
global
，其中，W为当前空间分辨率下局部特征图F
local
或全局特征图F
global
的宽度，H为当前空间分辨率下局部特征图F
local
或全局特征图F
global
的高度，L
local
为当前空间分辨率下局部特征图F
local
的通道深度，L
global
为当前空间分辨率下全局特征图F
global
的通道深度，双分支信息交叉融合操作具体如下：
[0011]S41、将局部特征图F
local
和全局特征图F
global
分别通过卷积操作统一尺寸为W
×
H
×
d，其中，d为局部特征图F
local
或全局特征图F
global
统一后的通道深度；
[0012]S42、线性展开局部特征图F
local
和全局特征图F
global
获取对应的向量组表示，依次记为(Q
local
,K
local
,V
local
)和(Q
global
,K
global
,V
global
)，其中，Q
local
为局部特征图F
local
的查询矩阵，K
local
为局部特征图F
local
的键矩阵，V
local
为局部特征图F
local
的值矩阵，Q
global
为全局特征图F
global
的查询矩阵，K
global
为全局特征图F
global
的键矩阵，V
global
为全局特征图F
global
的值矩阵，尺寸均为N
×
d，N＝W
×
H；
[0013]S43、计算局部特征图F
local
的交叉注意力输出F
cross
‑
local
和全局特征图F
global
的交叉注意力输出F
cross
‑
global
，尺寸均为W
×
H
×
d；
[0014]S44、将F
cross
‑
local
和F
cross
‑
global
沿通道方向堆叠，并通过残差模块获取尺寸为W
×
H
×
d的联合表示F
cross
；
[0015]S5、对不同空间分辨率的联合表示F
cross
执行多尺度特征图融合操作，获取多尺度融合特征图f
fuse
，多尺度融合特征图f
fuse
的尺寸为对应子图联合表示F
cross
的最大尺寸，记为W1×
H1×
d1；
[0016]S6、将图像对中对应子图获得的多尺度融合特征图f
fuse
之间依次进行差值、上采样和卷积变换，获取尺寸为nW1×
nH1×
2的变化检测图F
final
，其中，n为上采样的倍数。
[0017]优选地，步骤S43中，局部特征图F
local
的交叉注意力输出F
cross
‑
local
和全局特征图F
global
的交叉注意力输出F
cross
‑
global
，计算公式如下：
[0018][0019][0020]其中，softmax(
·
)为非线性映射函数，T为转置操作。
[0021]优选地，步骤S5中，多尺度特征图融合操作具体如下：
[0022]S51、在不同空间分辨率的联合表示F
cross
中按照尺寸由小到大顺序选取两种规格，记尺寸大的为低水平特征图f
low
，尺寸小的为高水平特征图f本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合局部表征和全局建模的双时遥感变化检测方法，其特征在于：所述联合局部表征和全局建模的双时遥感变化检测方法包括如下步骤：S1、获取双时遥感图像对，将图像对中的两图像分割为若干相同尺寸的子图；S2、建立对偶主干网络模型并进行预训练，所述对偶主干网络模型包括并行的CNN模型和Transformer模型；S3、采用预训练好的对偶主干网络模型对子图进行特征提取，对应获得CNN模型输出的多尺度局部特征图F
local
和Transformer模型输出的多尺度全局特征图F
global
；S4、对相同空间分辨率下的局部特征图F
local
和全局特征图F
global
执行双分支信息交叉融合操作，所述局部特征图F
local
的尺寸记为W
×
H
×
L
local
，所述全局特征图F
global
的尺寸记为W
×
H
×
L
global
，其中，W为当前空间分辨率下局部特征图F
local
或全局特征图F
global
的宽度，H为当前空间分辨率下局部特征图F
local
或全局特征图F
global
的高度，L
local
为当前空间分辨率下局部特征图F
local
的通道深度，L
global
为当前空间分辨率下全局特征图F
global
的通道深度，所述双分支信息交叉融合操作具体如下：S41、将局部特征图F
local
和全局特征图F
global
分别通过卷积操作统一尺寸为W
×
H
×
d，其中，d为局部特征图F
local
或全局特征图F
global
统一后的通道深度；S42、线性展开局部特征图F
local
和全局特征图F
global
获取对应的向量组表示，依次记为(Q
local
,K
local
,V
local
)和(Q
global
,K
global
,V
global
)，其中，Q
local
为局部特征图F
local
的查询矩阵，K
local
为局部特征图F
local
的键矩阵，V
local
为局部特征图F
local
的值矩阵，Q
global
为全局特征图F
global
的查询矩阵，K
global
为全局特征图F
global
的键矩阵，V
global
为全局特征图F
global
的值矩阵，尺寸均为N
×
d，N＝W
×
H；S43、计算局部特征图F
local
的交叉注意力输出F
cross
‑
local
和全局特征图F
global
的交叉注意力输出F
cross
‑
global
，尺寸均为W
×
H
×
d；S44、将F
cross
‑
local
和F
cross
‑
global
沿通道方向堆叠，并通过残差模块获取尺寸为W
×
H
×
d的联合表示F

【专利技术属性】
技术研发人员：郑建炜，冯宇超，蒋嘉伟，徐宏辉，秦梦洁，陈婉君，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：