【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于双向增强transformer和通道重加权的遥感图像变化检测方法及系统。
技术介绍
1、遥感影像分的变化检测就是从不同时期的遥感数据中，定量地分析和确定地表变化的特征与过程。高分辨率遥感图像由于不同的成像条件以及场景中物体具有复杂多样的特点，具有相同语义概念的物体在不同的时间和空间位置上可能表现出不同的光谱特征，这对变化检测任务仍具有很大挑战。为了准确识别复杂场景中的变化区域，变化检测模型需要识别场景中变化区域的高级语义信息，从复杂的无关变化区域中区分真实的变化。
2、通过利用自注意力对时空中像素对间的语义关系进行建模，可以取得较好的检测效果。2020年，北京航空航天大学的hao chen等人提出stanet，它是一种新的基于度量和时空注意力的孪生网络，将网络划分不同尺度，在每个小区域内嵌入自注意力，用于建模像素间的长距离依赖关系，使用批量平衡对比损失函数缓解样本不平衡的问题，帮助网络提取富含上下文信息的特征。但模型的计算效率很低，计算复杂度很高且随着像素的数量呈二次比例增长。
3、目前许多基于深度卷积神经网络(convolutional neural network，cnn)的变化检测方法无法有效捕获像素间长距离的依赖关系的问题，北京航空航天大学的hao chen等人在此背景下提出了双时相图像transformer(bitemporal image transformer,bit)检测算法，在变化检测任务中取得了不错的效果。但由于transformer中多头注意力
技术实现思路
1、本专利技术的目的在于克服现有技术中的不足，提供一种基于双向增强transformer和通道重加权的遥感图像变化检测方法及系统，使得双时相多光谱遥感影像的最终变化检测结果更加精确。
2、为达到上述目的，本专利技术所采用的技术方案是：一种基于双向增强transformer和通道重加权的遥感图像变化检测方法及系统，包括：
3、a、双时图像输入后，首先经过编码器。编码器由一系列的关注层构成，每个关注层由一个前馈网络和一个双向增强自注意力组成。编码器的权重是共享的，用于计算双时图像变化前后的多尺度特征。对于每个尺度i，我们能够得到两个流的特征：和
4、b、将这两个流的特征和输入到通道加权融合模块中，对其中的语义变化信息进行编码，得到不同尺度i下的特征
5、c、将这些多尺度特征输入到解码器中，在经过一系列的卷积层和转置卷积层进行特征融合后，图像空间分辨率会提高。然后将这些经过上采样的特征传递到一个预测掩膜图层，从而得到双时图像的语义二值变化图m。
6、d、在整个的训练过程中，我们使用了一种混合损失函数(dice损失函数和交叉熵损失函数)，以削弱不平衡样本的影响。通过梯度更新损失函数，在经过多轮训练后，我们可以得到最优的变化检测模型。
7、所述步骤a中的双向增强自注意力，它对标准的自注意力进行了改进。一方面，通过在水平方向和垂直方向进行挤压操作以用于全局的语义提取。另一方面，通过基于卷积的细节增强内核来增强模型对空间局部细节的感知能力。具体操作如下所述：
8、取为输入到bea的第i个阶段的编码器特征。为了在高效地维持全局感受野的同时减少计算复杂度，我们首先对稀疏因子为α的输入特征fi进行数据相关的稀疏采样操作，得到α2个特征子集在这里，稀疏因子α用来控制采样的复杂程度。特征的数据相关的稀疏空间子采样操作如下进行：
9、
10、得到稀疏采样特征之后，我们对其进行如式(1)的线性变换，得到q、k和v。此时，表示输入x，接下来，我们在水平方向上分别取特征图q，k和v的平均值，从而实现水平挤压，得到qh，kh，同样，在垂直方向上进行垂直挤压，得到qv，kv，相关公式如下：
11、
12、其中，x→(.)表示对张量x的维数进行置换，iw∈rw，ih∈rh表示所有元素都为1的向量。通过该操作，我们可以将全局信息挤压在一个轴上，从而缓解以下等式所示的全局语义提取：
13、
14、此时，压缩q，k，v所需的时间复杂度为注意力操作所需的时间复杂度为因此，相比于标准的全局自注意力操作，该操作可以将时间复杂度降为o(hiwi)。
15、此外，为了帮助模型学习输入序列中不同位置的信息，我们也引入了位置编码。在水平挤压过程中，通过引入位置编码来对qh和kh的位置信息进行学习。这些位置编码是从可学习参数中线性插值得到的。l表示一个常数。在垂直挤压过程中，我们以用同样的方式将应用于qv和kv。此时的注意力计算如下所示：
16、
17、另一方面，本专利技术也采取了一系列操作以增强模型对局部细节的感知能力。首先，将q，k和v连接起来，传入一个3×3的深度卷积核用来感知局部细节，并进行批量归一化。然后，通过带有激活函数和批量归一化的线性变换，将维度特征压缩到ci，并生成增强后的特征。最后，将增强后的特征与通过注意力机制得到的特征进行融合，从而得到完整分辨率的特征图
18、所述步骤b中的通道加权融合模块，它采用了一种新的特征融合策略。该方法通过动态加权每个阶段的信道，自适应调整特征融合过程中的权重，从而有效抑制噪声干扰，并增强语义变化显著的特征信道。
19、具体而言，我们通过特征拼接将预变化特征和后变化特征组合起来并对其进行形状转换，得到特征然后再将特征在通道维度上进行求和后，执行全局平均池化得到特征向量vi，步骤如下所示：
20、
21、其中，fc&st表示特征拼接与形状转换，cws表示通道维度求和。在得到特征向量vi后，我们将特征向量vi输入到共享的conv-relu层中，减少通道数量，再将这些减少的特征传入到单独的1×1卷积层，得到两个流和的通道权重，过程如下：
22、
23、其中，ω1，ω2和ω3表示卷积操作，和分别表示阶段i中预变化特征和后变化特征的非归一化通道重加权因子。之后，使用softmax函数对这些权重进行归一化处理，如下所示：
24、
25、其中，j表示通道索引。在通道重新加权之后，我们通过相乘与相加操作进行特征融合，并采用门控操作来生成增强后的融合特征如下所示：
26、
27、其中，表示的第一个部分，即列表中排在第一个的张量，该部分的特征分辨率最高且可以最大程度上保留输入特征中的信息。δ表示一个可学习的门控系数，范围在0到1之间，用于控制原始融合特征与重加权融合特征的最佳比例。
28、步骤c中的解码操作，具体而言，我们通过一个mlp层对每个尺度的特征的通道维度进行统一，再进行本文档来自技高网...
【技术保护点】
1.一种基于双向增强Transformer和通道重加权的遥感图像变化检测方法，其特征是，包括：
2.根据权利要求1，所述步骤a中的双向增强自注意力(BEA)，它能够通过在水平方向和垂直方向进行挤压操作以用于全局的语义提取。具体操作如下所述：
3.根据权利要求书1，所述步骤b中的通道加权融合模块(CWFM)，它能够动态加权每个阶段的信道，自适应调整特征融合过程中的权重，从而有效抑制噪声干扰，并增强语义变化显著的特征信道。
4.根据权利要求1，所述步骤c中的步骤c中的解码操作，具体而言，我们通过一个MLP层对每个尺度的特征的通道维度进行统一，再进行上采样得到Cebd表示嵌入维度。然后将这些特征传入MLP层进行拼接和融合，得到再将其进行上采样得到最后，我们使用另一个MLP层处理上采样融合的特征以预测双时图像的语义二值变化掩膜其中，Ncl的值为2，表示变化和不变两个类别。
5.根据权利要求1，所述步骤d中所使用的混合损失函数(Dice损失函数和交叉熵损失函数)，用于梯度更新，具体公式如下：
6.一种基于双向增强Transform
...【技术特征摘要】
1.一种基于双向增强transformer和通道重加权的遥感图像变化检测方法，其特征是，包括：
2.根据权利要求1，所述步骤a中的双向增强自注意力(bea)，它能够通过在水平方向和垂直方向进行挤压操作以用于全局的语义提取。具体操作如下所述：
3.根据权利要求书1，所述步骤b中的通道加权融合模块(cwfm)，它能够动态加权每个阶段的信道，自适应调整特征融合过程中的权重，从而有效抑制噪声干扰，并增强语义变化显著的特征信道。
4.根据权利要求1，所述步骤c中的步骤c中的解码操作，具体而言，我们通过一个mlp层对每个尺度的特征的通道维度进行统一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。