【技术实现步骤摘要】
本专利技术属于遥感和计算机视觉领域，尤其是指一种基于信息交互与融合的孪生变化检测方法。
技术介绍
1、近年来随着遥感技术的不断发展，利用卫星遥感来观测地球，可以根据地表的状态以及变化信息实现对自然资源的合理开发及利用，从而以更宏观的角度来实现对地球的保护，促进人与自然和谐相处。同时，很多研究者也开始利用遥感影像对地表进行监测，其中，基于遥感图像的变化检测技术已在多个领域得到广泛应用，尤其是用于重大自然灾害的监测任务。该技术能够在防灾、减灾以及救灾的工作中对自然灾害进行监测、评估并辅助决策，同时可以利用监测区域的变化情况进行灾害评估，并为后续灾害的防范治理提供一定支持。因此，研究基于遥感图像的变化检测技术具有重要作用，是灾害分析及救援方案制定中不可或缺的一种技术手段。
2、在变化检测的萌芽阶段，对遥感图像进行变化检测大都是基于传统的方式，传统的方式大致可以分为：基于代数的方法、基于特征的方法以及基于分类后比较的方法。基于代数的方法简单且易于操作，能对变化区域做出快速反应。基于特征的变化检测方法首先需要对多种图像特征进行选择，然后将选择后的图像特征进行特征变换以及融合，最后再实现变化检测任务。基于分类后比较的方法不同于基于代数的方法以及基于特征的方法，此种方法的优势在于不仅可以检测某个地区发生了变化(或者未发生变化)，同时还可以识别变化的类别。
3、虽然以上基于传统方式的变化检测算法在一定程度上促进了变化检测任务的发展，且取得了良好的性能。但是，随着人工智能和深度学习的快速发展，利用深度学习技术对图像进行变化
4、于是，为了提取较为精细的深度特征，使网络具有更好的鲁棒性和泛化能力，很多研究者们针对不同的任务提出了大量的基于深度学习的变化检测网络，且取得了良好的效果。在这些方法中，无论是基于全卷积网络、孪生网络还是gan的变化检测网络都存在一些局限性：(1)基于对称结构的全卷积网络通过设计不同的特征融合方式旨在提取更多信息。其中，daudt等人使用简单的跳跃连接机制对中间特征进行操作，peng等人使用不同的注意力机制将深度特征图与特征差图进行融合，虽然这些方法取得了一定的效果，但是通过简单的融合方式并不能得到精细的变化特征，且会引入一定的噪声。(2)基于unet的孪生变化检测网络通过设计不同的监督方式旨在提高网络性能。其中，zhan等人利用对比学习思想对网络的最后输出进行监督，虽然取得了令人满意的效果，却忽略了对中间特征进行有效监督，这就导致网络丢失了中间特征的部分信息。(3)gong等人通过将gan网络与变化检测任务相结合实现了良好的网络性能，但这些网络缺乏对不同时刻特征对之间关系的考虑和建模，而建模特征对之间的关系是得到更加精细变化图的重要因素之一。因此，如何有效提取和融合不同时刻的特征以及对这些特征进行更好的约束是我们需要认真思考的问题，也是变化检测任务所面临的挑战。
技术实现思路
1、本专利技术提供了一种基于信息交互与融合的孪生变化检测方法，以解决当前大多数网络仅通过简单的融合方式处理变化特征、缺乏对不同时刻特征对之间的关系建模以及忽略对中间特征的有效监督而导致网络性能不佳的问题，旨在得到更精细的区域变化图。
2、本专利技术采取的技术方案是，包括下列步骤：
3、(1)向模型读入一对不同时刻的遥感图像t1和t2；
4、(2)分别使用3×3卷积获得输入图像t1和t2的浅层特征x1和x2；
5、(3)在网络的孪生编码阶段，孪生双分支网络使用四个下采样层实现浅层特征x1和x2的下采样操作，并分别得到尺度大小为1/2、1/4和1/8的输出编码特征，其中，每一个下采样层包含卷积、批归一化以及relu操作；
6、(4)在网络的孪生解码阶段，孪生双分支网络使用三个上采样层对尺度为1/8的输出编码特征进行上采样，并分别得到尺度大小为1/4、1/2和1的输出解码特征，为了避免重要信息的丢失，对每一个输出解码特征均使用特征信息交互模块，其利用空间注意力机制建模局部特征的上下文信息，同时增强特征之间的相互依赖，对某些具有特定语义的特征表示赋予更大的权重，更好地区分变化区域；随后，使用特征对融合模块得到孪生分支的细腻变化信息；最后，添加多尺度对比学习模块度量不同尺度特征对之间的距离，让不变的负样本尽可能靠近，将发生变化的正样本相互远离，从而更容易地区分不同的变化对；
7、(5)网络总损失函数
8、为了利用更多的图像对特征信息得到更加精准的变化检测结果，设计了以下损失约束特征：
9、
10、其中，表示多尺度对比学习的监督方式，表示对最终变化特征的约束，用公式(8)、(9)表示：
11、
12、其中，表示在像素位置(h,w)处的变化特征，yhw是真实标签，是交叉熵损失函数；对于变化特征的约束，采用基于多尺度的训练策略，在解码阶段对不同尺度的特征进行此种约束可以使网络性能得到提升，最终得到更加精细的变化信息；
13、(6)对于输入图像对t1和t2，通过步骤(5)对模型进行优化，得到更加精细的变化图，实现变化检测任务。
14、本专利技术所述步骤(3)中卷积使用的卷积核大小为3×3。
15、本专利技术所述步骤(4)中特征信息交互模块首先对输入特征f进行转置操作transpose，其中，输入特征c为特征通道数、h和w分别为特征的高和宽，之后，该模块将转置后的特征、其尺度大小为c×h×w与变换操作reshape后的特征c×h×w进行矩阵相乘，再经过softmax操作就能得到空间注意力关系图之后，该模块使用点乘的方式将得到的空间注意力关系图作用于经过变换操作后的特征上，得到具有空间关联信息的特征，并将其处理为c×h×w大小的特征，为了弥补此过程中可能造成的特征信息丢失问题，其还使用了残差连接的方式将具有空间信息的特征与原始输入信息进行融合，实现更好的特征提取，得到最终的输出特征fs，其过程用如下公式表示：
16、
17、其中，fi和fj分别表示不同位置的特征向量，n为特征数量，λ是由网络自动优化得到的参数，通过此计算过程，可以得到不同位置向量之间的关联程度，即：两个特征之间的关联程度越强，ms的值就越大。
18、本专利技术所述步骤(4)中特征对融合模块分为上下两个分支，上分支i为求差分支，下分支ii为求和分支，求差分支有两个输入其分别是不同时刻提取的遥感图像特征，然后使用三个并行的卷积和relu操作对输入特征做进一步处理，其中卷积核的大小为3×3，步长为2，同时，为了使输出特征的信息更加丰富，在提取特征阶段，此模块使用多个残差连接操作对特征进行融合，此外，为了生成精细的变化区域，还使用求差的方式对两个特征进行处理，最后经过一个卷积、批归一化处理以及relu操作就能得到上分支的输出本文档来自技高网...
【技术保护点】
1.一种基于信息交互与融合的孪生变化检测方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的一种基于信息交互与融合的孪生变化检测方法，其特征在于：所述步骤(3)中卷积使用的卷积核大小为3×3。
3.根据权利要求1所述的一种基于信息交互与融合的孪生变化检测方法，其特征在于：所述步骤(4)中特征信息交互模块首先对输入特征f进行转置操作transpose，其中，输入特征C为特征通道数、H和W分别为特征的高和宽，之后，该模块将转置后的特征、其尺度大小为C×H×W与变换操作reshape后的特征C×H×W进行矩阵相乘，再经过softmax操作就能得到空间注意力关系图之后，该模块使用点乘的方式将得到的空间注意力关系图作用于经过变换操作后的特征上，得到具有空间关联信息的特征，并将其处理为C×H×W大小的特征，为了弥补此过程中可能造成的特征信息丢失问题，其还使用了残差连接的方式将具有空间信息的特征与原始输入信息进行融合，实现更好的特征提取，得到最终的输出特征fs，其过程用如下公式表示：
4.根据权利要求1所述的一种基于信息交互与融合的孪生变化检测方法，其
5.根据权利要求1所述的一种基于信息交互与融合的孪生变化检测方法，其特征在于：所述步骤(4)中多尺度对比学习模块在多个尺度的特征空间中，让未发生变化的像素对彼此接近，而变化的像素对彼此远离，其为了给不同的类别分配不同的距离度量值，从而更容易地区分不同的变化对，将同一位置上的变化区域定义为变化对即正样本，将不同图像对同一位置上的不变区域定义为不变对即负样本，从而可以让不变的负样本尽可能靠近，将发生变化的正样本相互远离，首先，此模块的输入为经过特征信息交互模块处理后的特征对为了使网络更好地区分变化区域的信息，加快收敛速度，对于正样本，它们之间的距离值应大于一个边界值θ(θ>0)，且只有当正样本间的距离在这个θ值的范围内时，改变的像素对才会对损失函数产生影响，对于负样本，它们之间的距离值应小于一个边界值ε(ε>0)，且只有当负样本间的距离在这个ε值的范围内时，未改变的像素对才会对损失函数产生影响，其完整过程用公式(3)-(5)表示，解码阶段的多尺度对比学习损失函数可以定义为公式(6)；
...【技术特征摘要】
1.一种基于信息交互与融合的孪生变化检测方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的一种基于信息交互与融合的孪生变化检测方法，其特征在于：所述步骤(3)中卷积使用的卷积核大小为3×3。
3.根据权利要求1所述的一种基于信息交互与融合的孪生变化检测方法，其特征在于：所述步骤(4)中特征信息交互模块首先对输入特征f进行转置操作transpose，其中，输入特征c为特征通道数、h和w分别为特征的高和宽，之后，该模块将转置后的特征、其尺度大小为c×h×w与变换操作reshape后的特征c×h×w进行矩阵相乘，再经过softmax操作就能得到空间注意力关系图之后，该模块使用点乘的方式将得到的空间注意力关系图作用于经过变换操作后的特征上，得到具有空间关联信息的特征，并将其处理为c×h×w大小的特征，为了弥补此过程中可能造成的特征信息丢失问题，其还使用了残差连接的方式将具有空间信息的特征与原始输入信息进行融合，实现更好的特征提取，得到最终的输出特征fs，其过程用如下公式表示：
4.根据权利要求1所述的一种基于信息交互与融合的孪生变化检测方法，其特征在于：所述步骤(4)中特征对融合模块分为上下两个分支，上分支i为求差分支，下分支ii为求和分支，求差分支有两个输入其分别是不同时刻提取的遥感图像特征，然后使用三个并行的卷积和relu操作对输入特征做进一步处理，其中卷积核的大小为3×3，步长为2，同时，为了使输出特征的信息更加丰富，在提取特征阶段，此模块使用多个残差连接操作对特征进行融合...
【专利技术属性】
技术研发人员：张燕妮，杨磊，朱立才，周彩根，
申请(专利权)人：盐城师范学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。