基于注意力机制的多尺度输入输出的建筑物变化检测方法技术

本发明专利技术公开了一种高分辨率遥感影像建筑物变化检测方法，包括以下步骤：首先收集数据，然后对数据进行处理，再对处理完的数据建立数据集，读取数据并进行数据增强，搭建网络模型并训练，最后将测试图像输入网络得到建筑物变化检测结果图。本发明专利技术以孪生Unet为基础，添加多尺度输入模块和多尺度输出模块，增加对建筑特征信息的利用，并添加注意力模块，增强对小目标建筑的检测能力，提高网络的检测精度。实验表明，本算法相比一些先进的算法而言，具有更高的检测精度和F1值，并在建筑边缘的细节变化信息利用上更为强大。化信息利用上更为强大。化信息利用上更为强大。

【技术实现步骤摘要】
基于注意力机制的多尺度输入输出的建筑物变化检测方法


[0001]本专利技术涉及遥感图像变化检测
，尤其涉及基于注意力机制的多尺度输入输出的建筑物变化检测方法。

技术介绍

[0002]目前，在对遥感影像的建筑物进行变化检测时，大多是依靠专业人员的经验和专业知识，人工的确定建筑物变化的位置和类别，这种方法会耗费大量的人力物力和时间。而且，在遥感影像中，会有着大量的无关信息的干扰，比如光谱、纹理，光照、传感模块拍摄角度等因素，这些无关信息会对建筑物的检测造成干扰，使建筑物出现遮盖、形状差异等问题。这就需要对数据进行预处理，比如辐射校正、几何校正、图像配准、去云雾等操作，这会花费大量的时间，并且难免存在人工误差，这使得建筑物变化检测变得困难，很难满足我们的实际需要，因此，对建筑物的智能化检测已经越来越迫切，它对城市管理、土地资源利用、灾后重建等有着重大意义。
[0003]变化检测是指对同一地理位置在不同时间观察它的状态差异的过程，建筑物作为主要的研究对象，它的变化主要包括新增、重建和拆毁。现有的建筑变化检测方法可以分为传统的方法和基于深度学习的方法。传统的方法检测建筑变化的流程一般分为：1)收集数据；2)对图像数据进行预处理，包括图像配准、几何校正、辐射校正等；3)采用图像回归、图像差分或者变化向量分析等方法获得变化检测图。传统的方法比较依赖特征的构建，容易受到不同信息的干扰，比如噪声、图像配准等。而且传统的方法构建的特征只能拟合相对简单的建筑，对复杂的抽象的建筑特征拟合困难，容易产生漏检和误检。
[0004]近年来，随着深度学习的发展，它已经被广泛应用在变化检测上，并且许多研究证明，在特征提取方面，基于深度学习的变化检测方法优于传统方法，深度学习具有强大的建模和学习能力，并且检测速度快，通过建立一系列的模型如FCN、SegNet、UNet等来对图像进行特征提取和端到端的变化检测，为遥感图像的建筑物变化检测提供了新途径。
[0005]然而，随着遥感影像的分辨率越来越高，所包含的信息越来越复杂，如植被、土地等。它们会干扰建筑物检测。尤其是在建筑物的边缘，由于某些信息丢失，很难检测到边缘细节的变化，并且容易遗漏小目标建筑，比如FC
‑
Siam
‑
conc、Siam_Unet、DTCDSCN等。

技术实现思路

[0006]本专利技术的目的是提供基于注意力机制的多尺度输入输出的建筑物变化检测方法，能够加强网络对变化建筑物的检测能力，提高检测精度。
[0007]本专利技术采用的技术方案为：
[0008]基于注意力机制的多尺度输入输出的建筑物变化检测方法，包括如下步骤：
[0009]步骤(1)：收集数据：收集公开的高分辨率遥感影像建筑物变化检测数据集；
[0010]步骤(2)：数据处理并搭建：对第一步收集到的数据集进行预处理，把处理后的数据集作为新的数据集，用来训练和测试网络模型；
[0011]步骤(3)：读取数据集中的图像数据，并对其进行数据增强；
[0012]步骤(4)：搭建网络，对增强后的图像数据进行训练；具体包括：搭建基于注意力的多尺度输入输出网络AMIO
‑
Net，该网络包括：
[0013]孪生编码模块，所述的孪生编码模块由两支相同结构构成，每支均包含五个编码块，每一个编码块由两层卷积、两层批归一化层、两层激活函数构成，用于提取双时相图像的特征；
[0014]多尺度输入模块，所述的多尺度输入模块通过下采样将图像缩减到不同大小，并通过卷积提取特征，再通过轻量化注意力过滤背景信息，增强对原始图像建筑边缘信息的利用，再将其输入到对应的编码块中；
[0015]解码模块，所述的解码模块由四个解码块组成，每一个由通道拼接、两层卷积、两层批归一化层、两层激活函数和一层Dropout层组成，用来融合特征并通过解码上采样输出变化图；
[0016]多尺度输出模块，所述多尺度输出模块由多个上采样组成，与解码模块对应构成并行分支结构，用来扩展特征图，并结合浅层和深层特征信息，加强对上下文信息的利用；
[0017]孪生注意力模块；所述的孪生注意力模块在解码模块分支和多尺度输出分支后，加强利用全局上下文语义特征，增强对小目标的检测能力；
[0018]在多尺度输入模块中，输入图像通过下采样缩小到不同尺度后，输入到卷积层和轻量化注意力模块后，得到输出的特征图，该特征图被输入到卷积编码块中进行后续处理；相对应的两个卷积编码块输出的特征图被拼接，卷积编码块输出的特征图经过金字塔池化注意力模块后，再进行拼接，拼接后的特征图输入到解码块中；
[0019]步骤(5)：通过测试样本输出变化检测图:用数据集中的测试集进行变化检测，得到输出变化建筑图像。
[0020]第一步：收集数据，包括：收集公开数据集LEVIR
‑
CD，图像大小为1024
×
1024像素，分为训练集、验证集和测试集，每个子集中又包含变化前图像，变化后图像以及标签图像三个文件夹。
[0021]第二步：数据处理并搭建数据集，具体包括：对每个图像进行裁剪，将其大小变为256
×
256像素，然后删减不包含变化建筑的标签图像及其对应的变化前后图像，再将每个删减处理后的数据集随机分为训练集、验证集和测试集，训练集、验证集和测试集按照7：1：2的比例来划分。
[0022]第三步：读取数据并进行数据增强，读取数据集后对图像进行数据增强，数据增强方法包括：水平翻转、垂直旋转、逆时针旋转270
°
、逆时针旋转180
°
、逆时针旋转90
°
。
[0023]所述步骤4中训练过程具体如下：
[0024]4.1，在多尺度输入部分，通过下采样操作将原输入图像缩减为原始尺度的1/2、1/4、1/8和1/16，并通过卷积和轻量化注意力操作将其输送到孪生编码模块网络中以提取特征；
[0025]4.2，孪生编码模块输出十个特征图，拼接相应的特征图，最终得到五个输出特征图；
[0026]4.3，将第五个特征图输入到金字塔池化注意力模块挖掘深度代表性建筑特征后，通过上采样将其扩充到原来的两倍，并将其与第四个输出特征图在通道维度上拼连起来；
[0027]4.4，然后我们将其输入卷积层以提取特征，再通过批量归一化层(BN)和ReLu层加速网络训练；
[0028]4.5，每个解码块后通过dropout层，增强网络的泛化能力；
[0029]4.6，在四次这样的循环操作之后，获得解码输出分支的特征图；
[0030]4.7，不同大小的解码特征图被扩展到与原输入图像相同的尺度，
[0031]4.8，最后将解码输出的特征图与多尺度输出的特征图输入到孪生注意力模块中，过滤背景信息，进行上下文信息的利用，
[0032]4.9，再通过1
×
1大小的卷积输出最终的建筑变化检测图。...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的多尺度输入输出的建筑物变化检测方法，其特征在于：包括如下步骤：步骤(1)：收集数据：收集公开的高分辨率遥感影像建筑物变化检测数据集；步骤（2）：数据处理并搭建：对第一步收集到的数据集进行预处理，把处理后的数据集作为新的数据集，用来训练和测试网络模型；步骤（3）：读取数据集中的图像数据，并对其进行数据增强；步骤（4）：搭建网络，对增强后的图像数据进行训练；具体包括：搭建基于注意力的多尺度输入输出网络AMIO
‑
Net，该网络包括：孪生编码模块，所述的孪生编码模块由两支相同结构构成，每支均包含五个编码块，每一个编码块由两层卷积、两层批归一化层、两层激活函数构成，用于提取双时相图像的特征；多尺度输入模块，所述的多尺度输入模块通过下采样将图像缩减到不同大小，并通过卷积提取特征，再通过轻量化注意力过滤背景信息，增强对原始图像建筑边缘信息的利用，再将其输入到对应的编码块中；解码模块，所述的解码模块由四个解码块组成，每一个由通道拼接、两层卷积、两层批归一化层、两层激活函数和一层Dropout层组成，用来融合特征并通过解码上采样输出变化图；多尺度输出模块，所述多尺度输出模块由多个上采样组成，与解码模块对应构成并行分支结构，用来扩展特征图，并结合浅层和深层特征信息，加强对上下文信息的利用；孪生注意力模块；所述的孪生注意力模块在解码模块分支和多尺度输出分支后，加强利用全局上下文语义特征，增强对小目标的检测能力；在多尺度输入模块中，输入图像通过下采样缩小到不同尺度后，输入到卷积层和轻量化注意力模块后，得到输出的特征图，该特征图被输入到卷积编码块中进行后续处理；相对应的两个卷积编码块输出的特征图被拼接，卷积编码块输出的特征图经过金字塔池化注意力模块后，再进行拼接，拼接后的特征图输入到解码块中；步骤（5）：通过测试样本输出变化检测图:用数据集中的测试集进行变化检测，得到输出变化建筑图像。2.根据权利要求1所述的基于注意力机制的多尺度输入输出的建筑物变化检测方法，其特征在于，第一步：收集数据，包括：收集公开数据集LEVIR
‑
CD，图像大小为1024
×
1024像素，分为训练集、验证集和测试集，每个子集中又包含变化前图像，变化后图像以及标签图像三个文件夹。3.根据权利要求2所述的基于注意力机制的多尺度输入输出的建筑物变化检测方法，其特征在于，第二步：数据处理并搭建数据集，具体包括：对每个图像进行裁剪，将其大小变为256
×
256像素，然后删减不包含变化建筑的标签图像及其对应的变化前后图像，再将每个删减处理后的数据集随机分为训练集、验证集和测试集，训练集、验证集和测试集按照7：1：2的比例来划分。4.根据权利要求3所述的基于注意力机制的多尺度输入输出的建筑物变化检测方法，其特征在于，第三步：读取数据并进行数据增强，读取数据集后对图像进行数据增强，数据增强方法包括：水平翻转、垂直旋转、逆时针旋转270
°
、逆时针旋转180
°
、逆时针旋转90
°
。
5.根据权利要求4所述的基于注意力机制的多尺度输入输出的建筑物变化检测方法，其特征在于，所述步骤...

【专利技术属性】
技术研发人员：韩现伟，孙宇，张一民，高伟，赵春喜，
申请(专利权)人：河南大学，
类型：发明
国别省市：