基于动态自注意力Transformer的面向对象土地利用信息解译方法技术

本发明专利技术提供了一种基于动态自注意力Transformer的面向对象土地利用信息解译方法，包括如下步骤：数据获取；数据预处理；建立分类体系；对象掩码制作；人工标注；样本制作；数据集切分；构建网络模型；超参数设置；数据增强；模型训练；验证分析。本发明专利技术的目的是提供一种面向对象的地震灾后土地利用信息解译的方法，设计出了基于动态自注意力机制的视觉Transformer，可在减少Transformer计算复杂度的同时充分利用其优异的全局感知能力，负责扩大感受野、建立上下文依赖和全局建模，以实现高分遥感影像的土地利用信息的解译。高分遥感影像的土地利用信息的解译。高分遥感影像的土地利用信息的解译。

【技术实现步骤摘要】
基于动态自注意力Transformer的面向对象土地利用信息解译方法


[0001]本专利技术涉及面向对象的遥感影像语义分割
，尤其涉及一种基于动态自注意力Transformer的面向对象土地利用信息解译方法。

技术介绍

[0002]近年来随着深度学习方法的迅速发展，各项计算机视觉任务(如图像分类、语义分割、目标检测)的性能得到显著的提升，极大推动了遥感影像解译技术的扩展，特别在高分辨遥感影像领域。
[0003]现有的基于深度学习的遥感影像语义分割网络(如FCN、UNet、DeepLab等)主要为全卷积架构，卷积神经网络虽然能够学习图像中丰富的局部空间特征，如边缘和纹理，但也存在着缺乏上下文长期依赖、感受野受限等一些弊端。但近年由于来Transformer优异的全局感知能力，逐渐在自然语言处理、计算机视觉等多项任务中完成对卷积神经网络超越。Transformer最初应用在自然语言处理邻域，该方法主要应用了自注意力(Self
‑
Attention，SA)机制，能捕捕获句子中单词之间的全局交互，而不同于卷积神经网络的局部感知。鉴于Transformer在自然语言处理邻域的优异表现，该方法逐渐被迁移到计算机视觉任务中。但由于Transformer的SA机制，Transformer的内存消耗量与计算量与输入影像大小呈二次方的关系，极大限制了Transformer在计算机视觉领域的应用。
[0004]综合上述分析可知，现有的方法存在计算复杂度高且信息解译效果不佳的问题。
专利技术内容
[0005]本专利技术提出一种基于动态自注意力Transformer的面向对象土地利用信息解译方法，用于解决或者至少部分解决现有技术中存在的计算复杂度高且信息解译效果不佳的技术问题。
[0006]为了解决上述技术问题，本专利技术提供了一种基于动态自注意力Transformer的面向对象土地利用信息解译方法，包括：
[0007]S1：获取地震灾区所在区域的矢量边界以及高分辨率遥感影像，根据地震灾区所在区域的矢量边界以及高分辨率遥感影像获得样本图，并划分得到训练集；
[0008]S2：构建基于动态自注意力Transformer的面向对象土地利用信息解译模型，其中，该信息解译模型包括Backbone模块、Neck模块以及Head模块，Backbone模块为卷积神经网络特征提取模块，用于提取影像的纹理和边界，为三维局部特征；Neck模块为视觉Transformer特征提取模块，基于动态自注意力机制构建视觉Transformer，用于建立视觉特征的全局信息和长期依赖；Head模块为图Transformer节点聚合模块，通过构建图Transformer以聚合图节点并生成对象类别预测结果，对象类别预测结果作为面向对象土地利用信息解译结果；
[0009]S3：利用划分得到的训练集对信息解译模型进行训练，并进行超参数的设置，将得
到的最优模型作为训练好的信息解译模型；
[0010]S4：利用训练好的信息解译模型对面向对象土地利用信息进行解译。
[0011]在一种实施方式中，步骤S1中根据地震灾区所在区域的矢量边界以及高分辨率遥感影像获得样本，包括：
[0012]对获取的矢量边界以及高分辨率遥感影像，进行预处理；
[0013]根据灾区高分辨率遥感影像的目视解译结果以及国家相关土地利用分类标准，建立研究区域土地分类体系；
[0014]对预处理后的高分辨率遥感影像进行超像素分割，生成对象掩码；
[0015]根据建立好的研究区域土地分类体系，对高分辨率遥感影像以及对应的对象掩码进行人工标注，生成研究区域GT；
[0016]根据研究区域土地类型分布情况与网络模型需要，选取最佳切割尺度，将大幅高分辨率遥感影像拆分成不重叠的样本图，并生成样本图对应的对象掩码、对象类别以及GT。
[0017]在一种实施方式中，所述方法还包括：按照预设比例对样本图进行划分，得到训练集、验证集和测试集。
[0018]在一种实施方式中，步骤S2中Backbone模块包括两个卷积层、一个池化层、两个卷积层和一个池化层。
[0019]在一种实施方式中，步骤S2中Neck模块的计算过程包括；
[0020]将Backbone模块的三维局部特征在空间维度进行展开，转换成为二维序列；
[0021]将二维序列输入构建的视觉Transformer中，对二维序列进行升序排序，得到新的序列；
[0022]对新的序列进行线性变换得到视觉Transformer自注意力机制的查询向量，分别进行一维卷积得到视觉Transformer自注意力机制的被查向量和内容向量；
[0023]对视觉Transformer自注意力机制的查询向量、被查向量和内容向量进行注意力与残差操作、归一化处理后得到信息聚合结果；
[0024]对信息聚合结果进行前馈神经网络计算与残差操作、归一化处理，得到归一化后的信息聚合结果；
[0025]将归一化后的信息聚合结果重新调整为原来的位置。
[0026]在一种实施方式中，步骤S3中Head模块的计算过程包括；
[0027]将对象平均特征作为输入，分别经过三次线性变化后得到图Transformer自注意力机制的查询向量、被查向量以及内容向量，其中每个对象为一个节点；
[0028]对图Transformer自注意力机制的查询向量、被查向量以及内容向量进行注意力与残差操作，进行各节点特征信息的聚合，得到聚合节点信息；
[0029]对聚合后的节点信息进行前馈神经网络计算与残差操作、归一化处理，得到归一化后的聚合节点信息；
[0030]对归一化处理后的聚合节点信息进行线性变换和规范化处理，将特征维度转化为分类类别数，得到节点的分类概率。
[0031]在一种实施方式中，在步骤S1之后，所述方法还包括：对样本图中包含的遥感影像的各波段进行归一化，以及在训练集中对样本影像和对象掩码进行随机翻转、随机旋转操作。
[0032]在一种实施方式中，所述方法还包括：在训练过程中对信息解译模型在训练集上验证各项评价指标分析模型的精度和泛化能力；在测试集中进行模型预测，与真实GT进行对比。
[0033]本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
[0034]本专利技术提供的一种基于动态自注意力Transformer的面向对象土地利用信息解译方法，构建了基于动态自注意力Transformer的面向对象土地利用信息解译模型，该模型包括Backbone模块、Neck模块以及Head模块，Neck模块基于动态自注意力机制构建视觉Transformer，可以建立视觉特征的全局信息和长期依赖，并对三维视觉特征在空间维展开，成二维序列，作排序处理，打乱原有的空间位置，使得具有相似特征的像素点排列在一起。二维序列将被分为若干个不重叠组，各组组内像素点则被聚合成一个点，由于组内像素点的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于动态自注意力Transformer的面向对象土地利用信息解译方法，其特征在于，包括：S1：获取地震灾区所在区域的矢量边界以及高分辨率遥感影像，根据地震灾区所在区域的矢量边界以及高分辨率遥感影像获得样本图，并划分得到训练集；S2：构建基于动态自注意力Transformer的面向对象土地利用信息解译模型，其中，该信息解译模型包括Backbone模块、Neck模块以及Head模块，Backbone模块为卷积神经网络特征提取模块，用于提取影像的纹理和边界，为三维局部特征；Neck模块为视觉Transformer特征提取模块，基于动态自注意力机制构建视觉Transformer，用于建立视觉特征的全局信息和长期依赖；Head模块为图Transformer节点聚合模块，通过构建图Transformer以聚合图节点并生成对象类别预测结果，对象类别预测结果作为面向对象土地利用信息解译结果；S3：利用划分得到的训练集对信息解译模型进行训练，并进行超参数的设置，将得到的最优模型作为训练好的信息解译模型；S4：利用训练好的信息解译模型对面向对象土地利用信息进行解译。2.如权利要求1所述的方法，其特征在于，步骤S1中根据地震灾区所在区域的矢量边界以及高分辨率遥感影像获得样本，包括：对获取的矢量边界以及高分辨率遥感影像，进行预处理；根据灾区高分辨率遥感影像的目视解译结果以及国家相关土地利用分类标准，建立研究区域土地分类体系；对预处理后的高分辨率遥感影像进行超像素分割，生成对象掩码；根据建立好的研究区域土地分类体系，对高分辨率遥感影像以及对应的对象掩码进行人工标注，生成研究区域GT；根据研究区域土地类型分布情况与网络模型需要，选取最佳切割尺度，将大幅高分辨率遥感影像拆分成不重叠的样本图，并生成样本图对应的对象掩码、对象类别以及GT。3.如权利要求2所述的方法，其特征在于，所述方法还包括：按照预设比例对样本图进行划分，得到训练集、验证集和测试集。4.如权利要求1所述的方...

【专利技术属性】
技术研发人员：崔巍，夏聪，王锦，郝元洁，李解，吴伟杰，王梓溦，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：