【技术实现步骤摘要】
本专利技术属于计算机视觉与深度学习，具体涉及一种基于深度学习的遥感图像泛化小样本分割方法。
技术介绍
1、随着遥感技术的快速发展，人们获得的遥感图像数据量显著增加，大量遥感图像中蕴含的信息亟待充分挖掘和利用。遥感图像分割是提取信息的重要手段之一，其目的是通过赋予图像每个像素一个标签来获取具有语义信息的区域划分。遥感图像分割被广泛应用于土地规划、环境保护、灾害监测等领域。目前遥感图像分割的主流方法都基于深度学习。监督的深度学习网络需要大量带标签的训练样本，而获取足够多的训练样本耗时费力。与计算机相比，人类通常能够利用先验知识，只通过几个甚至一个标记样本快速识别新事物。使机器像人类一样，利用现有信息和极少的标注样本快速分割图像是小样本分割的目标。
2、由于现有小样本分割方法都假定任务数据集和辅助数据集的类别集合完全不同，而现实常常会遇到两者类别有重合的情况。
3、现有的泛化小样本分割(gfss)方法大都没有考虑类别占比不均衡的问题，有个别文献对此提出了解决方案，在2023年的cvpr会议上被发表的一篇关于使用正交原型进行广义少样本语义分割研究的论文，该论文针对训练样本类别不均衡问题，提出了一种按照类别对训练数据重采样的方法，但是该方法要求训练数据中每幅图像只有前景和背景两类，这种假设在遥感图像中通常是不成立的。同时，现有的gfss方法都没有考虑数据存在域间差异的情况，所以在遥感图像分割任务中通常难以取得好的结果。
4、通过实验发现，现有的gfss方法直接应用于遥感图像分割存在三个问题，导致其泛化性
技术实现思路
1、本专利技术所要解决的技术问题在于克服现有技术的缺点，提供一种分割精度高、泛化能力强的遥感图像泛化小样本分割方法。
2、解决上述技术问题所采用的技术方案是：一种遥感图像泛化小样本分割方法，包括以下步骤：
3、步骤1.数据增强
4、选取两个来源不同且类别有差异的遥感图像数据集，其中一个遥感图像数据集经过手动对样本分割且样本均有标记，样本数量＞1000个，作为辅助数据集zau，另一个遥感图像数据集中样本数量＞1000个，其中有n个样本有标记，1≤n≤10，n为正整数，其余样本没有标记，作为任务数据集zta，将辅助数据集zau和任务数据集zta中的n个标记样本作为模型的训练数据集，对任务数据集zta中的n个标记样本使用沿损失函数梯度上升的方法生成更多样且难分的增强样本，选择任务数据集zta中占比小的类别对应的区域对辅助数据集zau图像样本中相应区域进行覆盖，得到经过类别覆盖的辅助数据集zau图像样本；
5、步骤2.构建遥感图像分割模型
6、遥感图像分割模型由超像素提取模块、域无关特征学习模块、图网络模块依次相连构成，超像素提取模块用于提取输入遥感图像的超像素的特征，域无关特征学习模块用于向超像素的特征中添加域无关特征，图网络模块用于根据域无关特征得到遥感图像的预测标签；
7、所述超像素提取模块提取遥感图像的超像素特征的方法为：
8、步骤a1.使用slic算法对所有遥感图像进行分割，每张遥感图像生成r个超像素ri，i＝1,2,…,r，对于带标签的遥感图像，通过标签确保一个超像素中所有像素对应于同一个标签，使用卷积神经网络提取遥感图像的特征图，将特征图上采样到原始图像的大小，对超像素ri对应的特征图进行平均，得到超像素ri的初始特征向量hi；
9、步骤a2.应用自注意力机制更新超像素的特征，得到超像素更新后的特征，使遥感图像分割模型在处理每个超像素时考虑到其他超像素的特征，从而捕获全局上下文信息；
10、所述图网络模块根据域无关特征得到遥感图像的预测标签的方法为：
11、步骤b1.使用图模型建模超像素间的关系，每个超像素视为一个节点，节点特征是经过域无关学习得到的特征，按照下式得到节点间的边权重aij，表示两个节点的相似度；
12、
13、式中，hi是节点i的特征，hj是节点j的特征，σ是尺度因子；
14、步骤b2.构建并训练尺度因子网络来确定尺度因子，该尺度因子网络根据节点特征学习得到对应于每个特征的尺度因子，将得到的尺度因子应用到图模型中，提高未标记节点的标签预测精度；
15、步骤b3.根据节点间的边权重构建邻接矩阵，使用标签传播算法按照下式将标签由标记样本传给未标记样本；
16、
17、式中，是领接矩阵，r为实数空间，l为节点总数，α是控制传播信息量的参数，ft是第t次迭代后的标签矩阵，y是初始标签矩阵；
18、步骤b4.对于在标签传播过程中仍未获得标签的节点，使用基于距离度量的分类器来预测其类别标签；
19、步骤b5.为所有超像素分配标签后，将超像素级别的标签映射回原始图像的像素级别，得到图像的预测标签；
20、步骤3.训练遥感图像分割模型
21、训练包括预训练阶段和训练阶段；
22、在预训练阶段，使用交叉熵损失加上dice损失构成的第一损失函数和辅助数据集zau训练模型来初始化参数；
23、在训练阶段，使用由分割损失和域损失构成的综合损失函数作为训练阶段的损失函数，使用步骤1得到的增强样本和经过类别覆盖的辅助数据集zau图像样本训练模型；
24、步骤4.模型训练完成后，将任务数据集zta输入模型，得到样本图像的分割结果，包括未标记样本图像的分割结果。
25、作为一种优选的技术方案，所述步骤1中通过沿损失函数梯度上升的方法生成更多样且难分的增强样本，用下式表示：
26、
27、式中，it为在第t次迭代中的增强样本，∈为控制样本更新的步长，为损失函数l相对于增强样本it的梯度，y是增强样本的真实标签，sign(·)为函数返回其输入的符号。
28、作为一种优选的技术方案，所述步骤a2中自注意力机制按照下式更新超像素的特征；
29、
30、式中，是经过自注意力更新后的特征矩阵，wq，wk和wv是自注意力学习的参数，d是特征的维度，h是由所有超像素原始特征向量拼接成的特征矩阵，t为转置符号。
31、作为一种优选的技术方案，所述步骤2中域无关特征学习模块由输入层、依次相连的第一全连接层、第二全连接层、第三层全连接层、非线性激活层、加法器、输出层组成，输入层用于接本文档来自技高网...
【技术保护点】
1.一种遥感图像泛化小样本分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤1中通过沿损失函数梯度上升的方法生成更多样且难分的增强样本，用下式表示：
3.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤A2中自注意力机制按照下式更新超像素的特征；
4.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤2中域无关特征学习模块由输入层、依次相连的第一全连接层、第二全连接层、第三层全连接层、非线性激活层、加法器、输出层组成，输入层用于接收超像素更新后的特征，输入层有两个输出端，一输出端与加法器相连，另一输出端与第一全连接层相连，所述非线性激活层为ReLU激活层。
5.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤B4中，对于在标签传播过程中仍未获得标签的节点，使用基于距离度量的分类器来预测其类别的具体步骤为：
6.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤3中预训练阶段第一损失函数LS为：p>
7.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤3中训练阶段的综合损失函数L为：
8.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤B2中尺度因子网络由两层相同的全连接层和一层激活层依次相连构成。
9.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤2中超像素提取模块包括一个卷积神经网络、一层自注意力层，卷积神经网络的输出端接自注意力层的输入端。
...【技术特征摘要】
1.一种遥感图像泛化小样本分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤1中通过沿损失函数梯度上升的方法生成更多样且难分的增强样本，用下式表示：
3.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤a2中自注意力机制按照下式更新超像素的特征；
4.根据权利要求1所述遥感图像泛化小样本分割方法，其特征在于，所述步骤2中域无关特征学习模块由输入层、依次相连的第一全连接层、第二全连接层、第三层全连接层、非线性激活层、加法器、输出层组成，输入层用于接收超像素更新后的特征，输入层有两个输出端，一输出端与加法器相连，另一输出端与第一全连接层相连，所述非线性激活层为relu激活层。
5.根据权利要...
【专利技术属性】
技术研发人员：汪西莉，陈杰虎，洪灵，马君亮，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。