遥感影像困难样本挖掘方法技术

本发明专利技术公开了一种遥感影像困难样本挖掘方法，该方法预训练包括两个语义分割模型的语义分割模块，将待解译影像输入所述语义分割模块，得到第一语义分割结果和第二语义分割结果，然后通过交集计算、并集计算和交并比计算得到公共语义分割结果、全语义分割结果和交并比，最后通过比较交并比和预设IOU阈值，将交并比小于预设IOU阈值的样本记为难样本，将交并比大于预设IOU阈值的样本记为简单样本，对难样本进行人工标注，对简单样本进行人工质检，加入样本库。该方法通过两个不同的语义分割模型得到对同影像的不同语义分割结果，通过计算分割结果的交并比，来区分简单样本和困难样本。简单样本和经人工标注后的困难样本可对样本库进行扩充。本库进行扩充。本库进行扩充。

【技术实现步骤摘要】
遥感影像困难样本挖掘方法


[0001]本专利技术涉及遥感影像处理领域，具体涉及一种遥感影像困难样本挖掘方法。

技术介绍

[0002]近年来，航天技术、传感器技术、控制技术、电子技术、计算机技术及通讯技术的发展，大大推动了遥感技术的发展。各种运行于太空中的遥感平台多尺度、多层次、多角度、多谱段地对地球进行着连续观测，各种先进的对地观测系统源源不断地向地面提供着丰富的数据源。如何从海量遥感数据中及时、准确地获取所需信息并加以利用，是当前亟待解决的问题之一。遥感影像解译技术随着遥感技术的发展应运而生。传感器获取的数据必须经过处理和解译才能成为有用的信息。面对不断丰富的各种类型的海量遥感影像数据，如何实现对遥感影像进行快速、准确的解译成为遥感技术应用的关键。与普通图像相比，遥感影像有背景比较复杂、目标特征不完整等问题，容易对解译造成干扰。
[0003]遥感解译经历了从人工解译到半自动解译的进程，正在向全智能化解译的方向发展。基于深度学习的解译方法具有较大的优势，无需人工干预，能够自动进行端到端的特征提取和解译，基于深度学习的解译已成为目前遥感领域重点的发展方向之一。深度学习需要大量的训练样本来提高模型的泛化能力，缓解过拟合现象。然而根据多项实验表明，在一定的训练样本基数支持下，单纯继续增加训练样本的数量并不会提升模型的性能，有的时候反而会导致模型性能的下降。选择训练样本时需要考虑到样本的均衡性和多样性。

技术实现思路

[0004]本专利技术提出一种遥感影像困难样本挖掘方法，通过两个不同的语义分割模型得到对相同影像的不同语义分割结果，通过计算分割结果的交并比，以IOU阈值来区分简单样本和困难样本，实现对困难样本的挖掘。简单样本和经人工标注后的困难样本可用于对样本库进行扩充。此外，本专利技术所采用的其中一个分割模型采用帧场技术提升分割结果的轮廓精度，能够大大提升建构筑物的解译精度，从而确保最终获得的简单样本可经过人工质检后直接入库，经人工标注的困难样本能够有效提高样本库的均衡性和多样性，解决目标特征不完整的问题。
[0005]为实现上述技术目的，本专利技术的技术方案如下：
[0006]一种遥感影像困难样本挖掘方法，该方法包括以下步骤：
[0007]S1对遥感样本库进行采样，将采样得到的样本划分为训练集和测试集；
[0008]S2使用所述训练集和所述测试集训练语义分割模块，所述语义分割模块包括第一语义分割模型和第二语义分割模型；
[0009]S3将待解译影像输入所述语义分割模块，所述第一语义分割模型输出第一语义分割结果，所述第二语义分割模型输出第二语义分割结果；
[0010]S4对所述第一语义分割结果和所述第二语义分割结果进行交集计算、并集计算和交并比计算，得到公共分割结果、全分割结果和交并比；
[0011]S5将所述交并比与预设IOU阈值进行比较，根据比较结果确认简单样本和难样本；
[0012]S6对所述难样本进行人工标注，对所述简单样本进行人工质检，将所述难样本和所述简单样本加入所述遥感样本库。
[0013]进一步地，步骤S1中，对遥感样本库进行采样，包括：
[0014]设定样本基数，根据样本基数设定相似度阈值；
[0015]计算所述待解译影像与所述遥感样本库中样本的相似度，所述相似度包括纹理结构相似度、梯度结构相似度和边缘结构相似度；
[0016]在所述遥感样本库中选取相似度大于相似度阈值的样本；
[0017]在所述相似度大于相似度阈值的样本中选取样本基数个样本。
[0018]进一步地，所述第一语义分割模型，包括：
[0019]第一语义分割网络，输出一个像素分割图，所述像素分割图包括两个通道，分别对应内部标签和边界标签，所述第一语义分割网络为U
‑
Net或D
‑
LinkNet；
[0020]帧场网络，根据所述像素分割图输出一个帧场，所述帧场包括四个通道，分别对应两个复系数和复数；
[0021]帧场后处理网络，根据活动轮廓模型方法对所述像素分割图的轮廓进行优化，使其与帧场一致。
[0022]进一步地，所述第二语义分割模型，包括：
[0023]第二语义分割网络，所述第二语义分割网络为变分自编码器VAE或VQ
‑
VAE或VQ
‑
VAE
‑
2或β
‑
VAE。
[0024]进一步地，步骤S2中，使用所述训练集和所述测试集训练语义分割模块，包括：
[0025]训练集的监督信息包括目标内部标签和目标边界标签；
[0026]训练所使用的损失函数包括分割损失、帧场损失、输出耦合损失、最终损失。
[0027]可选地，步骤S3中，第一语义分割结果为轮廓经过优化的像素分割图，以矢量形式保存；第二语义分割结果为像素分割图，以矢量形式保存。
[0028]可选地，步骤S3，还包括：将待解译影像进行裁切。
[0029]可选地，步骤S4，包括：
[0030][0031][0032][0033]其中，i为语义分割结果的序号，M1为第一语义分割结果，M2为第二语义分割结果，S
inter
为公共分割结果，S
union
为全分割结果。
[0034]可选地，步骤S5中，预设IOU阈值包括IOU上阈值和IOU下阈值：
[0035]将所述交并比小于IOU下阈值的第二语义分割结果记为难样本；
[0036]将所述交并比大于IOU上阈值的第一语义分割结果记为简单样本。
[0037]本专利技术提出了一种遥感影像困难样本挖掘方法，首先对遥感样本库进行采样，得到最佳训练样本数据，使用训练样本数据训练语义分割模块，所述语义分割模块包括两个语义分割模型，其中一个语义分割模型使用帧场学习技术提升语义分割结果轮廓的精度。
接着使用训练好的语义分割模块对待解译影像进行分割，得到两个语义分割结果，计算两个语义分割结果间的交集、并集和交并比，根据交并比大小得到两个语义分割结果的相似性，最后通过比较交并比和预设IOU阈值，得到简单样本和难样本，对简单样本进行人工质检，对难样本进行人工标注，将最终得到的简单样本和难样本放入遥感样本库。本专利技术的有益效果为：
[0038](1)提出了一种新的通过计算语义分割结果的交并比实现遥感影像困难样本挖掘的方法；
[0039](2)通过挖掘的困难样本扩充样本库，改善训练阶段样本失衡的问题，训练过程中增加困难样本的数量，使目标特征较少、特征不完整的困难样本得到充分训练；
[0040](3)通过帧场学习有效提升语义分割中建构筑物轮廓的分割精度，进而提高了困难样本的挖掘精度。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感影像困难样本挖掘方法，其特征在于，包括如下步骤：S1 对遥感样本库进行采样，将采样得到的样本划分为训练集和测试集；S2 使用所述训练集和所述测试集训练语义分割模块，所述语义分割模块包括第一语义分割模型和第二语义分割模型；S3 将待解译影像输入所述语义分割模块，所述第一语义分割模型输出第一语义分割结果，所述第二语义分割模型输出第二语义分割结果；S4 对所述第一语义分割结果和所述第二语义分割结果进行交集计算、并集计算和交并比计算，得到公共分割结果、全分割结果和交并比；S5 将所述交并比与预设IOU阈值进行比较，根据比较结果确认简单样本和难样本；S6 对所述难样本进行人工标注，对所述简单样本进行人工质检，将所述难样本和所述简单样本加入所述遥感样本库。2.根据权利要求1所述的遥感影像困难样本挖掘方法，其特征在于，步骤S1中，对遥感样本库进行采样，包括：设定样本基数，根据样本基数设定相似度阈值；计算所述待解译影像与所述遥感样本库中样本的相似度，所述相似度包括纹理结构相似度、梯度结构相似度和边缘结构相似度；在所述遥感样本库中选取相似度大于相似度阈值的样本；在所述相似度大于相似度阈值的样本中选取样本基数个样本。3.根据权利要求1所述的遥感影像困难样本挖掘方法，其特征在于，所述第一语义分割模型，包括：第一语义分割网络，输出一个像素分割图，所述像素分割图包括两个通道，分别对应内部标签和边界标签，所述第一语义分割网络为U
‑
Net或D
‑
LinkNet；帧场网络，根据所述像素分割图输出一个帧场，所述帧场包括四个通道，分别...

【专利技术属性】
技术研发人员：陈婷，王婷，彭哲，邹圣兵，
申请(专利权)人：北京数慧时空信息技术有限公司，
类型：发明
国别省市：