本发明专利技术公开了一种基于有用信息引导的遥感影像语义分割方法、系统及设备，首先获取遥感影像数据并进行预处理，制作大范围低分辨率遥感影像的辅助图像和小范围高分辨率遥感影像的局部图像；然后对大范围低分辨率遥感影像的辅助图像进行特征提取，并进行粗分割；并筛选出辅助影像中有用信息的空间位置，并对有用信息按照类别进行语义增强；接着对小范围高分辨率遥感影像的局部图像进行特征提取；最后建立局部上下文与全局上下文的依赖关系，辅助完成最后的分割。本发明专利技术在遥感影像语义分割方面取得了较好的结果，尤其是在被截断物体的精确分割方面表现良好。
【技术实现步骤摘要】
本专利技术属于光学遥感影像语义分割，涉及一种遥感影像语义分割方法、系统及设备，具体涉及一种基于有用信息引导的高分辨率遥感影像语义分割方法、系统及设备。
技术介绍
1、遥感影像语义分割旨在根据人们感兴趣的地面信息(例如卫星图像中的建筑物、水域、植被、道路等等)对输入图像进行逐像素分类，它可以帮助人们更好的理解和使用遥感影像。然而，由于遥感影像幅宽较大，受gpu内存的限制，单景影像无法直接将其输入到深度卷积神经网络中，现有研究通常将其裁剪后再输入到网络中，然而这些方法不可避免的会损失全局的上下文信息。为了解决这一问题，现在的研究通过融合多视野(multi-field-of-view)图像，利用大视场的低分辨率图像捕获更大的空间背景和完整的物体轮廓，利用小视场的高分辨率图像可以获取更精细的局部信息。然而，经研究发现，在利用辅助图(大视场的低分辨率图像)进行融合时，若不对特征进行筛选直接将所有信息融合到分割网络中，并非所有的辅助特征图对局部分割都能起到积极的作用。造成这种现象的原因有两个，一是网络没有对辅助特征进行筛选，特征全部输入给网络引入了大量背景和干扰性信息；二是经过下采样之后的辅助图会有信息丢失，图像中的一些细节特征被弱化掉，为特征融合造成困难。
技术实现思路
1、为了解决上述问题，本专利技术提供了一种基于有用信息引导的高分辨率遥感影像语义分割方法、系统及设备。
2、本专利技术的方法所采用的技术方案是：一种基于有用信息引导的遥感影像语义分割方法，包括以下步骤：
<
p>3、步骤1：获取遥感影像数据并进行预处理，选取高分辨率遥感影像和其对应的标签数据，对该高分辨率遥感影像进行降采样制作全局辅助图像及其标签，对该高分辨率遥感影像进行裁剪制作局部图像及其标签；4、步骤2：采用全局上下文信息特征提取网络，对大范围低分辨率遥感影像的辅助图像进行特征提取，并进行粗分割；
5、步骤3：根据步骤2得到的结果，筛选出辅助影像中有用信息的空间位置；
6、步骤4：采用同类别语义增强网络，对步骤3中筛选出的有用信息按照类别进行语义增强；
7、步骤5：采用局部上下文信息特征提取网络，对小范围高分辨率的局部图像进行特征提取；
8、步骤6：采用全局-局部上下文特征交叉融合网络，建立局部上下文与全局上下文的依赖关系，辅助完成最后的分割。
9、作为优选，步骤1中，所述预处理为数据清洗，将不清晰和有云雾遮挡的影像去掉；影像裁剪，是将影像和标签裁剪为256*256大小的影像块，将其作为局部图像；影像降采样，是对全局影像进行降采样，将其作为辅助图像。
10、作为优选，步骤2中所述全局上下文信息特征提取网络，是由四个编码块和一个解码层组成；第一个编码块包含两个卷积层，卷积层后均顺序连接有归一化层和激活函数层；第二个、第三个和第四个编码块包括顺序连接的最大池化层，和两个卷积层，卷积层后均顺序连接有归一化层和激活函数层；解码块包括一个卷积层和一个上采样层。
11、作为优选，步骤3中，通过全局上下文信息提取网络得到的分割结果拆分为n个通道的one-hot图f＝{f1,f2…fn}；已知局部图像位于全局辅助图像的中间位置，寻找one-hot图里面的闭合图形依次判断每个闭合图形是否和全局图像的中间区域有交集，若无交集，则认为是干扰区域；生成一个和辅助图像同样大小的掩膜，将所有干扰区域设置为0；非干扰区域设置为1，作为有用区域；根据有用区域的空间位置，得到全局辅助图的位置掩膜mout，将其分别与原辅助图像和标签相乘，得到新的只包含有用信息的辅助图像和标签；将只包含有用信息的辅助图像重新输入全局特征编码器中进行全局特征提取。
12、作为优选，步骤4中所述同类别语义增强网络，输入步骤2中获得的包含有用信息的特征图其中，ca、ha、wa分别表示全局特征图的通道、高和宽，经过两次卷积分别得到特征图和其中n表示总类别数；通过下采样层，将只包含有用信息的全局辅助图像的标签其降采样至特征图大小，以此为基准对辅助特征图的标签进行下采样对进行监督；通过one-hot处理层、特征映射获取层和拼接层，将分类结果进行one-hot处理生成m1···mn，将mii＝[1,n]分别乘以得到每一类别的特征映射，最后将每个类别的特征映射按照顺序拼接起来，作为全局特征映射输出。
13、作为优选，步骤5中所述局部上下文信息特征提取网络，是串联设置的五个编码块和一个卷积层组成，第一个编码块包含卷积层、归一化层和激活函数层；第二个编码块包括最大池化层和卷积层；第三个编码块包括两个卷积层，每个卷积层后均连接有归一化层和激活函数层；第四个和第五个编码块均由两个最大池化层组成；最后一层是一个卷积核为1步长为1的卷积层。
14、作为优选，步骤6中，所述全局-局部上下文特征交叉融合网络，包括自注意力模块、残差连接块和交叉融合模块；根据输入的全局特征和局部特征，通过卷积核为1的卷积层分别构造对应的q、k、v，对全局特征图和局部特征图分别进行自注意力机制的处理：其中i是输出位置的索引，j枚举x中所有可能的位置，f(xi,xj)表示xi与其上下文特征xj之间的亲和矩阵，g(xj)计算j处的特征的表示，nf(x)表示归一化因子；通过一个残差连接块，得到z，以此构成一个完整的自注意力模块；在自注意力完成之后，将辅助特征层的空间特征转换为键kg和值vg，局部特征层的空间特征转换为查询ql，通过键kg、值vg和查询ql来进行交叉注意力计算：获得交叉融合后的特征hg。
15、作为优选，所述全局上下文信息特征提取网络、局部上下文信息特征提取网络和全局-局部上下文特征交叉融合网络，组成基于有用信息引导的遥感影像语义分割网络；所述基于有用信息引导的遥感影像语义分割网络是训练好的网络；训练过程中，采用主分割损失和辅助分割损失对整个网络进行训练，整个网络的损失函数可为
16、主分割损失是多类交叉熵损失；
17、
18、其中m和n分别表示观测样本数量和类别数量；观测样本i的真实类别如果等于c，则i取1，否则取0；pic表示观测样本i属于类别c的概率；yic表示样本i属于类别c的真实概率；
19、辅助分割损失由同类别特征增强损失和主损失共同组成；
20、
21、其中和均是多类交叉熵损失。
22、本专利技术的系统所采用的技术方案是：一种基于有用信息引导的遥感影像语义分割系统，包括以下模块：
23、第一模块，用于获取遥感影像数据并进行预处理，选取高分辨率遥感影像和其对应的标签数据，对该高分辨率遥感影像进行降采样制作全局辅助图像及其标签，对该高分辨率遥感影像进行裁剪制作局部图像及其标签；
24、第二模块，用于采用全局上下文信息特征提取网络，对大范围低分辨率遥感影像的辅助图像进行特征提取，并进行粗分割；
25、第三模块，用于根据第二模块得到的结果，筛选出辅助影像中有用信息的空间位置；...
【技术保护点】
1.一种基于有用信息引导的遥感影像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤1中，所述预处理为数据清洗，将不清晰和有云雾遮挡的影像去掉；影像裁剪，是将影像和标签裁剪为256*256大小的影像块，将其作为局部图像；影像降采样，是对全局影像进行降采样，将其作为辅助图像。
3.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤2的具体实现包括以下步骤：
4.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤3中，通过全局上下文信息提取网络得到的分割结果拆分为n个通道的one-hot图F＝{F1,F2…Fn}；已知局部图像位于全局辅助图像的中间位置，寻找one-hot图里面的闭合图形依次判断每个闭合图形是否和全局图像的中间区域有交集，若无交集，则认为是干扰区域；生成一个和辅助图像同样大小的掩膜，将所有干扰区域设置为0；非干扰区域设置为1，作为有用区域；根据有用区域的空间位置，得到全局辅助图的位置掩膜Mout，将其分别与原辅助图像和标签相乘，得到新的只包含有用信息的辅助图像和标签；将只包含有用信息的辅助图像重新输入全局特征编码器中进行全局特征提取。
5.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤4中所述同类别语义增强网络，输入步骤2中获得的包含有用信息的特征图其中，ca、ha、wa分别表示全局特征图的通道、高和宽，经过两次卷积分别得到特征图和其中n表示总类别数；通过下采样层，将只包含有用信息的全局辅助图像的标签其降采样至特征图大小，以此为基准对辅助特征图的标签进行下采样对进行监督；通过one-hot处理层、特征映射获取层和拼接层，将分类结果进行one-hot处理生成M1···Mn，将Mii＝[1,n]分别乘以得到每一类别的特征映射，最后将每个类别的特征映射按照顺序拼接起来，作为全局特征映射输出。
6.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤5中所述局部上下文信息特征提取网络，是串联设置的五个编码块和一个卷积层组成，第一个编码块包含卷积层、归一化层和激活函数层；第二个编码块包括最大池化层和卷积层；第三个编码块包括两个卷积层，每个卷积层后均连接有归一化层和激活函数层；第四个和第五个编码块均由两个最大池化层组成；最后一层是一个卷积核为1步长为1的卷积层。
7.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤6中，所述全局-局部上下文特征交叉融合网络，包括自注意力模块、残差连接块和交叉融合模块；根据输入的全局特征和局部特征，通过卷积核为1的卷积层分别构造对应的Q、K、V，对全局特征图和局部特征图分别进行自注意力机制的处理：其中i是输出位置的索引，j枚举x中所有可能的位置，f(xi,xj)表示xi与其上下文特征xj之间的亲和矩阵，g(xj)计算j处的特征的表示，NF(X)表示归一化因子；通过一个残差连接块，得到z，以此构成一个完整的自注意力模块；在自注意力完成之后，将辅助特征层的空间特征转换为键Kg和值Vg，局部特征层的空间特征转换为查询Ql，通过键Kg、值Vg和查询Ql来进行交叉注意力计算：获得交叉融合后的特征Hg。
8.根据权利要求1-7任意一项所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：所述全局上下文信息特征提取网络、局部上下文信息特征提取网络和全局-局部上下文特征交叉融合网络，组成基于有用信息引导的遥感影像语义分割网络；所述基于有用信息引导的遥感影像语义分割网络是训练好的网络；训练过程中，采用主分割损失和辅助分割损失对整个网络进行训练，整个网络的损失函数可为
9.一种基于有用信息引导的遥感影像语义分割系统，其特征在于，包括以下模块：
10.一种基于有用信息引导的遥感影像语义分割设备，其特征在于，包括：
...
【技术特征摘要】
1.一种基于有用信息引导的遥感影像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤1中，所述预处理为数据清洗，将不清晰和有云雾遮挡的影像去掉；影像裁剪，是将影像和标签裁剪为256*256大小的影像块，将其作为局部图像；影像降采样，是对全局影像进行降采样，将其作为辅助图像。
3.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤2的具体实现包括以下步骤：
4.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤3中，通过全局上下文信息提取网络得到的分割结果拆分为n个通道的one-hot图f＝{f1,f2…fn}；已知局部图像位于全局辅助图像的中间位置，寻找one-hot图里面的闭合图形依次判断每个闭合图形是否和全局图像的中间区域有交集，若无交集，则认为是干扰区域；生成一个和辅助图像同样大小的掩膜，将所有干扰区域设置为0；非干扰区域设置为1，作为有用区域；根据有用区域的空间位置，得到全局辅助图的位置掩膜mout，将其分别与原辅助图像和标签相乘，得到新的只包含有用信息的辅助图像和标签；将只包含有用信息的辅助图像重新输入全局特征编码器中进行全局特征提取。
5.根据权利要求1所述的基于有用信息引导的遥感影像语义分割方法，其特征在于：步骤4中所述同类别语义增强网络，输入步骤2中获得的包含有用信息的特征图其中，ca、ha、wa分别表示全局特征图的通道、高和宽，经过两次卷积分别得到特征图和其中n表示总类别数；通过下采样层，将只包含有用信息的全局辅助图像的标签其降采样至特征图大小，以此为基准对辅助特征图的标签进行下采样对进行监督；通过one-hot处理层、特征映射获取层和拼接层，将分类结果进行one-hot处理生成m1···mn，将mii＝[1,n]分别乘以得到每一类别的特征映射，最后将每个类别的特征映射按照顺序拼接起...
【专利技术属性】
技术研发人员：张莉，李治江，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。