【技术实现步骤摘要】
本专利技术属于气象检测，具体地，涉及一种基于序列信息挖掘的遥感图像序列云检测方法及系统。
技术介绍
1、遥感图像中云的出现遮挡了云层之下的地面区域，卫星遥感数据的应用常常受到云覆盖的干扰。云检测可以确定遥感图像中的云的覆盖范围与位置，帮助去除云干扰，高精度的云检测方法对遥感图像的应用具有重要的意义。
2、目前，常见的云检测方法可以分为基于物理特征的方法、基于机器学习的方法与基于深度学习的方法。其中，基于物理特征的方法主要通过设定通道数值阈值、提取图像特征等简单方式进行，云检测精度不足；基于机器学习的方法依赖于人工选择的特征，难以保证特征的有效性，无法实现高精度的云检测；基于深度学习的方法能够基于数据量较大的训练集学习数据特征，其效果是更为先进的。
3、在计算机视觉领域，云检测问题可以被看作是二分类的语义分割问题，因此，在基于深度学习的云检测方法中，语义分割方法常被用于云检测方法。然而，一方面，与自然场景图像不同，遥感图像有着通道数量较多，图像尺寸较大的特点，需要有效的特征提取方法。另一方面，与视频语义分割类似，遥感图像序列能够提供丰富的序列信息，而现有研究大部分基于单张遥感图像进行云检测，很少对在时序上前序的遥感图像序列进行序列信息挖掘，也没有充分地考虑时序序列特点进行特征提取。
4、综上，现有云检测方法的主要不足在于：一、云检测精度不足，现有方法没有充分考虑遥感图像特点，云检测效果不佳；二、对遥感图像序列信息挖掘不充分，大部分方法只基于当前时刻的图像进行云检测，对前序图像信息的利用不够有效。
技术实现思路
1、针对上述问题，本专利技术提出了一种基于序列信息挖掘的遥感图像序列云检测方法及系统，使用细节信息模块实现下采样与细节特征提取，使用上下文信息模块，对遥感图像序列中不同时刻的图像进行不同的特征提取操作，使用memory模块，衡量前序图像序列中各图像特征图的重要性。
2、本专利技术通过以下技术方案实现：
3、一种基于序列信息挖掘的遥感图像序列云检测系统：
4、所述检测系统包括输入模块、模型编码器和解码器；
5、所述输入模块输入长度为4的遥感图像序列，所述遥感图像序列包括前序图像和检测图像；
6、所述模型编码器包括4个细节信息模块、上下文信息模块和memory模块；所述细节信息模块用于进行图像特征提取；所述上下文信息模块用于上下文信息提取，对图像进行全局信息的补充；所述memory模块通过前序图像特征图对当前特征图进行特征补充与增强；
7、所述解码器将经过4次卷积与上采样的操作进行尺寸恢复，最终使得输出图像为与输入图像尺寸一致的图像。
8、进一步的，所述输入模块输入为长度为4的遥感图像序列，按时序依次为、、、，分别记为，为当前时刻；
9、其中需要进行云检测的图像为时刻图像，其余图像做为前序图像；
10、所述前序图像用于提取图像序列信息，提高当前图像的云检测效果。
11、进一步的，输入的遥感图像序列的每张图像尺寸为，其中和表示输入图像的高度和宽度，表示图像通道数；
12、遥感图像首先进入模型编码器，每张图像都经过连续的4个细节信息模块进行特征提取。
13、进一步的，每个细节信息提取模块均包括三个子模块，分别为一个常规卷积模块与两个cbam模块，
14、其中常规卷积模块步长为2，对输入特征图进行2倍的下采样；而cbam模块基于通道注意力机制与空间注意力机制进行特征提取，不改变特征图尺寸；
15、三个子模块提取的特征图在通道维度拼接起来，作为一个细节信息模块的输出；
16、经过4个细节信息模块后，此时特征图序列包括4张特征图，每张图像的高度和宽度均为原输入的1/16，通道数在特征提取模块中经过调整，为。
17、进一步的，所述上下文信息模块包括平均池化及上采样分支、空洞卷积分支和可形变卷积；特征图序列输入至上下文信息模块，进行上下文信息提取；
18、前序图像特征图将分别经过平均池化及上采样分支以及空洞卷积两个分支，所经过的空洞卷积膨胀率分别为18、12、6，对应空洞卷积的感受野从大到小；所得结果在通道维度拼接起来，分别得到，；
19、需要进行云检测的图像为时刻图像经过平均池化及上采样分支以及可形变卷积，所得结果在通道维度拼接起来，得到；
20、平均池化及上采样分支进行平均池化与上采样操作，负责提取的整体信息，而可形变卷积分支负责提取的局部上下文信息。
21、进一步的，经过上下文信息模块后，此时特征图序列包括4张特征图，特征图序列将进入memory模块，在此处，前序图像特征图将对当前特征图进行特征补充与增强；所述memory模块分为memory计算模块与memory读取模块；
22、其中，memory计算模块的输入为特征图序列，序列中所有特征图都将由两个常规卷积分别计算得到特征与特征，对应的输出为；
23、memory计算模块的全部输出作为memory读取模块的全部输入，其中，首先相加，得到，经过全局平均池化操作与一个全连接后，分别经过三个全连接分支，每个全连接分支包括一个全连接和一个softmax操作；
24、这三个全连接分支的输出结果，将分别与进行相乘，为不同的赋予权重，赋权后的三个结果相加，得到；随后，与当前图像对应的相乘，得到；
25、前序图像对应的则首先在通道维度拼接，并经过一个常规卷积调整通道数，所得结果与相乘，得到，再与当前图像对应的相加，得到memory模块的最终输出。
26、即模型编码器对遥感图像序列的序列信息挖掘与特征提取，得到输出特征图为。
27、进一步的，在模型的解码器中，的尺寸需要恢复到输入图像尺寸，并且通道数需要调整为类别数；
28、在解码器中将经过4次卷积与上采样的操作，每次上采样为2倍，这样一步步地恢复尺寸，考虑到在编码器特征提取的过程当中，步长为2的常规卷积实现的下采样带来了图像细节信息的损失，因此编码器中4个细节信息模块的输出都将跳跃连接到解码器中，与解码器中每一个即将进行上采样操作的特征图在通道维度进行拼接；完成解码器所有操作后，解码器的输出也是整个模型的输出，为当前图像对应的云掩膜。
29、一种基于序列信息挖掘的遥感图像序列云检测方法：
30、所述方法具体包括以下步骤：
31、步骤1，输入长度为4的遥感图像序列，所述遥感图像序列包括前序图像和检测图像；
32、步骤2，将步骤1输入的遥感图像序列经过4个细节信息模块进行图像特征提取；
33、步骤3，步骤2输出的图像数据输入至上下文信息模块，进行上下文信息提取，对图像进行全局信息的补充；
34、步骤4，经过步骤3提取后的数据输入memory模块，通过前序图像特征图对当前特征图进行特征补充与增强；
35、步骤5，本文档来自技高网...
【技术保护点】
1.一种基于序列信息挖掘的遥感图像序列云检测系统，其特征在于：
2.根据权利要求1所述系统，其特征在于：
3.根据权利要求2所述系统，其特征在于：
4.根据权利要求3所述系统，其特征在于：
5.根据权利要求4所述系统，其特征在于：
6.根据权利要求5所述系统，其特征在于：
7.根据权利要求6所述系统，其特征在于：
8.一种基于序列信息挖掘的遥感图像序列云检测方法，其特征在于：
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8中所述方法的步骤。
10.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求8中所述方法的步骤。
【技术特征摘要】
1.一种基于序列信息挖掘的遥感图像序列云检测系统，其特征在于：
2.根据权利要求1所述系统，其特征在于：
3.根据权利要求2所述系统，其特征在于：
4.根据权利要求3所述系统，其特征在于：
5.根据权利要求4所述系统，其特征在于：
6.根据权利要求5所述系统，其特征在于：
7.根据权利要求6所述系统，其...
【专利技术属性】
技术研发人员：叶允明，李旭涛，全映菱，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。