【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及识别多个图像之间的差异。在一个可能的实施方式中，本专利技术的一些实施例可以用于通过识别目标或环境的多个图像之间的差异来识别所述目标或环境随时间的变化。
技术介绍
1、在图像分析的许多领域中，不仅希望孤立地分析图像，而且希望识别多个相似或链接的图像之间的差异，以获得不能从简单地单独分析每个图像中获得的附加信息。例如，识别在不同时间步长捕获的同一对象的一系列图像中的变化可以向图像的所有者提供关于图像的对象如何随时间变化的信息。这可以在许多
中找到应用，其中一个是对从由一颗或多颗卫星获取的数据生成的图像进行环境分析。在其他情况下，可以使用一系列不同的技术来收集相同的类似图像，例如，可以使用不同波长的成像信号来捕获图像，以捕获光学图像、雷达图像、微波图像、红外图像、uv发射图像或x射线图像中的一者或多者。这些图像之间的差异可以提供关于成像对象的属性的信息，诸如密度、化学成分、折射率，和/或诸如吸收和/或反射系数的光谱属性。
2、当试图识别多个图像之间的差异时，要考虑两种类型的分辨率。首先，可能希望解析每个图像内的特征，这可以被认为类似于空间分辨率。附加地或替代地，可能希望解析图像之间的变化，这可以被认为类似于时间分辨率。同时实现高空间分辨率和高时间分辨率导致非常大的存储器要求。因此，用于识别具有高时空分辨率要求的多个图像之间的差异的方法可能在所需的存储器存储量和实现该方法所需的处理时间量方面对用户的计算资源施加不适当的负担。
3、下文描述的实施例不限于解决上文描述的已知方法的任何或所有缺点的实
技术实现思路
1、提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。该
技术实现思路
不旨在识别所要求保护的主题的关键特征或必要特征；有助于本专利技术的工作和/或用于实现基本上类似的技术效果的变型和替代特征应当被认为落入本专利技术的范围内。
2、本专利技术由所附权利要求书中所述限定。
3、在一般意义上，本公开提供了一种使用与卷积长短期记忆“convlstm”网络连接的卷积神经网络(cnn)编码器的系统来识别多个图像上的变化的方法。以这种方式，本文提出的方法和系统实现了一种在降低存储器要求的同时具有单独图像内的高分辨率和不同图像之间的高分辨率的变化识别方法。
4、convlstm网络在本领域中是公知的，并且在xingjian shi等人所著的《降水短时预报的机器学习方法(a machine learning approach for precipitation nowcasting)》28(nips2015)isbn:9781510825024，以及elsayed等人所著的《不同激活函数对无监督卷积lstm时空学习的影响(effects of different activation functions for unsupervisedconvolutional lstm spatiotemporal learning)》，《科学技术与工程系统进展(advancesin science technology and engineering systems journal)》2019年4月中描述了实例。
5、在第一方面，提供了一种用于识别多个图像上的一个或多个变化的计算机实现的方法，该方法包括以下步骤：在卷积神经网络(cnn)编码器处接收cnn输入数据，该cnn输入数据包括与多个图像中的每一个的每个像素相关联的数据；通过cnn编码器传播cnn输入数据以生成多个特征图，其中每个特征图包括根据特征分类方案对多个图像中的相应图像的每个像素的特征分类，其中特征分类方案由cnn编码器基于训练数据生成；在convlstm网络处接收包括由cnn编码器生成的多个特征图的convlstm输入数据；通过convlstm网络传播convlstm输入数据以生成变化图，其中变化图包括指示多个图像上的一个或多个变化的变化数据。
6、以这种方式，可以基于变化图来识别多个图像上的一个或多个变化。
7、在另一方面，提供了一种计算系统，该计算系统被配置成通过实施本文描述的任何方法来识别多个图像上的一个或多个变化，该系统包括：卷积神经网络(cnn)编码器，其被配置成在cnn编码器的输入处接收包括与多个图像相关联的数据的cnn输入数据，以及通过cnn编码器传播cnn输入数据以生成多个特征图，其中每个特征图包括根据特征分类方案对多个图像中的相应图像的每个像素的特征分类，其中特征分类方案包括多个分类并且由cnn编码器基于训练数据生成；convlstm网络；以及cnn编码器和convlstm网络之间的数据连接链路，其中convlstm网络被配置成：在convlstm网络的输入处经由数据连接链路接收包括由cnn编码器生成的多个特征图的convlstm输入数据，以及通过convlstm网络传播convlstm输入数据以生成变化图，其中变化图包括指示多个图像上的一个或多个变化的变化数据。
8、换句话说，计算系统可以被配置成实现本文描述的任何方法。在一些实施例中，计算系统可以包含在一个计算装置内，例如作为计算机可执行指令存储在计算机可读介质上以由处理器执行。
9、在另一方面，提供了一种训练本文描述的任何计算网络和/或系统的方法。该方法包括：提供包括分别表示第一特征分类和第二特征分类的数据的训练数据；基于表示第二特征分类的数据和cnn编码器的输出对cnn编码器进行预训练，以生成初步图；以及基于表示第一特征分类的数据和convlstm网络的输出来训练cnn编码器和convlstm网络两者，其中训练的cnn编码器被配置成根据特征分类方案来生成多个特征图，并且训练的convlstm网络被配置成生成变化图。
10、在另一方面，提供了一种包括处理器的装置，该处理器被配置成执行本文描述的任何方法。处理器可以配备有本文描述的任何计算网络和/或系统的部件。
11、在另一方面，提供了一种包括指令的计算机程序产品，当程序由计算机执行时，该指令使计算机执行本文所述的任何方法。
12、在另一方面，提供了一种包括指令的计算机可读介质，该指令在由计算机执行时使计算机执行本文描述的任何方法。
13、本文描述的方法可以由有形存储介质上的机器可读形式的软件来执行，例如以包括计算机程序代码装置的计算机程序的形式，当程序在计算机上运行时，该计算机程序代码装置适于执行本文描述的任一方法的所有步骤，并且其中计算机程序可以在计算机可读介质上体现。有形(或非暂时性)存储介质的实例包括碟片、拇指驱动器、存储卡等，并且不包括传播信号。软件可以适合于在并行处理器或串行处理器上执行，使得这些方法步骤可以以任何合适的次序执行或同时执行。
14、本申请承认固件和软件可以是有价值的、可单独交易的商品。旨在涵盖在“哑”或标准硬件上运行或控制“哑”或标准硬件以执行期望功能的软件。还旨在涵盖“描述”或定义硬件配置的软件，诸如如用于设计硅芯片，或用于本文档来自技高网...
【技术保护点】
1.一种用于识别多个图像上的一个或多个变化的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，其中所述变化数据包括指示所述多个图像上的所述一个或多个变化的程度的定量数据。
3.根据权利要求1或2所述的计算机实现的方法，其中所述变化数据包括所述多个图像中的所选图像的每个像素的变化分类，
4.根据权利要求3所述的计算机实现的方法，其中所述变化分类是二元分类。
5.根据任一前述权利要求所述的计算机实现的方法，还包括：
6.根据任一前述权利要求所述的计算机实现的方法，其中所述CNN输入数据包括指示与所述多个图像中的每一个的所述像素中的每一个相关联的一个或多个幅度值的幅度数据。
7.根据任一前述权利要求所述的计算机实现的方法，其中所述特征分类方案是二元分类方案，所述二元分类方案被配置成将所识别的对象分类为属于第一特征分类或第二特征分类。
8.根据权利要求7所述的计算机实现的方法，其中用于训练所述神经网络的所述训练数据包括表示所述第一特征分类和所述第二特征分类的数据，并且其中所述训练
9.根据权利要求8所述的计算机实现的方法，其中所述特征分类方案是通过训练所述CNN编码器生成的，其中训练所述CNN编码器包括：
10.根据任一前述权利要求所述的计算机实现的方法，其中通过所述CNN编码器传播所述CNN输入数据以生成所述多个特征图包括压缩所述CNN输入数据。
11.根据任一前述权利要求所述的计算机实现的方法，其中所述CNN输入数据还包括指示所述多个图像的每个图像的每个像素的相应相位值的相位数据，并且其中通过其相应的特征图对每个图像的每个像素的特征分类至少部分地基于所述相位数据。
12.根据任一前述权利要求所述的计算机实现的方法，其中所述ConvLSTM输入数据还包括指示所述多个图像中的每个图像的每个像素的相应相位值的相位数据，并且其中通过所述ConvLSTM网络传播所述ConvLSTM输入数据包括：
13.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个是分别在不同时间成像的共同目标的图像，使得识别所述多个图像上的一个或多个差异等同于识别所述对象随时间的一个或多个变化。
14.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像包括连续图像，并且所述方法还包括：
15.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个与其他图像中的每一个是相干的。
16.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个是10平方公里或更大、50平方公里或更大、100平方公里或更大、1000平方公里或更大、5000平方公里或更大，或10000平方公里或更大的面积的图像。
17.根据权利要求14所述的计算机实现的方法，其中所述变化图被配置成解析尺寸为50米或更小、10米或更小、5米或更小，或者1米或更小的空间特征。
18.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个是地理区域的图像，并且所述特征分类方案包括：
19.根据权利要求18所述的计算机实现的方法，其中
20.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个由合成孔径雷达成像生成。
21.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个是从由卫星获取的数据生成的。
22.根据权利要求21所述的计算机实现的方法，其中所述图像中的每一个从由低地球轨道上的卫星获取的数据生成。
23.一种计算系统，所述计算系统被配置成通过实施前述权利要求中任一项所述的方法来识别多个图像上的一个或多个变化，所述系统包括：
24.根据权利要求23所述的计算系统，还包括所述CNN编码器的所述输入与所述ConvLSTM网络的所述输入之间的跳跃连接，其中所述系统被配置成：
25.一种训练根据权利要求23或24所述的计算网络的方法，所述方法包括：
26.根据权利要求25所述的方法，其中表示所述第一特征分类的所述数据相对于表示所述第二特征分类的所述数据是稀缺的。
27.根据权利要求25或26所述的方法，其中，在训练所述计算网络的步骤期间，冻结所述CNN编码器的权重，使得预训练的CNN编码器和所述训练的CNN编码器被配置有相同的权重。
28.根据权利要求25或26所述的方法，其...
【技术特征摘要】
【国外来华专利技术】
1.一种用于识别多个图像上的一个或多个变化的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，其中所述变化数据包括指示所述多个图像上的所述一个或多个变化的程度的定量数据。
3.根据权利要求1或2所述的计算机实现的方法，其中所述变化数据包括所述多个图像中的所选图像的每个像素的变化分类，
4.根据权利要求3所述的计算机实现的方法，其中所述变化分类是二元分类。
5.根据任一前述权利要求所述的计算机实现的方法，还包括：
6.根据任一前述权利要求所述的计算机实现的方法，其中所述cnn输入数据包括指示与所述多个图像中的每一个的所述像素中的每一个相关联的一个或多个幅度值的幅度数据。
7.根据任一前述权利要求所述的计算机实现的方法，其中所述特征分类方案是二元分类方案，所述二元分类方案被配置成将所识别的对象分类为属于第一特征分类或第二特征分类。
8.根据权利要求7所述的计算机实现的方法，其中用于训练所述神经网络的所述训练数据包括表示所述第一特征分类和所述第二特征分类的数据，并且其中所述训练数据中表示所述第一特征分类的所述数据相对于表示所述第二特征分类的所述数据是稀缺的。
9.根据权利要求8所述的计算机实现的方法，其中所述特征分类方案是通过训练所述cnn编码器生成的，其中训练所述cnn编码器包括：
10.根据任一前述权利要求所述的计算机实现的方法，其中通过所述cnn编码器传播所述cnn输入数据以生成所述多个特征图包括压缩所述cnn输入数据。
11.根据任一前述权利要求所述的计算机实现的方法，其中所述cnn输入数据还包括指示所述多个图像的每个图像的每个像素的相应相位值的相位数据，并且其中通过其相应的特征图对每个图像的每个像素的特征分类至少部分地基于所述相位数据。
12.根据任一前述权利要求所述的计算机实现的方法，其中所述convlstm输入数据还包括指示所述多个图像中的每个图像的每个像素的相应相位值的相位数据，并且其中通过所述convlstm网络传播所述convlstm输入数据包括：
13.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个是分别在不同时间成像的共同目标的图像，使得识别所述多个图像上的一个或多个差异等同于识别所述对象随时间的一个或多个变化。
14.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像包括连续图像，并且所述方法还包括：
15.根据任一前述权利要求所述的计算机实现的方法，其中所述多个图像中的每一个与其他...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。