公开了用于处理图像时间序列的方法，包括标识图像时间序列的查询帧的多个临近帧和一个参考帧；得到该查询帧的短程时间表示；得到该查询帧的长程时间表示；以及基于该查询帧的该短程时间表示和该长程时间表示得到该查询帧的增强表示。还公开了相应的系统、装置和计算机可读存储介质。算机可读存储介质。算机可读存储介质。
【技术实现步骤摘要】
处理图像时间序列的方法、系统、装置和介质
[0001]本申请涉及图像处理，尤其涉及处理图像时间序列的方法、系统、装置和介质。
技术介绍
[0002]目前，对图像的语义分割已经被广泛实现，例如自动驾驶、医学成像、工业检测等等。图像语义分割是指为图像中的像素赋予标签，而对图像时间序列的语义分割是指为序列中的多个图像(例如全部图像)中的像素赋予标签。此外，对图像时间序列(例如视频)的语义分割模型也已经被开发出来。然而，现有的对图像时间序列的语义分割模型通常依赖于对序列中的每个图像的像素级标注，这需要消耗大量的人力等资源。此外，模型的表现也有待改进，尤其是在遥感影像时间序列等场景中更是如此。
[0003]因此，需要能够改进对图像时间序列的处理的方案。
技术实现思路
[0004]本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。
[0005]在一个方面中，提供了一种用于处理图像时间序列的方法，包括：标识所述图像时间序列的查询帧的多个临近帧和一个参考帧；基于所述查询帧和所述多个临近帧得到所述查询帧的短程时间表示；基于所述查询帧的所述短程时间表示和所述参考帧得到所述查询帧的长程时间表示；以及基于所述查询帧的所述短程时间表示和所述长程时间表示得到所述查询帧的增强表示。
[0006]优选地，所述图像时间序列为遥感影像时间序列。
[0007]优选地，基于所述查询帧和所述多个临近帧得到所述查询帧的短程时间表示包括：使用视觉主干网络对所述查询帧和所述多个临近帧执行特征提取以得到其视觉特征；以及使用时空Transformer模块基于所述查询帧和所述多个临近帧的视觉特征得到所述查询帧的短程时间表示。
[0008]优选地，所述查询帧和所述多个临近帧中的每个帧具有不同步长的多个特征图，其中所述时空Transformer模块包括分别与步长对应的时空Transformer单元。
[0009]优选地，使用时空Transformer模块基于所述查询帧和所述多个临近帧的视觉特征得到所述查询帧的短程时间表示包括：对于每个步长，堆叠来自每个帧的特征；使用时空Transformer单元处理对应步长的特征；在来自所述时空Transformer单元的多个输出中仅上采样查询帧的特征到相同尺度；以及将经上采样的特征执行拼接以获得所述查询帧的短程时间表示。
[0010]优选地，每个时空Transformer单元包括3D窗口多头自注意力机制、混合前馈网络以及两个层归一化层。
[0011]优选地，基于所述查询帧的所述短程时间表示和所述参考帧得到所述查询帧的长程时间表示包括：对所述参考帧执行特征提取以得到其像素表示；使用共享的对象
‑
上下文表示模块来分别从所述查询帧的所述短程时间表示和所述参考帧的所述像素表示得到所
述查询帧和所述参考帧的类别级表示；以及至少部分地基于所述查询帧的所述短程时间表示和所述参考帧的所述类别级表示构建多头自注意力机制的输入，以得到所述查询帧的长程时间表示。
[0012]优选地，至少部分地基于所述查询帧的所述短程时间表示和所述参考帧的所述类别级表示构建多头自注意力机制的输入包括：使用所述查询帧的所述短程时间表示作为所述多头自注意力机制的查询，使用全局类别表示和所述参考帧的所述类别级表示的拼接作为所述多头自注意力机制的键和值。
[0013]优选地，所述全局类别表示是为每个类别维护的可学习的聚类中心集合。
[0014]优选地，所述方法进一步包括：将所述查询帧的所述增强表示输入到语义分割头，以对所述查询帧执行语义分割。
[0015]在另一方面，还公开了一种对遥感影像时间序列执行语义分割的方法，包括：对于所述遥感影像时间序列中待处理的查询帧，标识所述查询帧的多个临近帧和一个参考帧；基于所述查询帧和所述多个临近帧得到所述查询帧的短程时间表示；基于所述查询帧的所述短程时间表示和所述参考帧得到所述查询帧的长程时间表示；基于所述查询帧的所述短程时间表示和所述长程时间表示得到所述查询帧的增强表示；以及使用语义分割头对所述查询帧的所述增强表示执行语义分割。
[0016]优选地，所述方法进一步包括：对所述参考帧执行特征提取以得到其像素表示；使用共享的对象
‑
上下文表示模块来分别从所述查询帧的所述短程时间表示和所述参考帧的所述像素表示得到所述查询帧和所述参考帧的类别级表示；以及使用所述查询帧的所述短程时间表示作为多头自注意力机制的查询，使用全局类别表示和所述参考帧的所述类别级表示的拼接作为所述多头自注意力机制的键和值，以得到所述查询帧的长程时间表示。
[0017]在又一方面，还公开了一种用于处理图像时间序列的系统，包括：用于标识所述图像时间序列的查询帧的多个临近帧和一个参考帧的装置；用于基于所述查询帧和所述多个临近帧得到所述查询帧的短程时间表示的装置；用于基于所述查询帧的所述短程时间表示和所述参考帧得到所述查询帧的长程时间表示的装置；以及用于基于所述查询帧的所述短程时间表示和所述长程时间表示得到所述查询帧的增强表示的装置。
[0018]在又另一方面中，提供了一种用于处理图像时间序列的装置，包括处理器；以及与所述处理器耦合的存储器，所述存储器存储有处理器可执行指令，所述指令在被所述处理器执行时使所述处理器执行如上所述的方法。
[0019]在又另一方面中，提供了一种非瞬态处理器可读存储介质，包括处理器可执行指令，所述指令在被处理器执行时使所述处理器执行如上所述的方法。
[0020]本说明书一个或多个实施例能够实现以下技术效果中的一者或多者：
[0021]允许在单帧标注下实现模型训练；
[0022]减少标注所需的资源；
[0023]提升模型表现。
附图说明
[0024]以上
技术实现思路
以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的专利技术的示例。在附图中，相同的附图标记代表相同或
类似的元素。
[0025]图1示出根据本说明书实施例的用于处理图像时间序列的示例方法的流程图。
[0026]图2示出根据本说明书实施例的用于处理图像时间序列的示例体系结构概览的示意图。
[0027]图3示出根据本说明书实施例的时空Transformer模块的示例处理过程的示意图。
[0028]图4示出根据本说明书实施例的生成查询帧的长程时间表示的示例过程的示意图。
[0029]图5示出根据本说明书实施例的用于对遥感影像时间序列执行语义分割的示例方法的示意流程图。
[0030]图6示出根据本说明书实施例的用于处理图像时间序列执行语义分割的示例系统的示意流程图。
[0031]图7示出根据本说明书实施例的方法与其它方法的表现的比较的表格。
[0032]图8示出根据本说明书实施例的各模块对模型表现的影响的表格。
[0033]图9示出用于实现根据本说明书一个或多个实施例的系统或方法的装置的示意本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于处理图像时间序列的方法，包括：标识所述图像时间序列的查询帧的多个临近帧和一个参考帧；基于所述查询帧和所述多个临近帧得到所述查询帧的短程时间表示；基于所述查询帧的所述短程时间表示和所述参考帧得到所述查询帧的长程时间表示；以及基于所述查询帧的所述短程时间表示和所述长程时间表示得到所述查询帧的增强表示。2.如权利要求1所述的方法，其中所述图像时间序列为遥感影像时间序列。3.如权利要求1所述的方法，其中基于所述查询帧和所述多个临近帧得到所述查询帧的短程时间表示包括：使用视觉主干网络对所述查询帧和所述多个临近帧执行特征提取以得到其视觉特征；以及使用时空Transformer模块基于所述查询帧和所述多个临近帧的视觉特征得到所述查询帧的短程时间表示。4.如权利要求3所述的方法，其中所述查询帧和所述多个临近帧中的每个帧具有不同步长的多个特征图，其中所述时空Transformer模块包括分别与步长对应的时空Transformer单元。5.如权利要求4所述的方法，其中使用时空Transformer模块基于所述查询帧和所述多个临近帧的视觉特征得到所述查询帧的短程时间表示包括：对于每个步长，堆叠来自每个帧的特征；使用时空Transformer单元处理对应步长的特征；在来自所述时空Transformer单元的多个输出中仅上采样查询帧的特征到相同尺度；以及将经上采样的特征执行拼接以获得所述查询帧的短程时间表示。6.如权利要求5所述的方法，其中每个时空Transformer单元包括3D窗口多头自注意力机制、混合前馈网络以及两个层归一化层。7.如权利要求1所述的方法，其中基于所述查询帧的所述短程时间表示和所述参考帧得到所述查询帧的长程时间表示包括：对所述参考帧执行特征提取以得到其像素表示；使用共享的对象
‑
上下文表示模块来分别从所述查询帧的所述短程时间表示和所述参考帧的所述像素表示得到所述查询帧和所述参考帧的类别级表示；以及至少部分地基于所述查询帧的所述短程时间表示和所述参考帧的所述类别级表示构建多头自注意力机制的输入，以得到所述查询帧的长程时间表示。8.如权利要求7所述的方法，其中至少部分地基于所述查询帧的所述短程时间表示和所述参考帧的所述类别级表示构建多头自注意力机制的输入包括：使用所述查询帧的...
【专利技术属性】
技术研发人员：劳江微，郭昕，张营营，王剑，陈景东，褚崴，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。