一种图像特征增强方法以及相关方法和装置制造方法及图纸

本申请公开了一种图像特征增强方法以及相关方法和装置，该方法包括：基于目标任务的期望信息对参考图像的第二图像特征进行变换，得到第三图像特征；提取目标图像的第一图像特征的通道特征图上目标区域的第一区域特征图作为查询特征，提取第二图像特征的通道特征图上目标区域的第二区域特征图作为键特征，提取第三图像特征的通道特征图上目标区域的第三区域特征图作为值特征；将任一通道的查询特征与对应通道的键特征和值特征进行交互，上述方式，使得图像特征能够更准确地表达图像中包含的全局空间信息和序列图像中不同视觉模式下的上下文关联，以提高图像特征表示的准确性。以提高图像特征表示的准确性。以提高图像特征表示的准确性。

【技术实现步骤摘要】
一种图像特征增强方法以及相关方法和装置


[0001]本申请涉及图像处理
，特别是涉及一种图像特征增强方法以及相关方法和装置。

技术介绍

[0002]相比单张图像，序列图像包含更丰富的上下文信息，例如目标的运动模式、图像表征的序列一致性等。这些序列间的上下文信息为其中单张图像困难目标的检测和分割提供了有价值的线索。通过提取单张图像的特征，并通过增强特征之间的长期关联性，能够有效挖掘序列图像上下文信息。
[0003]现有的图像特征增强方式中，在特征增强的过程中，不能够有效保留图像的全局信息，并且对于序列图像之间存在的关联性不能够很好地挖掘。

技术实现思路

[0004]本申请至少提供一种图像特征增强方法以及相关方法和装置。
[0005]本申请提供了一种图像分割方法，该方法包括：获取图像序列中目标图像的第一图像特征和参考图像的第二图像特征；基于目标任务的期望信息对第二图像特征进行变换，得到第三图像特征；其中，第一图像特征、第二图像特征和第三图像特征包括相同通道数的通道特征图，以及第三图像特征中通道特征图包含：第二图像特征的各个通道特征图中与期望信息相关的特征信息；提取第一图像特征的通道特征图上目标区域的第一区域特征图作为查询特征，提取第二图像特征的通道特征图上目标区域的第二区域特征图作为键特征，提取第三图像特征的通道特征图上目标区域的第三区域特征图作为值特征；将任一通道的查询特征与对应通道的键特征和值特征进行交互，得到第一图像特征的对应通道在目标区域的区域增强特征图；基于相同通道在各个目标区域的区域增强特征图，得到目标图像的增强特征图，其中，增强特征图用于应用于目标任务。
[0006]因此，通过在各通道分别独立进行区域特征图的特征交互，能够保留区域特征图中的全局空间信息，并且能够挖掘序列数据在不同视觉模式下的关联性，使得图像特征能够更准确地表达图像中包含的全局空间信息和序列图像中不同视觉模式下的上下文关联，以提高图像特征表示的准确性和提高下游图像处理任务的准确性。
[0007]其中，将任一通道的查询特征与对应通道的键特征和值特征进行交互，得到第一图像特征的对应通道在目标区域的区域增强特征图，包括：获取通道的查询特征和键特征之间的相似度，基于相似度与值特征得到第一图像特征的对应通道在目标区域的区域增强特征图。
[0008]因此，能够实现在各个通道表示的视觉模式下，序列图像特征之间的关系匹配和传播，以使得图像特征能够包含不同视觉模式下对应的上下文关联信息，从而提高图像特征表示的准确性。
[0009]其中，参考图像包括图像序列中除目标图像以外的任意至少一帧图像，或者，参考
图像包括图像序列中排序在目标图像之前的至少一帧图像。
[0010]因此，参考图像的选择方式可以是多样的，以满足各种应用场景下序列特征中进行特征交互的对象选择的不同需要，从而实现与交互对象之间关联信息的挖掘，从而提高图像特征表示的准确性。
[0011]其中，目标区域包括：通道特征图的全局区域、通道特征图的局部区域中至少一者，在目标区域包括全局区域的情况下，目标区域的第一区域特征图为第一图像特征的通道特征图，目标区域的第二区域特征图为第二图像特征的通道特征图，目标区域的第三区域特征图为第三图像特征的通道特征图。
[0012]因此，选择通道特征图的全局区域、通道特征图的局部区域中至少一者作为目标区域，图像特征增强过程中可以很好地保留目标区域的空间信息，也就可以实现对通道特征图全局区域和/或通道特征图局部区域的空间信息的保留，可以满足不同应用场景下，对图像特征空间信息处理的需要。
[0013]其中，在目标区域包括全局区域和局部区域的情况下，将任一通道的查询特征与对应通道的键特征和值特征进行交互，得到第一图像特征的对应通道在目标区域的区域增强特征图，包括：基于注意力机制将第一图像特征的任一通道的通道特征图与第二图像特征的对应通道的通道特征图、第三图像特征的对应通道的通道特征图进行交互，得到第一图像特征的对应通道的第一增强特征图；以及，基于注意力机制将第一图像特征的在任意通道的局部区域所提取的第一区域特征图与第二图像特征的在对应通道的局部区域所提取的第二区域特征图、第三图像特征的在对应通道的局部区域所提取的第三区域特征图进行交互，得到第一图像特征的对应通道在局部区域的局部增强特征图；基于相同通道在各个目标区域的区域增强特征图，得到目标图像的增强特征图，包括：基于第一图像特征中属于相同通道的各局部区域分别对应的局部增强特征图进行第一融合，得到对应通道的第二增强特征图；基于相同通道的第一增强特征图和第二增强特征图进行第二融合，得到目标图像的增强特征图。
[0014]因此，将全局区域和局部区域分别作为目标区域而进行特征交互，能够有效捕捉全局
‑
局部空间结构表示，使得图像特征能够对全局和局部包含的空间信息进行更为准确的表示，以及实现了对全局和局部区域中各个视觉模式下上下文关联信息的挖掘，从而进一步提高图像特征表示的准确性。
[0015]其中，基于第一图像特征中属于相同通道的局部区域分别对应的局部增强特征图进行第一融合，得到对应通道的第二增强特征图，包括：依据各局部区域的权重，将相同通道的各局部区域的局部增强特征图进行拼接融合，得到第一图像特征的对应通道的第二增强特征图。
[0016]因此，通过将各局部区域的局部增强特征图进行拼接融合能够从各局部的增强特征图得出整体的第二增强特征图，从而实现将各个局部区域内包含的空间信息，以及对各个局部区域中各个视觉模式下上下文关联信息进行融合，从而提高图像特征表示的准确性。
[0017]其中，第一图像特征包括各空间点的空间特征；在提取第一图像特征的通道特征图上目标区域的第一区域特征图之前，方法还包括：将第一图像特征的任一空间点的空间特征与第一图像特征的所有空间点的空间特征进行交互，得到增强后的第一图像特征，增
强后的第一图像特征用于提取第一区域特征图。
[0018]因此，在目标图像的特征与参考图像的特征进行交互之前，对目标图像的特征先进行一次自注意力处理，以对目标图像的特征进行增强，增强其全局空间内部交互。
[0019]本申请还提供了一种视频目标检测方法，该方法包括：获取视频图像序列，视频图像序列包括若干帧视频图像；基于视频图像序列进行若干次特征提取，得到不同尺寸的若干特征序列；在任一尺寸下，将各帧视频图像分别作为目标图像，将目标图像对应尺寸下的特征作为第一图像特征，从视频图像序列中选择目标图像对应的参考图像，将参考图像对应尺寸下的特征作为第二图像特征；对第一图像特征进行特征增强，得到对应尺寸下各视频图像的增强特征图；其中，增强特征图利用上述任一项中的图像特征增强方法对第一图像特征进行特征增强得到；基于同一图像在不同尺寸下的增强特征图进行目标检测，得到各视频图像的目标检测结果。
[0020]因此，通过对视频图像序列提取得到的若干特征序列进行图像特征增强，使得图像特征能够更准确地表达图像中包含本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征增强方法，其特征在于，所述方法包括：获取图像序列中目标图像的第一图像特征和参考图像的第二图像特征；基于目标任务的期望信息对所述第二图像特征进行变换，得到第三图像特征；其中，所述第一图像特征、所述第二图像特征和所述第三图像特征包括相同通道数的通道特征图，以及所述第三图像特征的所述通道特征图包含：所述第二图像特征的各个所述通道特征图中与所述期望信息相关的特征信息；提取所述第一图像特征的所述通道特征图上目标区域的第一区域特征图作为查询特征，提取所述第二图像特征的所述通道特征图上所述目标区域的第二区域特征图作为键特征，提取所述第三图像特征的所述通道特征图上所述目标区域的第三区域特征图作为值特征；将任一通道的所述查询特征与对应通道的所述键特征和所述值特征进行交互，得到所述第一图像特征的对应通道在所述目标区域的区域增强特征图；基于相同通道在各个所述目标区域的区域增强特征图，得到所述目标图像的增强特征图，其中，所述增强特征图用于应用于所述目标任务。2.根据权利要求1所述的方法，其特征在于，所述将任一通道的所述查询特征与对应通道的所述键特征和所述值特征进行交互，得到所述第一图像特征的对应通道在所述目标区域的区域增强特征图，包括：获取所述通道的所述查询特征和所述键特征之间的相似度，基于所述相似度与所述值特征得到所述第一图像特征的对应通道在所述目标区域的区域增强特征图。3.根据权利要求1或2所述的方法，其特征在于，所述参考图像包括所述图像序列中除所述目标图像以外的任意至少一帧图像，或者，所述参考图像包括所述图像序列中排序在所述目标图像之前的至少一帧图像。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述目标区域包括：所述通道特征图的全局区域、所述通道特征图的局部区域中至少一者，在所述目标区域包括所述全局区域的情况下，所述目标区域的第一区域特征图为所述第一图像特征的通道特征图，所述目标区域的第二区域特征图为所述第二图像特征的通道特征图，所述目标区域的第三区域特征图为所述第三图像特征的通道特征图。5.根据权利要求4所述的方法，其特征在于，在所述目标区域包括所述全局区域和所述局部区域的情况下，所述将任一通道的所述查询特征与对应通道的所述键特征和所述值特征进行交互，得到所述第一图像特征的对应通道在所述目标区域的区域增强特征图，包括：基于注意力机制将所述第一图像特征的任一通道的通道特征图与所述第二图像特征的对应通道的通道特征图、所述第三图像特征的对应通道的通道特征图进行交互，得到所述第一图像特征的对应通道的第一增强特征图；以及，基于注意力机制将所述第一图像特征在任意通道的局部区域所提取的第一区域特征图与所述第二图像特征在对应通道的局部区域所提取的第二区域特征图、所述第三图像特征在对应通道的局部区域所提取的第三区域特征图进行交互，得到所述第一图像特征的对应通道在所述局部区域的局部增强特征图；所述基于相同通道在各个所述目标区域的区域增强特征图，得到所述目标图像的增强特征图，包括：
基于所述第一图像特征中属于相同通道的各局部区域分别对应的局部增强特征图进行第一融合，得到对应通道的第二增强特征图；基于相同通道的第一增强特征图和第二增强特征图进行第二融合，得到所述目标图像的增强特征图。6.根据权利要求5所述的方法，其特征在于，所述基于所述第一图像特征中属于相同通道的局部区域分别对应的局部增强特征图进行第一融合，得到对应通道的第二增强特征图，包括：依据各所述局部区域的权重，将相同通道的各所述局部区域的所述局部增强特征图进行拼接融合，得到所述第一图像特征的对应通道的所述第二增强特征图。7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一图像特征包括各空间点的空间特征；在所述提取所述第一图像特征的所述通道特征图上目标区域的第一区域特征图之前，所述方法还包括：将所述第一图像特征的任一空间点的空间特征与所述第一图像特征的所有空间点的空间特征进行交互，得到增强后的第一图像特征，所述增强后的第一图像特征用于提取所述第一区域特征图。8.一种视频目标检测方法，其特征在于，所述方法包括：获取视频图像序列，所述视频图像序列包括若干帧视频图像；基于所述视频图像序列进行若干次特征提取，得到不同尺寸的若干特征序列；在任一尺寸下，将各帧所述视频图像分别作为目标图像，将所述目标图像对应尺寸下的特征作为第一图像特征，从所述视频图像序列中选择所述目标图像对应的参考图像，将所述参考图像对应尺寸下的特征作为第二图像特征；对所述第一图像特征进行特征增强，得到对应尺寸下各所述视频图像的增强特征图；其中，所述增强特征图利用权利要求1
‑
7中任一项所述的图像特征增强方法对所述第一图像特征进行特征增强得到；基于同一所述图像在不同尺寸下的所述增强特征图进行目标检测，得到各所述视频图像的目标检测结果。9.根据权利要求8所述的方法，其特征在于，所述目标任务的期望信息包括目标预测类别和/或目标预测坐标；所述基于目标任务的期望信息对所述第二图像特征进行变换，得到...

【专利技术属性】
技术研发人员：吴凌云，胡志强，张少霆，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：