图像处理方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种图像处理方法、装置、存储介质及电子设备，提供支持变长特征的自适应池化方式，减少图像处理过程中池化操作所需的人力和时间，提高图像池化效率，进而提高图像处理效率。该图像处理方法包括：获取待处理的目标图像中对应的目标图像特征；确定长度与所述目标图像特征长度一致的位置向量，所述位置向量包括依次排列的多个位置编号；将所述位置向量转换为二维的位置编码向量；根据所述位置编码向量和序列模型确定所述目标图像特征的池化系数；将所述池化系数与所述目标图像特征进行点乘，以得到所述目标图像的图像池化结果。以得到所述目标图像的图像池化结果。以得到所述目标图像的图像池化结果。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备


[0001]本公开涉及图像处理
，具体地，涉及一种图像处理方法、装置、存储介质及电子设备。

技术介绍

[0002]图像处理领域中，池化可以将小邻域内的特征点整合得到新的特征，也被称为特征聚合。相关技术中池化方式包括最大值池化(max
‑
pooling)、k
‑
最大值池化(k
‑
max pooling)、均值池化(average pooling)等方式。实际应用中，需要针对图像特征提取器的类型人工选取对应的池化方式，当图像特征提取器的类型发生变化时，需要重新选择对应的池化方式，耗费人力和时间。以k
‑
最大值池化为例，需要多次实验尝试不同k值来找出最优特征聚合函数，调参开销大。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面，本公开提供一种图像处理方法，所述方法包括：
[0005]获取待处理的目标图像中对应的目标图像特征；
[0006]确定长度与所述目标图像特征长度一致的位置向量，所述位置向量包括依次排列的多个位置编号，所述位置编号与所述目标图像特征一一对应；
[0007]将所述位置向量转换为二维的位置编码向量，其中，每一所述位置编码向量各不相同，且所述位置编码向量的排列顺序与对应的所述位置向量的排列顺序一致；
[0008]根据所述位置编码向量和序列模型确定所述目标图像特征的池化系数；
[0009]将所述池化系数与所述目标图像特征进行点乘，以得到所述目标图像的图像池化结果。
[0010]第二方面，本公开提供一种图像处理装置，所述装置包括：
[0011]获取模块，用于获取待处理的目标图像中对应的目标图像特征；
[0012]第一确定模块，用于确定长度与所述目标图像特征长度一致的位置向量，所述位置向量包括依次排列的多个位置编号，所述位置编号与所述目标图像特征一一对应；
[0013]转换模块，用于将所述位置向量转换为二维的位置编码向量，其中，每一所述位置编码向量各不相同，且所述位置编码向量的排列顺序与对应的所述位置向量的排列顺序一致；
[0014]第二确定模块，用于根据所述位置编码向量和序列模型确定所述目标图像特征的池化系数；
[0015]点乘模块，用于将所述池化系数与所述目标图像特征进行点乘，以得到所述目标图像的图像池化结果。
[0016]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面中所述方法的步骤。
[0017]第四方面，本公开提供一种电子设备，其特征在于，包括：
[0018]存储装置，其上存储有计算机程序；
[0019]处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面中所述方法的步骤。
[0020]通过上述技术方案，通过上述方式，可以确定长度与目标图像特征长度一致的位置向量，然后将位置向量转换为二维的位置编码向量，从而根据该二维的位置编码向量确定池化系数，进而得到目标图像的图像池化结果。由此，池化系数可以根据目标图像特征自适应变化，当特征提取器类型发生变化导致提取出的图像特征发生变化时，无需重新确定池化方式，可以避免多次实验调参搜索，从而减少图像池化过程中的耗费的人力和时间。并且，池化系数可以根据目标图像特征的长度自适应变化，从而可以支持对变长特征的自适应池化，灵活地对不同长度的图像特征进行池化处理，满足不同场景下的池化需求。
[0021]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0022]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0023]图1是根据本公开一示例性实施例示出的一种图像处理方法的流程图；
[0024]图2是根据本公开一示例性实施例示出的一种图像处理方法的过程示意图；
[0025]图3是根据本公开一示例性实施例示出的一种图像处理装置的框图；
[0026]图4是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0027]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0028]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0029]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0030]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。另外需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术
人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0031]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0032]图像处理领域中，池化可以将小邻域内的特征点整合得到新的特征，也被称为特征聚合。广义的图像池化可以这样理解：对于特征提取器提取得到的特征集F，维度记为N
×
D，其中N为特征集F中的特征元素数量(对于图片特征而言，N可以是特征的网格的个数，即N＝H
×
W，H为图像特征图的高度，W为图像特征图的宽度；对于视频而言，N可以是视频帧数；对于文本而言，N可以是文字或分词个数)，D表示特征通道数，图像池化算子φ可以定义为：
[0033][0034]通过对特征集F的N个D维特征向量，在特征元素个数(N)这个维度进行特征聚合(即池化处理)，可以得到一个全局的特征向量。
[0035]池化被广泛应用于各种图像处理过程。比如，在利用图像与文本的相关性来学习视觉表征与文本表征的图文嵌入模型中，首先分别对输入的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理的目标图像中对应的目标图像特征；确定长度与所述目标图像特征长度一致的位置向量，所述位置向量包括依次排列的多个位置编号，所述位置编号与所述目标图像特征一一对应；将所述位置向量转换为二维的位置编码向量，其中，每一所述位置编码向量各不相同，且所述位置编码向量的排列顺序与对应的所述位置向量的排列顺序一致；根据所述位置编码向量和序列模型确定所述目标图像特征的池化系数；将所述池化系数与所述目标图像特征进行点乘，以得到所述目标图像的图像池化结果。2.根据权利要求1所述的方法，其特征在于，所述获取待处理的目标图像对应的目标图像特征，包括：获取待处理的目标图像中至少一个通道对应的目标图像特征；所述将所述位置向量转换为二维的位置编码向量，包括：针对所述位置向量中的每一位置编号，确定所述位置编号对应的、维度与所述目标图像特征的通道数一致的一维向量，以得到所述位置向量对应的二维位置编码向量。3.根据权利要求2所述的方法，其特征在于，所述确定所述位置编号对应的、维度与所述目标图像特征的通道数一致的一维向量，包括：根据位置编码函数确定所述位置编号对应的、维度与所述目标图像特征的通道数一致的一维向量，所述位置编码函数用于通过第一转换计算确定所述一维向量中奇数位置的元素值，并通过第二转换计算确定所述一维向量中偶数位置的元素值。4.根据权利要求2所述的方法，其特征在于，所述方法封装在图像处理模型中，所述确定所述位置编号对应的、维度与所述目标图像特征的通道数一致的一维向量，包括：根据所述图像处理模型的预训练参数确定所述位置编号对应的、维度与所述目标图像特征的通道数一致的一维向量，所述图像处理模型的预训练参数是通过如下方式训练得到的：针对长度与样本图像特征的长度一致的样本位置向量中每一位置编号确定样本向量，以得到样本位置编码向量，所述样本向量为维度与所述样本图像特征的通道数相同的样本一维向量；根据所述样本位置编码向量对所述样本图像特征进行池化处理，并根据池化处理后的所述样本...

【专利技术属性】
技术研发人员：吴昊，陈嘉诚，王长虎，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：