图像特征提取方法、网络模型、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种图像特征提取方法、网络模型、装置及设备。方法包括：获取与待处理图像对应的多个图像块；确定与各个图像块相对应的图像特征向量及用于实现特征提取操作的网络模型，网络模型包括多个特征提取网络层，部分的特征提取网络层通信连接有辅助分类模块；通过辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，有效特征向量为图像特征向量的至少一部分，输入至当前特征提取网络层的有效特征向量的数量大于或等于输入至下一个特征提取网络层的有效特征向量的数量；基于多个特征提取网络层、图像特征向量及有效特征向量进行特征提取，获得待处理图像的图像特征。待处理图像的图像特征。待处理图像的图像特征。

【技术实现步骤摘要】
图像特征提取方法、网络模型、装置及设备


[0001]本专利技术涉及图像处理
，尤其涉及一种图像特征提取方法、网络模型、装置及设备。

技术介绍

[0002]随着网络技术的不断发展，Transformer模型架构开始在各种视觉任务上逐渐替代卷积神经网络(Convolutional Neural Networks，简称CNN)并展现出巨大的潜力，比如针对分类任务的视觉Transformer模型(ViT)、针对目标检测的基于Transform的深度学习目标检测(DEtection Transformer，简称DETR)模型和基于视觉Transformer的语义分割模型(SEgementation Transformer，简称SETR)等等可以实现不同的视觉任务。
[0003]目前，ViT和DeiT是Transformer架构的遥感分割模型中常用的主干网络，其往往通过堆叠多个自注意力网络层并输入所有划分出的图像特征向量token参与特征提取操作，由于在利用自注意网络层进行特征提取操作时，数据的计算量往往与图像特征向量数量的平方呈正相关，从而导致内存占用大，且吞吐量低。

技术实现思路

[0004]本专利技术实施例提供了一种图像特征提取方法、网络模型、装置及设备，能够基于动态调整的图像特征向量进行特征提取操作，不仅减少了数据处理操作所需要占用的内存，并能够提高图像特征提取操作的处理速度，提升吞吐量。
[0005]第一方面，本专利技术实施例提供一种图像特征提取方法，包括：
[0006]获取与待处理图像相对应的多个图像块；
[0007]确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
[0008]通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
[0009]基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
[0010]第二方面，本专利技术实施例提供一种图像特征提取装置，包括：
[0011]第一获取模块，用于获取与待处理图像相对应的多个图像块；
[0012]第一确定模块，用于确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
[0013]第一调整模块，用于通过所述辅助分类模块对输入至下一个特征提取网络层的图
像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；
[0014]第一处理模块，用于基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。
[0015]第三方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的图像特征提取方法。
[0016]第四方面，本专利技术实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的图像特征提取方法。
[0017]第五方面，本专利技术实施例提供了一种计算机程序产品，包括：计算机程序，当所述计算机程序被电子设备的处理器执行时，使所述处理器执行上述第一方面所示的图像特征提取方法中的步骤。
[0018]第六方面，本专利技术实施例提供了一种图像特征提取方法，包括：
[0019]获取待处理图像；
[0020]确定用于对所述待处理图像进行特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
[0021]在利用所述网络模型对所述待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，所述图像特征向量与所述待处理图像中的至少一个图像块相对应；
[0022]在所述特征提取网络层通信连接有辅助分类模块时，基于所述预测置信度和所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与所述待处理图像相对应的图像特征，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
[0023]第七方面，本专利技术实施例提供了一种图像特征提取装置，包括：
[0024]第二获取模块，用于获取待处理图像；
[0025]第二确定模块，用于确定用于对所述待处理图像进行特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
[0026]所述第二获取模块，用于在利用所述网络模型对所述待处理图像进行分析处理时，获得用于输入至各个特征提取网络层中的图像特征向量的预测置信度，所述图像特征向量与所述待处理图像中的至少一个图像块相对应；
[0027]第二处理模块，用于在所述特征提取网络层通信连接有辅助分类模块时，基于所述预测置信度和所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，输入至当前特征提取网络层中的图像特征向量的数量大于或等于输入至下一个特征提取网络层中的图像特征向量的数量。
[0028]第八方面，本专利技术实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第六方面中的图像特征提取方法。
[0029]第九方面，本专利技术实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第六方面中的图像特征提取方法。
[0030]第十方面，本专利技术实施例提供了一种计算机程序产品，包括：计算机程序，当所述计算机程序被电子设备的处理器执行时，使所述处理器执行上述第六方面所示的图像特征提取方法中的步骤。
[0031]第十一方面，本专利技术实施例提供了一种用于实现图像特征提取操作的网络模型，包括：编码层、与所述编码层通信连接的多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；
[0032]编码层，用于获取与待处理图像相对应的多个图像块，确定与各个图像块相对应的图像特征向量；
[0033]所述辅助分类模块，用于对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征提取方法，其特征在于，包括：获取与待处理图像相对应的多个图像块；确定与各个图像块相对应的图像特征向量以及用于实现特征提取操作的网络模型，所述网络模型包括多个特征提取网络层，其中，部分的特征提取网络层通信连接有辅助分类模块；通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，所述有效特征向量为所述图像特征向量的至少一部分，输入至当前特征提取网络层中的有效特征向量的数量大于或等于输入至下一个特征提取网络层中的有效特征向量的数量；基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征。2.根据权利要求1所述的方法，其特征在于，通过所述辅助分类模块对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，包括：基于所述辅助分类模块确定与所述图像特征向量相对应的分类置信度；基于所述图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量。3.根据权利要求2所述的方法，其特征在于，基于所述图像特征向量相对应的分类置信度对输入至下一个特征提取网络层的图像特征向量进行调整，获得与下一个特征提取网络层相对应的有效特征向量，包括：在所述分类置信度小于预设阈值时，则将与所述分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的无效特征向量；在所述分类置信度大于或等于预设阈值时，则将与所述分类置信度相对应的图像特征向量确定为与下一个特征提取网络层相对应的有效特征向量。4.根据权利要求1所述的方法，其特征在于，基于所述多个特征提取网络层、图像特征向量以及有效特征向量进行特征提取操作，获得与所述待处理图像相对应的图像特征，包括：获取用于输入至各个特征提取网络层的预设特征向量；基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量；利用所述多个特征提取网络层对所对应的输入特征向量进行处理，获得与所述待处理图像相对应的图像特征。5.根据权利要求4所述的方法，其特征在于，基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量，包括：在当前特征提取网络层通信连接有辅助分类模块时，则基于所述图像特征向量和有效特征向量，确定与下一个特征提取网络层相对应的无效特征向量；对所述无效特征向量与所述预设特征向量进行融合，获得融合后特征向量；将所述有效特征向量和所述融合后特征向量，确定为下一个特征提取网络层的目标输入特征向量。
6.根据权利要求4所述的方法，其特征在于，基于所述图像特征向量、预设特征向量和有效特征向量，确定各个特征提取网络层的输入特征向量，包括：在当前特征提取网络层未通信连接有辅助分类模块时，则基于所述图像特征向量、预设特征向量和有效特征向量，确定与所述当前特征提取网络层相对应的已输入特征向量；将所述已输入特征向量，确定为下一个特征提取网络层的目标输入特征向量。7.根据权利要求4所述的方法，其特征在于，利用所述多个特征提取网络层对所对应的输入特征向量进行处理，获得与所述待处理图像相对应的图像特征，包括：利用所述多个特征提取网络层对所对应的输入特征向量进行处理，获得目标输出特征向量；基于所述图像特征向量和所述目标输出特征向量，确定与所述待处理图像相对应的已退特征向量；对所述目标输出特征向量和所述已退特征向量进行复位，获得与所述待处理图像相对应的图像特征。8.根据权利要求1
‑
7中任意一项所述的方法，其特征在于，在获得与所述待处理图像相对应的图像特征之后，所述方法还包括：基于所述图像特征对所述待处理图像进行影像分割处理，获得与所述待处理图像相对应的影像分割结果。9.根据权利要求1
‑
7中任意一项所述的方法，...

【专利技术属性】
技术研发人员：刘宇昂，周强，王晶，王志斌，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：