图像模型训练方法、图像处理方法、装置、介质及设备制造方法及图纸

本说明书实施例公开了一种图像模型训练方法、图像处理方法、装置、存储介质及设备。该方法包括：将样本图像划分为多个图像分块，确定各个图像分块对应的分块向量，多个图像分块对应的分块向量形成分块向量序列；将分块向量序列与类标识向量序列进行连接处理，生成连接向量序列；将连接向量序列输入到图像特征提取模型，获取与N个输入类标识向量对应的N个输出类标识向量；基于输出类标识向量以及样本图像的标签，确定图像特征提取模型的模型损失，模型损失包括类标识约束损失，类标识约束损失用于通过约束输出类标识向量来学习样本图像的多类图像特征；基于模型损失调整输入类标识向量的参数以及图像特征提取模型的参数。量的参数以及图像特征提取模型的参数。量的参数以及图像特征提取模型的参数。

【技术实现步骤摘要】
图像模型训练方法、图像处理方法、装置、介质及设备


[0001]本说明书涉及机器学习
，尤其涉及一种图像模型训练方法、图像处理方法、装置、存储介质及设备。

技术介绍

[0002]随着机器学习技术的发展，图像识别技术的应用也越来越广泛，例如身份识别技术可以应用到安检、门禁以及支付等领域。
[0003]在一种技术方案中，通过训练多个深度学习模型来进行图像的表征学习，由于不同模型提取的图像特征存在差异，将不同模型提取的存在差异的图像特征进行集成，来对图像进行表征。然而，在这种技术方案中，对多个模型进行训练的效率较低并且成本较高。
[0004]因此，如何高效低成本地获取多样化的图像特征，成为了亟待解决的技术难题。

技术实现思路

[0005]本说明书提供一种图像模型训练方法、图像处理方法、装置、存储介质及设备，能够高效低成本地获取多样化的图像特征，提升模型的鲁棒性。
[0006]第一方面，本说明书实施例提供一种图像模型训练方法，包括：
[0007]将样本图像划分为多个图像分块，确定各个所述图像分块对应的分块向量，所述多个图像分块对应的所述分块向量形成分块向量序列；
[0008]将所述分块向量序列与类标识向量序列进行连接处理，生成连接向量序列，所述类标识向量序列包括N个输入类标识向量，N为大于或者等于2的正整数，所述类标识向量用于对所述样本图像进行表征；
[0009]将所述连接向量序列输入到图像特征提取模型，获取与N个所述输入类标识向量对应的N个输出类标识向量；
[0010]基于所述输出类标识向量以及所述样本图像的标签，确定所述图像特征提取模型的模型损失，所述模型损失包括类标识约束损失，所述类标识约束损失用于通过约束所述输出类标识向量来学习所述样本图像的多类图像特征；
[0011]基于所述模型损失调整所述输入类标识向量的参数以及所述图像特征提取模型的参数。
[0012]第二方面，本说明书实施例提供一种图像处理方法，包括：
[0013]将待识别图像划分为多个图像分块，确定各个所述图像分块对应的分块向量，所述多个图像分块中的图像分块对应的分块向量形成分块向量序列；
[0014]将所述分块向量序列与类标识向量序列进行连接处理，生成连接向量序列，所述类标识向量序列包括N个输入类标识向量，N为大于或者等于2的正整数，所述输入类标识向量用于学习所述样本图像的图像特征，所述N个输入类标识向量通过上述图像模型训练方法训练得到；
[0015]将所述连接向量序列输入到图像特征提取模型，获取与N个所述输入类标识向量
对应的N个输出类标识向量，所述图像特征提取模型通过上述图像模型训练方法训练得到；
[0016]基于所述N个输出类标识向量，对所述待识别图像进行识别。
[0017]第三方面，本说明书实施例提供一种图像模型训练装置，包括：
[0018]分块序列确定模块，用于将样本图像划分为多个图像分块，确定各个所述图像分块对应的分块向量，所述多个图像分块中的图像分块对应的分块向量形成分块向量序列；
[0019]连接处理模块，用于所述分块向量序列与将类标识向量序列进行连接处理，生成连接向量序列，所述类标识向量序列包括N个输入类标识向量，N为大于或者等于2的正整数，所述类标识向量用于对所述样本图像进行表征；
[0020]特征提取模块，用于将所述连接向量序列输入到图像特征提取模型，获取与N个所述输入类标识向量对应的N个输出类标识向量；
[0021]损失确定模块，用于基于所述输出类标识向量以及所述样本图像的标签，确定所述图像特征提取模型的模型损失，所述模型损失包括类标识约束损失，所述类标识约束损失用于通过约束所述输出类标识向量来学习所述样本图像的多类图像特征；
[0022]参数调整模块，用于基于所述模型损失调整所述输入类标识向量的参数以及所述图像特征提取模型的参数。
[0023]第四方面，本说明书实施例一种图像处理装置，包括：
[0024]分块向量确定模块，用于将待识别图像划分为多个图像分块，确定各个所述图像分块对应的分块向量，所述多个图像分块对应的分块向量形成分块向量序列；
[0025]连接处理模块，用于将所述分块向量序列与类标识向量序列进行连接处理，生成连接向量序列，所述类标识向量序列包括N个输入类标识向量，N为大于或者等于2的正整数，所述输入类标识向量用于学习所述样本图像的图像特征，所述N个输入类标识向量通过上述图像模型训练方法训练得到；
[0026]特征提取模块，用于将所述连接向量序列输入到图像特征提取模型，获取与N个所述输入类标识向量对应的N个输出类标识向量，所述图像特征提取模型通过上述图像模型训练方法训练得到；
[0027]图像识别模块，用于基于所述N个输出类标识向量，对所述待识别图像进行识别。
[0028]第五方面，本说明书实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。
[0029]第六方面，本说明书实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行上述的方法的步骤。
[0030]第七方面，本说明书实施例提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。
[0031]根据本说明书实施例的技术方案，一方面，采用多个可学习的类标识向量即class tokens来学习图像的多类表征，通过类标识约束损失对多个类标识向量进行约束，能够使得图像特征提取模型自主地进行差异化的表征学习，保证获取的图像特征之间具有较大的差异性；另一方面，通过隐式的约束获取图像的不同的特征表达，能够高效低成本地获取多样化的图像特征，并且将多样化的图像特征集成后能够提升模型的鲁棒性。
附图说明
[0032]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本说明书实施例提供的一种应用场景的示意图；
[0034]图2为本说明书实施例提供的一种图像模型训练方法的流程示意图；
[0035]图3为根据本说明书实施例提供的确定类标识约束损失的流程示意图；
[0036]图4为根据本说明书实施例提供的另一图像模型训练方法的流程示意图；
[0037]图5为根据本说明书实施例提供的动态调节类标识对损失权重的网络结构示意图；
[0038]图6示出了根据本说明书实施例提供的另一确定类标识约束损失的流程示意图；
[0039]图7为本说明书实施例提供的一种图像处理方法的流程示意图；
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像模型训练方法，包括：将样本图像划分为多个图像分块，确定各个所述图像分块对应的分块向量，所述多个图像分块对应的所述分块向量形成分块向量序列；将所述分块向量序列与类标识向量序列进行连接处理，生成连接向量序列，所述类标识向量序列包括N个输入类标识向量，N为大于或者等于2的正整数，所述类标识向量用于学习所述样本图像的图像特征；将所述连接向量序列输入到图像特征提取模型，获取与N个所述输入类标识向量对应的N个输出类标识向量；基于所述输出类标识向量以及所述样本图像的标签，确定所述图像特征提取模型的模型损失，所述模型损失包括类标识约束损失，所述类标识约束损失用于通过约束所述输出类标识向量来学习所述样本图像的多类图像特征；基于所述模型损失调整所述输入类标识向量的参数以及所述图像特征提取模型的参数。2.根据权利要求1所述的方法，所述确定所述图像特征提取模型的所述类标识约束损失，包括：确定所述N个输出类标识向量中每两个输出类标识向量之间的距离；基于每两个输出类标识向量之间的距离，确定所述图像特征提取模型的所述类标识约束损失，其中，所述类标识约束损失用于使得各个所述输出类标识向量之间相互正交。3.根据权利要求2所述的方法，所述基于每两个输出类标识向量之间的距离，确定所述类标识约束损失，包括：对所述N个输出类标识向量中每两个输出类标识向量之间的距离进行求和，得到距离和；确定从所述N个输出类标识向量中取两个输出类标识向量的组合数；基于所述组合数对所述距离和进行平均处理，得到所述类标识约束损失。4.根据权利要求2所述的方法，所述基于每两个输出类标识向量之间的距离，确定所述图像特征提取模型的所述类标识约束损失，包括：基于每两个输出类标识向量之间的距离，确定所述每两个输出类标识向量对应的类标识对损失权重；基于所述类标识对损失权重，对所述N个输出类标识向量中每两个输出类标识向量之间的距离进行加权求和，确定所述图像特征提取模型的所述类标识约束损失。5.根据权利要求4所述的方法，所述基于每两个输出类标识向量之间的距离，确定所述每两个输出类标识向量对应的类标识对损失权重，包括：基于每两个输出类标识向量之间的距离，确定所述每两个输出类标识向量对应的归一化指数函数值；基于所述归一化指数函数值，确定所述每两个输出类标识向量对应的类标识对损失权重。6.根据权利要求1所述的方法，所述模型损失还包括分类损失，所述基于所述输出类标识向量以及所述样本图像的标签，确定所述图像特征提取模型的所述分类损失，包括：确定所述输出类标识向量与所述样本图像的标签之间的交叉熵；
基于所述交叉熵，确定所述图像特征提取模型的所述分类损失。7.根据权利要求1所述的方法，在所述将所述连接向量序列输入到图像特征提取模型之前，所述方法还包括：获取与所述多个图像分块中各个所述图像分块的位置信息对应的位置嵌入向量；将所述位置嵌入向量与所述连接向量序列中的对应的连接向量相加，得到相加后的所述连接向量序列。8.根据权利要求1所述的方法，所述确定各个所述图像分块对应的分块向量，包括：将各个所述图像分块对应的像素矩阵进行线性投影，得到各个所述图像分块对应的所述分块向量，所述方法还包括：基于各个所述图像分块对应的分块向量，形成所述分块向量序列。9.根据权利要求1所述的方法，所述将所述连接向量序列输入到图像特征提取模型，获取与N个所述输入类标识向量对应的N个输出类标识向量，包括：确定与连接向量序列中各个连接向量对应的查询向量、键向量以及值向量；对各个所述连接向量...

【专利技术属性】
技术研发人员：李文，程远，王萌，邹城，赵佳男，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：