【技术实现步骤摘要】
本专利技术涉及计算机技术，尤其涉及一种用于训练通用证件基座模型的方法、装置、存储介质及电子设备。
技术介绍
1、随着移动终端技术的发展及应用程序使用的普及，越来越多的业务场景需要进行电子身份认证(electronic know your customer，ekyc)，比如各种应用程序(如金融类)需要验证用户的各种证件来进行身份认证。然而，ekyc全球证件的数据分布不均匀，核心证件每种几万张，而其他证件只有几张甚至没有。传统的自监督算法将每张证件都当成一个类别，自监督预训练，没有利用全球上千种证件的类别信息，而直接cnn(convolutionalneural networks，卷积神经网络)分类又面临类别严重不均衡问题。
技术实现思路
1、本说明书实施例的目的是提供一种用于训练通用证件基座模型的方法、装置、存储介质及电子设备。
2、本说明书实施例提供了一种训练通用证件基座模型的方法，将主干网络结合基于证件的有监督对比学习框架进行训练，获得已训练的通用证件基座模型，结合证件的场景特点(同种证件内容相似和对应相同的证件类别)，实现了一种基于证件的有监督+自监督的模型训练方法，既利用了大量的证件数据，又利用了证件数据的分类信息，将数据和分类信息相结合，训练出的通用证件基座模型，可以用于电子身份认证中的分类、质量合规、防伪等下游任务中，提高模型的准确率和训练效率，所述方法包括：
3、获得多个证件类别及每个证件类别对应的多个证件图像样本；
4、获得所述多个
5、根据所述证件类别、证件图像样本、证件图像增强样本，基于预设的主干网络，通过结合有监督对比学习框架进行训练，获得已训练的通用证件基座模型，其中，所述有监督对比学习框架包括自监督学习分支、有监督学习分支及分类分支，所述自监督学习分支包括自监督对比损失函数，所述有监督学习分支包括有监督对比损失函数，所述分类分支包括交叉熵损失函数。
6、进一步地，所述自监督学习分支与第一主干网络和第二主干网络相连接，所述自监督对比损失函数的输入包括所述第一主干网络的输出和所述第二主干网络的输出，所述第一主干网络的输入为一个证件图像样本，所述第二主干网络的输入为该一个证件图像样本对应的证件图像增强样本；所述有监督学习分支与第三主干网络和第四主干网络相连接，所述有监督对比损失函数的输入包括所述第三主干网络的输出和所述第四主干网络的输出，所述第三主干网络的输入为该一个证件图像样本，所述第四主干网络的输入为属于该一个证件图像样本对应的证件类别的其他证件图像样本。
7、进一步地，所述第四主干网络的输入为该一个证件图像样本对应的证件图像增强样本或属于该一个证件图像样本对应的证件类别的其他证件图像样本。
8、进一步地，所述分类分支的输入包括所述第一主干网络的输出、所述第三主干网络的输出及该一个证件图像样本对应的证件类别。
9、进一步地，所述自监督学习分支还包括两个第一投影网络，每个第一投影网络的输入为所述第一主干网络的输出或所述第二主干网络的输出，所述每个第一投影网络用于将与其相连接的主干网络输出的表征向量映射成一个用于进行损失计算的向量，所述有监督学习分支还包括两个第二投影网络，每个第二投影网络的输入为所述第三主干网络的输出或所述第四主干网络的输出，所述每个第二投影网络用于将与其相连接的主干网络输出的表征向量映射成一个用于进行损失计算的向量。
10、进一步地，所述分类分支的输入包括：所述第一主干网络对应的第一投影网络的输出、所述第三主干网络对应的第二投影网络的输出及该一个证件图像样本对应的证件类别。
11、进一步地，所述已训练的通用证件基座模型包括一个已训练的主干网络及与所述已训练的主干网络相连接的单一线性层网络；
12、其中，所述方法还包括：
13、在训练完成后，将与所述已训练的主干网络相连接的第一投影网络或第二投影网络替换为一个单一线性层网络。
14、进一步地，所述获得所述多个证件图像样本对应的多个证件图像增强样本，包括：
15、对于所述多个证件图像样本中的每个证件图像样本，采用至少一种数据增强方式对该证件图像样本进行图像增强处理，得到对应的证件图像增强样本。
16、进一步地，所述对于所述多个证件图像样本中的每个证件图像样本，采用至少一种数据增强方式对该证件图像样本进行图像增强处理，得到对应的证件图像增强样本，包括：
17、对于所述多个证件图像样本中的每个证件图像样本，对该证件图像样本进行随机裁剪，得到裁剪后的证件图像样本，调整所述裁剪后的证件图像样本的分辨率，使得调整后的分辨率与该证件图像样本的分辨率相同；
18、对于每个调整分辨率后的证件图像样本，采用至少一种数据增强方式对该调整分辨率后的证件图像样本进行图像增强处理，得到对应的证件图像增强样本。
19、本说明书实施例还提供了一种证件类别识别的方法，所述方法包括：
20、将第一证件图像输入所述已训练的通用证件基座模型，获得所述通用证件基座模型输出的第一表征向量，其中，所述通用证件基座模型是基于本说明书实施例所述的训练通用证件基座模型的方法训练得到的；
21、针对所述第一表征向量在特征库中进行检索，若所述特征库中存在与所述第一表征向量相匹配的特征向量，将所述特征向量对应的证件类别作为所述第一证件图像对应的第一证件类别，其中，所述特征库包括多种证件类别及每种证件类别对应的特征向量。
22、进一步地，所述方法还包括：
23、若所述特征库中不存在与所述第一表征向量相匹配的特征向量，获得所述第一证件图像对应的第二证件类别；
24、在所述特征库中添加所述第二证件类别，并将所述第一表征向量作为所述第二证件类别对应的特征向量添加至所述特征库。
25、本说明书实施例还提供了一种训练下游任务模型的方法，所述方法包括：
26、将所述已训练的通用证件基座模型对应的模型参数作为下游任务模型的训练初始化参数，其中，所述通用证件基座模型是基于本说明书实施例所述的训练通用证件基座模型的方法训练得到的；
27、根据所述训练初始化参数对所述下游任务模型进行训练，获得已训练的下游任务模型。
28、本说明书实施例还提供了一种用于训练通用证件基座模型的装置，包括：
29、证件图像样本获取模块，用于获得多个证件类别及每个证件类别对应的多个证件图像样本；
30、证件图像增强样本获取模块，用于获得所述多个证件图像样本对应的多个证件图像增强样本；
31、通用证件基座模型训练模块，用于根据所述证件类别、证件图像样本、证件图像增强样本，基于预设的主干网络，通过结合有监督对比学习框架进行训练，获得已训练的通用证件基座模型，其中，所述有监督对比学习框架包括自监督学习分支、有监督学习分支及分类分支，所述自监督学习分本文档来自技高网...
【技术保护点】
1.一种训练通用证件基座模型的方法，包括：
2.根据权利要求1所述的方法，所述自监督学习分支与第一主干网络和第二主干网络相连接，所述自监督对比损失函数的输入包括所述第一主干网络的输出和所述第二主干网络的输出，所述第一主干网络的输入为一个证件图像样本，所述第二主干网络的输入为该一个证件图像样本对应的证件图像增强样本；所述有监督学习分支与第三主干网络和第四主干网络相连接，所述有监督对比损失函数的输入包括所述第三主干网络的输出和所述第四主干网络的输出，所述第三主干网络的输入为该一个证件图像样本，所述第四主干网络的输入为属于该一个证件图像样本对应的证件类别的其他证件图像样本。
3.根据权利要求2所述的方法，所述第四主干网络的输入为该一个证件图像样本对应的证件图像增强样本或属于该一个证件图像样本对应的证件类别的其他证件图像样本。
4.根据权利要求2或3所述的方法，所述分类分支的输入包括所述第一主干网络的输出、所述第三主干网络的输出及该一个证件图像样本对应的证件类别。
5.根据权利要求4所述的方法，所述自监督学习分支还包括两个第一投影网络，每个
6.根据权利要求5所述的方法，所述分类分支的输入包括：所述第一主干网络对应的第一投影网络的输出、所述第三主干网络对应的第二投影网络的输出及该一个证件图像样本对应的证件类别。
7.根据权利要求5或6所述的方法，所述已训练的通用证件基座模型包括一个已训练的主干网络及与所述已训练的主干网络相连接的单一线性层网络；
8.根据权利要求1所述的方法，所述获得所述多个证件图像样本对应的多个证件图像增强样本，包括：
9.根据权利要求8所述的方法，所述对于所述多个证件图像样本中的每个证件图像样本，采用至少一种数据增强方式对该证件图像样本进行图像增强处理，得到对应的证件图像增强样本，包括：
10.一种证件类别识别方法，包括：
11.根据权利要求10所述的方法，还包括：
12.一种训练下游任务模型的方法，包括：
13.一种用于训练通用证件基座模型的装置，包括：
14.一种证件类别识别装置，包括：
15.一种用于训练下游任务模型的装置，包括：
16.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～12中任意一项所述方法的步骤。
17.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～12中任意一项所述方法的步骤。
18.一种计算机程序产品，其上存储有至少一条指令，其特征在于，所述至少一条指令被处理器执行时实现权利要求1～12中任意一项所述方法的步骤。
...【技术特征摘要】
1.一种训练通用证件基座模型的方法，包括：
2.根据权利要求1所述的方法，所述自监督学习分支与第一主干网络和第二主干网络相连接，所述自监督对比损失函数的输入包括所述第一主干网络的输出和所述第二主干网络的输出，所述第一主干网络的输入为一个证件图像样本，所述第二主干网络的输入为该一个证件图像样本对应的证件图像增强样本；所述有监督学习分支与第三主干网络和第四主干网络相连接，所述有监督对比损失函数的输入包括所述第三主干网络的输出和所述第四主干网络的输出，所述第三主干网络的输入为该一个证件图像样本，所述第四主干网络的输入为属于该一个证件图像样本对应的证件类别的其他证件图像样本。
3.根据权利要求2所述的方法，所述第四主干网络的输入为该一个证件图像样本对应的证件图像增强样本或属于该一个证件图像样本对应的证件类别的其他证件图像样本。
4.根据权利要求2或3所述的方法，所述分类分支的输入包括所述第一主干网络的输出、所述第三主干网络的输出及该一个证件图像样本对应的证件类别。
5.根据权利要求4所述的方法，所述自监督学习分支还包括两个第一投影网络，每个第一投影网络的输入为所述第一主干网络的输出或所述第二主干网络的输出，所述每个第一投影网络用于将与其相连接的主干网络输出的表征向量映射成一个用于进行损失计算的向量，所述有监督学习分支还包括两个第二投影网络，每个第二投影网络的输入为所述第三主干网络的输出或所述第四主干网络的输出，所述每个第二投影网络用于将与其相连接的主干网络输出的表征向量映射成一个用于进行损失计算的向量。
6.根据权利要求5所...
【专利技术属性】
技术研发人员：陈志军，
申请(专利权)人：蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。