本公开实施例提供一种跨模态的人脸识别方法、装置、电子设备及可读介质，该方法包括：获得初始模态人脸训练图像；利用所述初始模态人脸训练图像训练获得模态转换模型，所述模态转换模型包括生成器以及与每个生成器对应的多重判别器；获取初始模态的待识别图像；利用所述模态转换模型对所述初始模态的待识别图像进行处理，获得目标模态的目标待识别图像；对所述目标待识别图像进行识别，获得与所述待识别图像匹配的目标模态的目标匹配人脸图像。本公开实施例提供的跨模态的人脸识别方法、装置、电子设备及可读介质，能够提升跨模态的人脸识别的精度。脸识别的精度。脸识别的精度。
【技术实现步骤摘要】
跨模态的人脸识别方法、装置、电子设备及可读介质
[0001]本公开涉及图像处理
，尤其涉及一种跨模态的人脸识别方法、装置、电子设备及计算机可读介质。
技术介绍
[0002]基于素描人脸图像进行识别面临着两大难题：其一是两种风格的人脸图像属于两种不同的模态，故二者的特征分布存在很大的鸿沟，映射的难度也会随之大大增加。其二是目前开源的素描人脸数据集十分匮乏，这对于特征提取与模型的学习十分不利。这些困难性与特殊性为素描人脸识别技术的发展带来了一定的阻碍与挑战。故和光学人脸的识别相比，基于素描的人脸识别难度更大。
[0003]目前基于素描的人脸识别技术可归纳为三种，分别是特征法、子空间映射法以及合成转化法。但现存素描人脸识别方法中存在很多问题，如：
[0004](1)将光学人脸识别技术“生搬硬套”到素描导致效果不佳。
[0005](2)面对风格迥异素描人脸肖像数据集，模型的泛化能力差。
[0006](3)刑侦场景无法肉眼很难直观评价素描与真实人脸的相似性，模型结果说服力弱。
[0007](4)提取人脸特征常使用降维操作，极可能会造成有限的样本图像局部信息的丢失。
[0008](5)要求成对照片与素描数据集，针对大规模数据库的成本过高，可操作性不强。
[0009]因此，需要一种新的跨模态的人脸识别方法、装置、电子设备及计算机可读介质。
[0010]在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0011]有鉴于此，本公开实施例提供一种跨模态的人脸识别方法、装置、电子设备及计算机可读介质，能够提升跨模态的人脸识别的精度。
[0012]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0013]根据本公开实施例的第一方面，提出一种跨模态的人脸识别方法，该方法包括：获得初始模态人脸训练图像；利用初始模态人脸训练图像训练获得模态转换模型，模态转换模型包括生成器以及与每个生成器对应的多重判别器；获取初始模态的待识别图像；利用模态转换模型对初始模态的待识别图像进行处理，获得目标模态的目标待识别图像；对目标待识别图像进行识别，获得与待识别图像匹配的目标模态的目标匹配人脸图像。
[0014]在本公开的一种示例性实施例中，模态转换模型的生成器包括正向生成器和反向生成器，与正向生成器对应的多重判别器包括n个正向判别器，与反向生成器对应的多重判别器包括m个反向判别器，n、m均为大于或等于2的整数；其中，利用初始模态人脸训练图像
训练获得模态转换模型包括：通过正向生成器对初始模态人脸训练图像进行处理，获得正向生成器的第w
k
层输出的第k个目标模态人脸预测图像，k为大于0且小于等于n的整数，w
k
为大于0的整数；通过反向生成器对第n个目标模态人脸预测图像进行处理，获得反向生成器的第u
q
层输出的第q个初始模态人脸训练图像，q为大于0且小于等于m的整数，u
q
为大于0的整数；获取目标模态人脸数据集，目标模态人脸数据集包括目标模态人脸训练图像；利用第k个正向判别器对第k个目标模态人脸预测图像和目标模态人脸训练图像进行处理，获得第k个正向判别结果；利用第q个反向判别器对第q个初始模态人脸训练图像和初始模态人脸训练图像进行处理，获得第q个反向判别结果；根据n个正向判别结果和m个反向判别结果生成目标损失函数；根据目标损失函数调节模态转换模型的参数，获得训练完成的模态转换模型。
[0015]在本公开的一种示例性实施例中，根据n个正向判别结果和m个反向判别结果生成目标损失函数包括：根据第k个正向判别结果生成第k个正向损失；根据第q个反向判别结果生成第q个反向损失；利用正向感知损失网络对初始模态人脸训练图像进行处理，获得正向感知损失；利用反向感知损失网络对目标模态人脸训练图像进行处理，获得反向感知损失；根据n个正向损失、m个反向损失、正向感知损失和反向感知损失的加权计算结果生成目标损失函数。
[0016]在本公开的一种示例性实施例中，正向损失包括对抗生成网络损失和循环一致损失；其中，根据第k个正向判别结果生成第k个正向损失包括：根据第k个正向判别结果获得第k个对抗生成网络损失；根据初始模态人脸训练图像和初始模态人脸训练图像生成第k个循环一致损失；对第k个对抗生成网络损失、第k个循环一致损失和感知损失进行加权求和，获得第k个正向损失。
[0017]在本公开的一种示例性实施例中，正向感知损失网络包括依次连接的P个感知层和全连接层，每个感知层包括依次连接的卷积层和池化层，P为大于0的整数；其中，利用正向感知损失网络对初始模态人脸训练图像进行处理，获得正向感知损失包括：根据正向感知损失网络的第p
r
个感知层获得第r个感知循环一致子损失，0＜p
r
≤P，0＜r≤R，R大于0的整数；对第1个至第R个感知循环一致子损失进行加权计算，获得正向感知损失。
[0018]在本公开的一种示例性实施例中，获得初始模态人脸训练图像包括：获取第一数量的初始模态人脸真实图像；通过生成对抗网络模型对第一数量的初始模态人脸真实图像进行处理，获得第二数量的初始模态人脸补充图像；将第一数量的初始模态人脸真实图像和第二数量的初始模态人脸补充图像整合获得初始模态人脸训练图像。
[0019]在本公开的一种示例性实施例中，对目标待识别图像进行识别，获得与待识别图像匹配的目标模态的目标匹配人脸图像包括：对目标待识别图像进行处理，获得目标待识别图像的目标标签；确定数据库中具有目标标签的目标模态的待匹配人脸图像；计算目标待识别图像与每个待匹配人脸图像的距离；将距离小于设定阈值的待匹配人脸图像确定为目标匹配人脸图像。
[0020]根据本公开实施例的第二方面，提出一种跨模态的人脸识别装置，该装置包括：训练集获取模块，配置为获得初始模态人脸训练图像；模型训练模块，配置为利用初始模态人脸训练图像训练获得模态转换模型，模态转换模型包括生成器以及与每个生成器对应的多重判别器；待识别图像获取模块，配置为获取初始模态的待识别图像；模型处理模块，配置
为利用模态转换模型对初始模态的待识别图像进行处理，获得目标模态的目标待识别图像；图像识别模块，配置为对目标待识别图像进行识别，获得与待识别图像匹配的目标模态的目标匹配人脸图像。
[0021]根据本公开实施例的第三方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的跨模态的人脸识别方法。
[0022]根据本公开实施例的第四方面，提出一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一项所述的跨模态的人脸识别方法。
[0023]根据本公开某本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种跨模态的人脸识别方法，其特征在于，包括：获得初始模态人脸训练图像；利用所述初始模态人脸训练图像训练获得模态转换模型，所述模态转换模型包括生成器以及与每个生成器对应的多重判别器；获取初始模态的待识别图像；利用所述模态转换模型对所述初始模态的待识别图像进行处理，获得目标模态的目标待识别图像；对所述目标待识别图像进行识别，获得与所述待识别图像匹配的目标模态的目标匹配人脸图像。2.如权利要求1所述的方法，其特征在于，所述模态转换模型的所述生成器包括正向生成器和反向生成器，与所述正向生成器对应的多重判别器包括n个正向判别器，与所述反向生成器对应的多重判别器包括m个反向判别器，n、m均为大于或等于2的整数；其中，利用所述初始模态人脸训练图像训练获得模态转换模型包括：通过所述正向生成器对所述初始模态人脸训练图像进行处理，获得所述正向生成器的第w
k
层输出的第k个目标模态人脸预测图像，k为大于0且小于等于n的整数，w
k
为大于0的整数；通过所述反向生成器对第n个所述目标模态人脸预测图像进行处理，获得所述反向生成器的第u
q
层输出的第q个初始模态人脸训练图像，q为大于0且小于等于m的整数，u
q
为大于0的整数；获取目标模态人脸数据集，所述目标模态人脸数据集包括目标模态人脸训练图像；利用第k个正向判别器对所述第k个目标模态人脸预测图像和所述目标模态人脸训练图像进行处理，获得第k个正向判别结果；利用第q个反向判别器对所述第q个初始模态人脸训练图像和所述初始模态人脸训练图像进行处理，获得第q个反向判别结果；根据n个所述正向判别结果和m个所述反向判别结果生成目标损失函数；根据所述目标损失函数调节所述模态转换模型的参数，获得训练完成的所述模态转换模型。3.如权利要求2所述的方法，其特征在于，根据n个所述正向判别结果和m个所述反向判别结果生成目标损失函数包括：根据第k个所述正向判别结果生成第k个正向损失；根据第q个所述反向判别结果生成第q个反向损失；利用正向感知损失网络对所述初始模态人脸训练图像进行处理，获得正向感知损失；利用反向感知损失网络对所述目标模态人脸训练图像进行处理，获得反向感知损失；根据n个所述正向损失、m个所述反向损失、所述正向感知损失和所述反向感知损失的加权计算结果生成所述目标损失函数。4.如权利要求3所述的方法，其特征在于，所述正向损失包括对抗生成网络损失和循环一致损失；其中，根据所述第k个正向判别结果生成第k个正向损失包括：根据所述第k个正向判别结果获得第k个对抗生成网络损失；根据所述...
【专利技术属性】
技术研发人员：徐凯华，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。