【技术实现步骤摘要】
本公开属于图像处理，更具体地说，是涉及一种人脸重定向模型、人脸重定向模型训练方法及装置、电子设备、可读存储介质。
技术介绍
1、现有的视线估计算法可以分为基于模型的方法和基于外观的方法。基于模型的估计系统从眼睛图像中提取特征，以拟合预测视线角度的几何模型。然而，它们需要专用的眼动追踪相机来捕捉眼部近距离图像，这限制了它们的广泛应用。相比之下，基于外观的解决方案依赖于由普通rgb相机拍摄的面部或眼睛图像，如智能手机、平板电脑、和公共显示器中的相机，这使它们有望用于各个场景。最新的基于外观的视线估计系统受益于深度神经网络的表示学习能力，显示出显著优于基于模型的同类系统的良好性能。
2、然而深度神经网络需要依赖于一个大规模标记视线数据集进行训练。由于数据采集过程中的各种限制和条件，采集到的数据质量还不够理想，造成现有视线估计数据集采集困难，样本丰富性较差。
技术实现思路
1、本公开的目的在于提供一种人脸重定向模型、模型训练方法及装置，以提高视线估计算法的样本集质量。
2、本公开实施例的第一方面，提供了一种人脸重定向模型，包括：
3、编码器，用于对人脸图像进行特征提取，得到人脸特征；
4、无关属性分解模块，用于对所述人脸特征进行特征提取，得到对应于所述人脸特征的细节特征；所述细节特征包括身份特征、视线特征和头部特征；
5、交叉属性分离模块，用于对所述细节特征中的目标特征进行角度旋转；所述目标特征为视线特征或头部特征；
7、本公开实施例的第二方面，提供了一种人脸重定向模型训练方法，包括：
8、将第一人脸图像和第二人脸图像依次输入至编码器、无关属性分解模块、交叉属性分离模块中，得到第一细节特征、第二细节特征、角度旋转后的第一目标特征和角度旋转后的第二目标特征；
9、所述第一细节特征为对应于第一人脸图像的细节特征，所述第二细节特征为对应于第二人脸图像的细节特征；所述第一目标特征为第一细节特征中的目标特征，所述第二目标特征为第二细节特征中的目标特征；所述第一人脸图像和所述第二人脸图像为身份相同、姿态不同的人脸图像；
10、将角度旋转后的第一目标特征交换至第二细节特征中，得到特征交换后的第一细节特征；将角度旋转后的第二目标特征交换至第一细节特征中，得到特征交换后的第二细节特征；
11、将特征交换后的第一细节特征和特征交换后的所述第二细节特征输入至解码器中，生成对应于第一人脸图像的第三人脸图像和对应于第二人脸图像的第四人脸图像；
12、基于所述第一人脸图像与所述第三人脸图像的相似度、以及所述第二人脸图像和所述第四人脸图像的相似度对人脸重定向模型中各个模块的参数进行更新，以实现所述人脸重定向模型的训练。
13、本公开实施例的第三方面，提供了一种人脸重定向模型训练装置，包括：
14、特征提取模块，用于将第一人脸图像和第二人脸图像依次输入至编码器、无关属性分解模块、交叉属性分离模块中，得到第一细节特征、第二细节特征、角度旋转后的第一目标特征和角度旋转后的第二目标特征；
15、所述第一细节特征为对应于第一人脸图像的细节特征，所述第二细节特征为对应于第二人脸图像的细节特征；所述第一目标特征为第一细节特征中的目标特征，所述第二目标特征为第二细节特征中的目标特征；所述第一人脸图像和所述第二人脸图像为身份相同、姿态不同的人脸图像；
16、特征交换模块，用于将角度旋转后的第一目标特征交换至第二细节特征中，得到特征交换后的第一细节特征；将角度旋转后的第二目标特征交换至第一细节特征中，得到特征交换后的第二细节特征；
17、图像生成模块，用于将特征交换后的第一细节特征和特征交换后的所述第二细节特征输入至解码器中，生成对应于第一人脸图像的第三人脸图像和对应于第二人脸图像的第四人脸图像；
18、参数更新模块，用于基于所述第一人脸图像与所述第三人脸图像的相似度、以及所述第二人脸图像和所述第四人脸图像的相似度对人脸重定向模型中各个模块的参数进行更新以实现所述人脸重定向模型的训练。
19、本公开实施例的第四方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的人脸重定向模型训练方法的步骤。
20、本公开实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的人脸重定向模型训练方法的步骤。
21、本公开实施例提供的人脸重定向模型、模型训练方法及装置的有益效果在于：
22、本公开实施例中，首先通过编码器对人脸图像进行特征提取得到人脸特征，然后通过无关属性分解模块对人脸特征进一步提取细节特征，再旋转细节特征中的视线特征或头部特征，其他细节特征保持不变，最后基于旋转后的细节特征生成新的人脸图像。这样，通过改变人脸图像的视线特征或头部特征来生成新的图像，对现有视线估计样本集进行数据增广，能够提高样本集的质量。
本文档来自技高网...【技术保护点】
1.一种人脸重定向模型，其特征在于，包括：
2.如权利要求1所述的人脸重定向模型，其特征在于，所述对所述细节特征中的目标特征进行角度旋转，包括：
3.如权利要求2所述的人脸重定向模型，其特征在于，所述第一旋转矩阵具体为：
4.如权利要求1所述的人脸重定向模型，其特征在于，所述目标特征为从视线特征和头部特征中随机选取的一种特征。
5.一种人脸重定向模型训练方法，其特征在于，包括：
6.如权利要求5所述的人脸重定向模型训练方法，其特征在于，在所述将特征交换后的第一细节特征和特征交换后的所述第二细节特征输入至解码器中的步骤之前还包括：
7.如权利要求5所述的人脸重定向模型训练方法，其特征在于，还包括：
8.一种人脸重定向模型训练装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介
...【技术特征摘要】
1.一种人脸重定向模型，其特征在于，包括：
2.如权利要求1所述的人脸重定向模型，其特征在于，所述对所述细节特征中的目标特征进行角度旋转，包括：
3.如权利要求2所述的人脸重定向模型，其特征在于，所述第一旋转矩阵具体为：
4.如权利要求1所述的人脸重定向模型，其特征在于，所述目标特征为从视线特征和头部特征中随机选取的一种特征。
5.一种人脸重定向模型训练方法，其特征在于，包括：
6.如权利要求5所述的人脸重定向模型训练方法，其特征在于，在所述将特征交换后的第一细节特征和特征交换后的所...
【专利技术属性】
技术研发人员：张航，李睿凡，吴惠甲，李佩佩，杨智博，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。