视线预测方法、装置、系统和可读存储介质制造方法及图纸

本申请涉及一种视线预测方法、装置、系统和可读存储介质。所述方法包括：获取待处理的目标眼睛图像；将所述目标眼睛图像输入预先训练的视线预测模型，输出所述目标眼睛图像的预测视线向量；其中，所述视线预测模型是基于眼睛渲染图像训练样本的重构损失和预测视线损失、以及眼睛真实图像训练样本的重构损失训练得到的；所述预测视线损失包括：所述眼睛渲染图像训练样本的预测视线向量和标注视线向量之间的损失，所述眼睛渲染图像训练样本的预测视线向量是从所述眼睛渲染图像训练样本的眼睛图像中提取眼睛特征并预测得到的。采用本方法能够实现渲染域与真实域的跨域，可以提高视线预测的准确性。

Line of sight prediction methods, devices, systems and readable storage media

【技术实现步骤摘要】
视线预测方法、装置、系统和可读存储介质
本申请涉及图像处理
，特别是涉及一种视线预测方法、装置、系统和可读存储介质。
技术介绍
人们能够相互从对方的眼睛中读取出很多信息，如：意图，情绪等，因此基于人眼睛的图像处理算法在智能视觉信息处理领域是一个重要的方向，其中基于人眼图像的视线回归是一个重要任务。视线回归任务的主要目标是基于一张人眼图片，估算出其视线在相机坐标系下的方向(一般以人体长轴方向为z轴方向，垂直于人体长轴的前后方向为x轴方向，垂直于人体长轴的左右方向为y轴方向)，一般是估计视线的yaw(偏航角)和pitch(俯仰角)或者估计视线单位向量的x，y，z值。传统的算法主要是基于KNN(k-NearestNeighbor，K邻近算法)，随机森林等方法来完成，但是在运算时间消耗和精度上面无法满足需求。近几年来基于深度学习的图像处理算法发展迅速，同时也使得视线回归任务有了突破性地进展。基于深度学习的视线回归方法主要是将人眼图片输入神经网络，然后由神经网络输出预测视线向量。基于深度学习的算法能够很好地应对光照变化，人的皮肤变化以及人的headpose(头部姿态)变化等传统算法无法处理好的问题。基于深度学习的视线回归方法也存在一个问题：视线标注数据的缺乏，因为视线向量是无法通过手工方法精确标注的。当前的一种解决思路是利用渲染的图片和标注训练神经网络并且应用到真实人眼图片上的方法，然而由于渲染图片的皮肤，光照，图片质量等与真实图片之间存在一定的差距，也就是说渲染数据集和真实数据集之间存在域与域之间的差距，这种基于跨域训练样本训练得到的模型存在跨域导致的不够准确的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高跨域训练样本训练得到的模型的准确性的视线预测方法、装置、系统和可读存储介质。第一方面，一种视线预测方法，所述方法包括：获取待处理的目标眼睛图像；将所述目标眼睛图像输入预先训练的视线预测模型，输出所述目标眼睛图像的预测视线向量；其中，所述视线预测模型是基于眼睛渲染图像训练样本的重构损失和预测视线损失、以及眼睛真实图像训练样本的重构损失训练得到的；所述重构损失包括：各训练样本的眼睛图像和重构后的眼睛图像之间的损失，所述重构后的眼睛图像是从各训练样本的眼睛图像中提取眼睛特征并重构得到的；所述预测视线损失包括：所述眼睛渲染图像训练样本的预测视线向量和标注视线向量之间的损失，所述眼睛渲染图像训练样本的预测视线向量是从所述眼睛渲染图像训练样本的眼睛图像中提取眼睛特征并预测得到的。在其中一个实施例中，所述眼睛渲染图像训练样本包括：眼睛渲染图像和标注视线向量；所述眼睛真实图像训练样本包括：眼睛真实图像；当所述视线预测模型的输入为所述眼睛渲染图像时，输出为所述眼睛渲染图像的预测视线向量和重构后的眼睛渲染图像；当所述视线预测模型的输入为所述眼睛真实图像时，输出为重构后的眼睛真实图像。在其中一个实施例中，所述视线预测模型的训练方式，包括：获取眼睛渲染图像训练样本和眼睛真实图像训练样本；将所述眼睛渲染图像和眼睛真实图像分别输入初始的视线预测模型，得到重构后的眼睛渲染图像和重构后的眼睛真实图像，以及所述眼睛渲染图像的预测视线向量；根据所述眼睛渲染图像和重构后的眼睛渲染图像，计算所述眼睛渲染图像训练样本的重构损失；根据所述眼睛真实图像和重构后的眼睛真实图像，计算所述眼睛真实图像训练样本的重构损失；以及根据所述眼睛渲染图像的预测视线向量和标注视线向量，计算所述眼睛渲染图像训练样本的预测视线损失；根据所述眼睛渲染图像训练样本的重构损失和预测视线损失、以及所述眼睛真实图像训练样本的重构损失，对所述初始的视线预测模型进行训练，得到所述视线预测模型。在其中一个实施例中，所述根据所述眼睛渲染图像训练样本的重构损失和预测视线损失、以及所述眼睛真实图像训练样本的重构损失，对所述初始的视线预测模型进行训练，得到所述视线预测模型，包括：根据重构损失和预测视线损失，计算预训练损失函数，以及根据所述预训练损失函数对所述初始的视线预测模型进行训练，得到预训练视线预测模型；所述重构损失包括所述眼睛渲染图像训练样本的重构损失和所述眼睛真实图像训练样本的重构损失；根据重构损失和预测视线损失，计算目标训练损失函数，以及根据所述目标训练损失函数对所述预训练视线预测模型再次进行训练，得到所述视线预测模型；所述目标训练损失函数中重构损失的比重小于所述预训练损失函数中重构损失的比重。在其中一个实施例中，所述预训练损失函数包括：Lg+β1Lr，其中，Lg为预测视线损失，Lr为重构损失，β1为预训练损失函数中重构损失和预测视线损失之间的偏置项；所述目标训练损失函数包括：Lg+β2Lr，其中，β2为目标训练损失函数中重构损失和预测视线损失之间的偏置项，且β1>β2>0。在其中一个实施例中，所述视线预测模型包括：特征提取子模型、视线预测子模型和重构子模型；所述将所述眼睛渲染图像和眼睛真实图像分别输入初始的视线预测模型，得到重构后的眼睛渲染图像和重构后的眼睛真实图像，以及所述眼睛渲染图像的预测视线向量，包括：将所述眼睛渲染图像输入所述特征提取子模型，输出从所述眼睛渲染图像中提取的眼睛渲染特征，以及将所述眼睛真实图像输入所述特征提取子模型，输出从所述眼睛真实图像中提取的眼睛真实特征；将所述眼睛渲染特征输入所述重构子模型，输出重构后的眼睛渲染图像，以及将所述眼睛真实特征输入所述重构子模型，输出重构后的眼睛真实图像；将所述眼睛渲染特征输入所述视线预测子模型，输出所述眼睛渲染图像的预测视线向量。在其中一个实施例中，所述获取眼睛渲染图像训练样本，包括：通过渲染工具对眼睛进行建模，得到眼睛模型；根据所述眼睛模型，生成不同设置参数下的眼睛渲染图像和标注视线向量。在其中一个实施例中，所述设置参数包括：相机参数和视线参数，其中，所述相机参数符合预设相机角度范围，所述视线参数符合预设视线角度范围。在其中一个实施例中，所述获取眼睛渲染图像训练样本，还包括：根据所述眼睛模型，在生成所述眼睛渲染图像和标注视线向量的同时，生成相应的眼睛渲染图像的内外眼角标注；所述眼睛真实图像训练样本还包括：眼睛真实图像的内外眼角标注；在所述获取眼睛渲染图像训练样本和眼睛真实图像训练样本之后，所述视线预测模型的训练方式，还包括：根据所述眼睛渲染图像的内外眼角标注和所述眼睛真实图像的内外眼角标注，对所述眼睛渲染图像和所述眼睛真实图像进行裁剪处理，得到裁剪处理后的眼睛渲染图像和眼睛真实图像。在其中一个实施例中，所述视线预测模型包括：特征提取子模型和视线预测子模型；所述将所述目标眼睛图像输入预先训练的视线预测模型，输出所述目标眼睛图像的预测视线向量，包括：将所述目标眼睛图像输入预先训练的视线预测模型，通过所述特征提取子模型提取眼睛特征；将所述眼睛特征输入到所述视线预测子模型，输出所述目标眼睛图像的预测视线向量。第二方面，一种视线预测模型的训练方法，所述方法包括：获取眼睛渲染图像训练样本和眼睛真实图像训练样本；所述眼睛渲染图像训练样本包括：眼睛渲染图像和标注视线向量；所述眼睛真实图像训练样本包括：眼睛真实图像；将所述眼睛渲染图像和眼睛真实图像分别输入初始的视线预测模型，得到重构后的眼睛渲本文档来自技高网...

【技术保护点】
1.一种视线预测方法，其特征在于，所述方法包括：获取待处理的目标眼睛图像；将所述目标眼睛图像输入预先训练的视线预测模型，输出所述目标眼睛图像的预测视线向量；其中，所述视线预测模型是基于眼睛渲染图像训练样本的重构损失和预测视线损失、以及眼睛真实图像训练样本的重构损失训练得到的；所述重构损失包括：各训练样本的眼睛图像和重构后的眼睛图像之间的损失，所述重构后的眼睛图像是从各训练样本的眼睛图像中提取眼睛特征并重构得到的；所述预测视线损失包括：所述眼睛渲染图像训练样本的预测视线向量和标注视线向量之间的损失，所述眼睛渲染图像训练样本的预测视线向量是从所述眼睛渲染图像训练样本的眼睛图像中提取眼睛特征并预测得到的。

【技术特征摘要】
1.一种视线预测方法，其特征在于，所述方法包括：获取待处理的目标眼睛图像；将所述目标眼睛图像输入预先训练的视线预测模型，输出所述目标眼睛图像的预测视线向量；其中，所述视线预测模型是基于眼睛渲染图像训练样本的重构损失和预测视线损失、以及眼睛真实图像训练样本的重构损失训练得到的；所述重构损失包括：各训练样本的眼睛图像和重构后的眼睛图像之间的损失，所述重构后的眼睛图像是从各训练样本的眼睛图像中提取眼睛特征并重构得到的；所述预测视线损失包括：所述眼睛渲染图像训练样本的预测视线向量和标注视线向量之间的损失，所述眼睛渲染图像训练样本的预测视线向量是从所述眼睛渲染图像训练样本的眼睛图像中提取眼睛特征并预测得到的。2.根据权利要求1所述的方法，其特征在于，所述眼睛渲染图像训练样本包括：眼睛渲染图像和标注视线向量；所述眼睛真实图像训练样本包括：眼睛真实图像；当所述视线预测模型的输入为所述眼睛渲染图像时，输出为所述眼睛渲染图像的预测视线向量和重构后的眼睛渲染图像；当所述视线预测模型的输入为所述眼睛真实图像时，输出为重构后的眼睛真实图像。3.根据权利要求2所述的方法，其特征在于，所述视线预测模型的训练方式，包括：获取眼睛渲染图像训练样本和眼睛真实图像训练样本；将所述眼睛渲染图像和眼睛真实图像分别输入初始的视线预测模型，得到重构后的眼睛渲染图像和重构后的眼睛真实图像，以及所述眼睛渲染图像的预测视线向量；根据所述眼睛渲染图像和重构后的眼睛渲染图像，计算所述眼睛渲染图像训练样本的重构损失；根据所述眼睛真实图像和重构后的眼睛真实图像，计算所述眼睛真实图像训练样本的重构损失；以及根据所述眼睛渲染图像的预测视线向量和标注视线向量，计算所述眼睛渲染图像训练样本的预测视线损失；根据所述眼睛渲染图像训练样本的重构损失和预测视线损失、以及所述眼睛真实图像训练样本的重构损失，对所述初始的视线预测模型进行训练，得到所述视线预测模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述眼睛渲染图像训练样本的重构损失和预测视线损失、以及所述眼睛真实图像训练样本的重构损失，对所述初始的视线预测模型进行训练，得到所述视线预测模型，包括：根据重构损失和预测视线损失，计算预训练损失函数，以及根据所述预训练损失函数对所述初始的视线预测模型进行训练，得到预训练视线预测模型；所述重构损失包括所述眼睛渲染图像训练样本的重构损失和所述眼睛真实图像训练样本的重构损失；根据重构损失和预测视线损失，计算目标训练损失函数，以及根据所述目标训练损失函数对所述预训练视线预测模型再次进行训练，得到所述视线预测模型；所述目标训练损失函数中重构损失的比重小于所述预训练损失函数中重构损失的比重。5.根据权利要求4所述的方法，其特征在于，所述预训练损失函数包括：Lg+β1Lr，其中，Lg为预测视线损失，Lr为重构损失，β1为预训练损失函数中重构损失和预测视线损失之间的偏置项；所述目标训练损失函数包括：Lg+β2Lr，其中，β2为目标训练损失函数中重构损失和预测视线损失之间的偏置项，且β1>β2>0。6.根据权利要求3所述的方法，其特征在于，所述视线预测模型包括：特征提取子模型、视线预测子模型和重构子模型；所述将所述眼睛渲染图像和眼睛真实图像分别输入初始的视线预测模型，...

【专利技术属性】
技术研发人员：罗堃铭，刘东昊，赵姗，刘帅成，
申请(专利权)人：成都旷视金智科技有限公司，北京旷视科技有限公司，
类型：发明
国别省市：四川,51