一种信息处理方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种信息处理方法、装置、设备及可读存储介质，涉及通信技术领域，以提高对眼睛闭合幅值预测的准确性。该方法包括：在用户的人脸图像中，确定人脸轮廓关键点；根据所述人脸轮廓关键点确定人脸姿态角；根据所述人脸轮廓关键点，确定第一目标部位的第一关键点的特征参数，其中，所述第一目标部位包括眉毛和眼睛；根据所述特征参数以及所述人脸姿态角，确定所述用户的虚拟形象的眼睛闭合幅值。本申请实施例可以提高对眼睛闭合幅值预测的准确性。准确性。准确性。

An information processing method, device, device and readable storage medium

【技术实现步骤摘要】
一种信息处理方法、装置、设备及可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种信息处理方法、装置、设备及可读存储介质。

技术介绍

[0002]现有技术中，有学者将面部肌肉运动和人脸表情相联系提出了面部动作编码系统(Facial Action Coding System,FACS)。通过对人脸肌肉运动进行详细分析，将表情动作划分为多个运动单元(Action Unit，AU)并且定义了六种基本表情：喜悦、愤怒、悲伤、厌恶、恐惧、惊讶。局部运动单元AU控制着脸部的各种运动行为，不同的AU在控制面部变形时又相互联系，最终可形成各种复杂的表情动作。不同的AU幅度值由0
‑
1.0控制，如眼睛闭合时幅度值为1.0，完全张开时为0，眼睛张开一半时幅度值为0.5。
[0003]近几年来，深度学习神经网络技术飞速发展，神经网络模型对人脸AU识别整体也带来了较好的效果，但精细到每个人脸AU上，神经网络模型的精确度较差，从而造成预测结果不准确。

技术实现思路

[0004]本申请实施例提供一种信息处理方法、装置、设备及可读存储介质，以提高对眼睛闭合幅值预测的准确性。
[0005]第一方面，本申请实施例提供了一种信息处理方法，其特征在于，包括：
[0006]在用户的人脸图像中，确定人脸轮廓关键点；
[0007]根据所述人脸轮廓关键点确定人脸姿态角；
[0008]根据所述人脸轮廓关键点，确定第一目标部位的第一关键点的特征参数，其中，所述第一目标部位包括眉毛和眼睛；
[0009]根据所述特征参数以及所述人脸姿态角，确定所述用户的虚拟形象的眼睛闭合幅值。
[0010]第二方面，本申请实施例还提供一种信息处理装置，包括：
[0011]第一确定模块，用于在用户的人脸图像中，确定人脸轮廓关键点；
[0012]第二确定模块，用于根据所述人脸轮廓关键点确定人脸姿态角；
[0013]第三确定模块，用于根据所述人脸轮廓关键点，确定第一目标部位的第一关键点的特征参数，其中，所述第一目标部位包括眉毛和眼睛；
[0014]第四确定模块，用于根据所述特征参数以及所述人脸姿态角，确定所述用户的虚拟形象的眼睛闭合幅值。
[0015]第三方面，本申请实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的信息处理方法中的步骤。
[0016]第四方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程
序，所述程序被处理器执行时实现如上所述的信息处理方法中的步骤。
[0017]在本申请实施例中，通过在人脸图像中确定的人脸轮廓关键点以及根据所述人脸轮廓关键点确定人脸姿态角，并结合第一目标部位的关键点的特征参数以及所述人脸姿态角，得到所述用户的虚拟形象的眼睛闭合幅值。由于在确定眼睛闭合幅值的过程中将人脸姿态角作为考虑因素，因此，利用本申请实施例的方案，考虑了转头对眼睛闭合幅值的影响，从而可预测不同的人脸姿态角下眼睛闭合幅值的大小，进而提高了在确定眼睛闭合幅值时的准确性。
附图说明
[0018]图1是本申请实施例提供的信息处理方法的流程图之一；
[0019]图2是人脸轮廓关键点的示意图；
[0020]图3(a)和图3(b)分别是人脸106点模型结构示意图；
[0021]图4是利用人脸106点模型选取的部分关键点的示意图；
[0022]图5是坐标系的工作原理；
[0023]图6是眉毛和眼睛区域的中心并向外扩成外接矩形的示意图；
[0024]图7是眉毛和眼睛的关键点示意图；
[0025]图8是本申请实施例提供的信息处理方法的流程图之二；
[0026]图9是本申请实施例提供的信息处理装置的结构图。
具体实施方式
[0027]本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0028]本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]参见图1，图1是本申请实施例提供的信息处理方法的流程图，如图1所示，包括以下步骤：
[0031]步骤101、在用户的人脸图像中，确定人脸轮廓关键点。
[0032]当获取了用户的图像后，可通过人脸检测模型在图像中定位人脸区域。在此步骤中，可将人脸图像输入到106点预测模型中，以得到适应于用户脸型的106个轮廓关键点的位置分布信息。如图2所示，为通过106点预测模型确定的人脸轮廓关键点的示意图。当然，在实际应用中，也可采用其他的模型来确定人脸轮廓关键点。
[0033]如图3(a)和图3(b)所示，为人脸106点模型结构示意图。该结构主要由3x3卷积层、bottle_neck结构以及mobilenetv2 block结构组成。人脸106点模型训练方法如下：
[0034](1)在一系列人脸图像中标注106个关键点；(2)将图像裁剪成成112x112的大小，并输入模型中进行训练；(3)基于模型训练回归106个关键点。
[0035]步骤102、根据所述人脸轮廓关键点确定人脸姿态角。
[0036]在此步骤中，可在人脸转动的情况下，通过获取到的人脸106个人脸轮廓关键点(二维)计算人脸姿态角(roll,pitch,yaw)。其中，pitch为俯仰角，表示物体绕x轴旋转；yaw为偏航角，表示物体绕y轴旋转；roll为翻滚角，表示物体绕z轴旋转。
[0037]在此步骤中，可主要包括如下步骤：
[0038](1)从所述人脸轮廓关键点中，选择第二目标部位的关键点；其中，所述第二目标部位包括鼻尖，下巴，左眼角，右眼角，左嘴角，右嘴角中的一项或者多项。第二目标部位所包括的元素越多，计算的人脸姿态角可越准确。
[0039](2)获得所述第二目标部位的关键点的二维坐标以及所述关键点的三维坐标。
[0040]通过前述获取到的人脸106个人脸轮廓关键点，如图4所示，挑选出鼻尖，下巴，左眼角，右眼角，左嘴角，右嘴角这6个2d关键点，其坐标分别对应人脸106点第46、16、52、61、84、90关键点。
[0041]通过上述选取的6个2d人脸轮廓关键点，获取其对应3D人脸轮廓关键点坐标。例如，可通过3D头模获取其对应3D人脸轮廓关键点坐标。D头模选取通用模型即可，无需单独为每个人脸创建3D头模，其中，假设本申请实施例使用的3D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：在用户的人脸图像中，确定人脸轮廓关键点；根据所述人脸轮廓关键点确定人脸姿态角；根据所述人脸轮廓关键点，确定第一目标部位的第一关键点的特征参数，其中，所述第一目标部位包括眉毛和眼睛；根据所述特征参数以及所述人脸姿态角，确定所述用户的虚拟形象的眼睛闭合幅值。2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸轮廓关键点确定人脸姿态角，包括：从所述人脸轮廓关键点中，选择第二目标部位的第二关键点；其中，所述第二目标部位包括鼻尖，下巴，左眼角，右眼角，左嘴角，右嘴角中的一项或者多项；获得所述第二关键点的二维坐标以及所述第二关键点的三维坐标；根据所述第二关键点的二维坐标以及第二所述关键点的三维坐标，计算人脸的旋转向量；根据所述旋转向量，确定所述人脸姿态角。3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸轮廓关键点，确定第一目标部位的第一关键点的特征参数，包括：从所述人脸轮廓关键点中确定所述第一目标部位的第一关键点；从所述第一关键点中确定上眼皮的关键点以及下眼皮的关键点；从所述上眼皮的关键点中确定上眼皮关键点的中心点，以及，从所述下眼皮的关键点中确定下眼皮关键点的中心点；计算所述上眼皮关键点的中心点与所述下眼皮关键点的中心点之间的距离，以及，计算所述第一目标部位所在区域的外接矩形的边长。4.根据权利要求3所述的方法，其特征在于，从所述第一关键点中确定上眼皮的关键点以及下眼皮的关键点，包括：根据所述第一关键点，利用关键点预测模型预测所述第一关键点的分布；根据所述第一关键点的分布，确定所述上眼皮的关键点以及所述下眼皮的关键点。5.根据权利要求3所述的方法，其特征在于，所述根据所述特征参数以及所述人脸姿态角，确定所述用户的虚拟形象的眼睛闭合幅值，包括：根据所述特征参数以及所述人脸姿态角，确定预测的眼睛闭合幅值；根据所述预测的眼睛闭合幅值，确定所述用户的虚拟形象的眼睛闭合幅值。6.根据权利要求5所述的方法，其特征在于，所述特征参数包括所述上眼皮关键点的中心点与所述下眼皮关键点的中心点之间的距离、所述第一目标部位所在...

【专利技术属性】
技术研发人员：胡良军，王乐，苏宗涛，罗德海，廖智勇，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：