表情特征参数处理方法、装置及电子设备制造方法及图纸

本申请提供一种表情特征参数处理方法、装置及电子设备，所述方法包括：获取待识别视频中的第一图像帧的目标单帧识别结果及多个第二图像帧的历史单帧识别结果，再通过偏移量预测模型，根据目标单帧识别结果及历史单帧识别结果获得与所述第一图像帧对应的识别偏移量，然后根据所述识别偏移量对所述目标单帧识别结果进行调整，获得调整后的表情特征参数。如此，可以根据历史单帧识别结果纠正当前的目标单帧识别结果，抵消目标单帧识别结果中可能存在的数据突变错误，使调整后的表情特征参数更符合历史单帧识别结果的变化趋势，并且计算量相对较小，处理效率更高。处理效率更高。处理效率更高。

【技术实现步骤摘要】
表情特征参数处理方法、装置及电子设备


[0001]本申请涉及图像处理领域，具体而言，涉及一种表情特征参数处理方法、装置及电子设备。

技术介绍

[0002]随着图像处理技术的不断发展，人脸3D模型生成技术被使用到的各种领域，例如，视频特效叠加、虚拟形象生成、数据分析等。为了使生成的3D人脸生动形象，在生成人脸3D模型时需要使用到多种不同的数据。以在生成人脸3D模型时较为常用的3D可变模型(3D Morphable Mode，3DMM)为例，在人脸重建的过程通常需要三种类型的特征参数，分别为：用于表征无表情状态下人脸轮廓3D形状的形状特征参数(又称形状系数)、用于表征人脸上色彩或阴影的颜色特征参数(又称颜色系数)、以及用于在重建的人脸模型上进行数据调整从而使模型具有不同表情的表情特征参数(又成表情系数)。
[0003]为了使生成的人脸模型更加逼真自然，以表情特征参数为例，可以通过对2D的图像进行识别分析，从而预测获得3D的表情特征系数。一些表情特征系数获取方式中，仅对单帧2D图像进行识别处理，从而获得单帧的表情特征系数识别结果，但可能存在识别错误率较高的问题；另一些表情特征系数提取方式中，采用了对多帧连续的2D图像进行特征提取及特征处理，联合得出单帧的识别结果，但处理计算量较大，处理效率不佳。

技术实现思路

[0004]为了克服现有技术中的上述不足，本申请的目的在于提供一种表情特征参数处理方法，所述方法包括：
[0005]获取待识别视频中的第一图像帧，通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果；
[0006]获取所述第一图像帧之前的多个第二图像帧的历史单帧识别结果；所述历史单帧识别结果包括对所述第二图像帧进行表情特征参数识别获得的表情特征参数；
[0007]将所述目标单帧识别结果及多个所述历史单帧识别结果输入的偏移量预测模型，获得与所述第一图像帧对应的识别偏移量；所述识别偏移量表征通过多个所述历史单帧识别结果的变化趋势预测出的表情特征参数与所述目标单帧识别结果之间的差异；
[0008]根据所述识别偏移量对所述目标单帧识别结果进行调整，获得调整后的表情特征参数。
[0009]在一种可能的实现方式中，所述单帧识别模型包括至少一个卷积单元及全连接单元；所述通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果的步骤，包括：
[0010]通过所述至少一个卷积单元对所述第一图像帧进行处理，获得中间处理结果；
[0011]通过所述全连接单元对所述中间处理结果进行处理，获得所述目标单帧识别结果，所述目标单帧识别结果包括多个表征不同面部器官的状态的数据。
[0012]在一种可能的实现方式中，将所述目标单帧识别结果及多个所述历史单帧识别结果输入偏移量预测模型，获得与所述第一图像帧对应的识别偏移量的步骤，包括：
[0013]基于所述偏移量预测模型中预先训练获得的第一模型参数、第二模型参数和第三模型参数，通过注意力机制根据所述目标单帧识别结果及多个所述历史单帧识别结果计算获得所述识别偏移量；
[0014]其中，所述第一模型参数和所述第二模型参数用于计算所述目标单帧识别结果和多个所述历史单帧识别结果之间的关联度，所述第三模型参数用于计算多个所述历史单帧识别结果的变化趋势。
[0015]在一种可能的实现方式中，基于所述偏移量预测模型中预先训练获得的第一模型参数、第二模型参数和第三模型参数，通过注意力机制根据所述目标单帧识别结果及多个所述历史单帧识别结果计算获得所述识别偏移量的步骤，包括：
[0016]根据所述目标单帧识别结果及所述偏移量预测模型的第一模型参数确定注意力函数的第一计算向量；
[0017]根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第二模型参数确定注意力函数的第二计算向量；
[0018]根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第三模型参数确定注意力函数的第三计算向量；所述编码常量矩阵用于指示多个所述历史单帧识别结果的顺序；
[0019]通过自注意力函数根据所述第一计算向量、第二计算向量及第三计算向量，计算获得所述识别偏移量。
[0020]在一种可能的实现方式中，所述根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第二模型参数确定注意力函数的第二计算向量的步骤，包括：
[0021]将由多个所述历史单帧识别结果组成的历史识别结果矩阵与所述编码常量矩阵相加，获得识别结果调整矩阵，并将所述识别结果调整矩阵与所述第二模型参数相乘，获得所述第二计算向量；
[0022]所述根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第三模型参数确定注意力函数的第三计算向量的步骤，包括：
[0023]由将多个所述历史单帧识别结果组成的历史识别结果矩阵与所述编码常量矩阵相加，获得识别结果调整矩阵，并将所述识别结果调整矩阵与所述第三模型参数相乘，获得所述第三计算向量；
[0024]其中，所述编码常量矩阵中，时序上靠近所述第一图像帧的第二图像帧对应的数据项的值大于时序上远离所述第一图像帧的第二图像帧对应的数据项的值。
[0025]在一种可能的实现方式中，述方法还包括：
[0026]根据所述调整后的表情特征参数进行面部重建。
[0027]在一种可能的实现方式中，所述方法还包括：
[0028]获取训练视频数据中的第三图像帧，及与所述第三图像帧对应的表情特征参数标签；
[0029]将所述第三图像帧输入待训练的单帧识别模型，获得所述单帧识别模型输出的表
情特征参数预测结果；
[0030]根据所述表情特征参数预测结果及所述表情特征参数标签对所述单帧识别模型的模型参数进行调整。
[0031]在一种可能的实现方式中，所述方法还包括：
[0032]获取在所述训练视频数据中，位于所述第三图像帧之前的多个第四图像帧的历史单帧识别结果；
[0033]将多个所述第四图像帧的历史单帧识别结果输入待训练的偏移量预测模型，获得所述偏移量预测模型输出的预测偏移量；
[0034]根据所述第三图像帧的表情特征参数标签及表情特征参数预测结果计算获得实际偏移量；
[0035]根据所述实际偏移量及所述预测偏移量对所述偏移量预测模型的模型参数进行调整。
[0036]本申请的另个一目的在于提供一种表情特征参数处理装置，所述表情特征参数处理装置包括：
[0037]数据获取模块，用于获取待识别视频中的第一图像帧，及所述第一图像帧之前的多个第二图像帧的历史单帧识别结果；所述历史单帧识别结果包括对所述第二图像帧进行表情特征参数识别获得的表情特征参数；
[0038]单帧识别模块，用于通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果；
[0039]偏移确定模块，用于将所述目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情特征参数处理方法，其特征在于，所述方法包括：获取待识别视频中的第一图像帧，通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果；获取所述第一图像帧之前的多个第二图像帧的历史单帧识别结果；所述历史单帧识别结果包括对所述第二图像帧进行表情特征参数识别获得的表情特征参数；将所述目标单帧识别结果及多个所述历史单帧识别结果输入的偏移量预测模型，获得与所述第一图像帧对应的识别偏移量；所述识别偏移量表征通过多个所述历史单帧识别结果的变化趋势预测出的表情特征参数与所述目标单帧识别结果之间的差异；根据所述识别偏移量对所述目标单帧识别结果进行调整，获得调整后的表情特征参数。2.根据权利要求1所述的方法，其特征在于，所述单帧识别模型包括至少一个卷积单元及全连接单元；所述通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果的步骤，包括：通过所述至少一个卷积单元对所述第一图像帧进行处理，获得中间处理结果；通过所述全连接单元对所述中间处理结果进行处理，获得所述目标单帧识别结果，所述目标单帧识别结果包括多个表征不同面部器官的状态的数据。3.根据权利要求1所述的方法，其特征在于，将所述目标单帧识别结果及多个所述历史单帧识别结果输入偏移量预测模型，获得与所述第一图像帧对应的识别偏移量的步骤，包括：基于所述偏移量预测模型中预先训练获得的第一模型参数、第二模型参数和第三模型参数，通过注意力机制根据所述目标单帧识别结果及多个所述历史单帧识别结果计算获得所述识别偏移量；其中，所述第一模型参数和所述第二模型参数用于计算所述目标单帧识别结果和多个所述历史单帧识别结果之间的关联度，所述第三模型参数用于计算多个所述历史单帧识别结果的变化趋势。4.根据权利要求1所述的方法，其特征在于，基于所述偏移量预测模型中预先训练获得的第一模型参数、第二模型参数和第三模型参数，通过注意力机制根据所述目标单帧识别结果及多个所述历史单帧识别结果计算获得所述识别偏移量的步骤，包括：根据所述目标单帧识别结果及所述偏移量预测模型的第一模型参数确定注意力函数的第一计算向量；根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第二模型参数确定注意力函数的第二计算向量；根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第三模型参数确定注意力函数的第三计算向量；所述编码常量矩阵用于指示多个所述历史单帧识别结果的顺序；通过自注意力函数根据所述第一计算向量、第二计算向量及第三计算向量，计算获得所述识别偏移量。5.根据权利要求4所述的方法，其特征在于，所述根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第二模型参数确定注意力函数的第二计算向
量的步骤，包括：将由多个所述历史单帧识别结果组成的历史识别结...

【专利技术属性】
技术研发人员：林哲，董浩业，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：