一种三维数字人脸的全参考质量评价方法和系统技术方案

本发明专利技术公开一种三维数字人脸的全参考质量评价方法和系统，包括：分别设定三个摄像机的运动轨道，运动轨道能够覆盖三维数字人脸的视点；计算并确定三个摄像机的运动轨道的中心；使用摄像机对失真的与未失真的参考三维人脸进行视频序列的采集；对采集到视频序列分别进行固定间隔的抽帧并拼接获得帧序列；将失真人脸与参考人脸的帧序列依次输入已完成训练的网络中进行特征提取，获得失真人脸提取特征和参考人脸提取特征；计算失真人脸提取特征和参考人脸提取特征的欧氏距离，将其作为三维数字人脸质量的评价指标，从而获得三维数字人脸的质量评价。其能够解决三位数字人脸数据难以直接处理的难题，并能够高效准确地评估三维人脸失真的视觉质量。脸失真的视觉质量。脸失真的视觉质量。

【技术实现步骤摘要】
一种三维数字人脸的全参考质量评价方法和系统


[0001]本专利技术涉及图像与视频处理
，具体地，涉及一种三维数字人脸的全参考质量评价方法和系统。

技术介绍

[0002]近几年，随着三维扫描设备和社交媒体的快速发展，三维数字人脸在三维人脸识别、医疗领域，虚拟增强现实中得到了运用广泛。一方面，在扫描设备的抖动影响下，三维数字人脸不可避免地会受到噪声地影响；另一方面，在有限的带宽与存储限制下，三维人脸不可避免地会被压缩简化，从而带来视觉上的失真。如何准确有效地评价失真对三维人脸视觉质量的影响，这给数字人的发展带来了极大的挑战。
[0003]三维人脸的数据一般由网格mesh组成，结构较为复杂，并且难以高效处理。然而基于二维投影的方法，虽然不能够直接针对复杂的三维人脸进行质量评价，但是能够将三维数字人脸投影成二维媒体，例如图像和视频，并利用图像与视频技术来进行质量评价。这种方法有效规避了复杂的三维数据处理并可以积极调用成熟的图像与视频质量评价的方法，故有着较高的研究价值。同时，在大部分数字人脸生成与传输系统中，参考的数字人脸是可以获得的，所以目前三维数字人脸的评价重点在于全参考的质量评价方法。
[0004]因此，如何设计出针对三维人脸的全参考质量评价方法在数字人领域是非常重要的。

技术实现思路

[0005]针对现有技术的不足，本专利技术的目的是提供一种三维数字人脸的全参考质量评价方法和系统、终端和介质。
[0006]为实现上述的目的，本专利技术提供一种三维数字人脸的质量评价方法，包括：
[0007]分别设定能减小数据量的摄像机的若干个运动轨道，所述若干个运动轨道均能够覆盖三维数字人脸的视点；
[0008]计算并确定所述若干个运动轨道的中心；
[0009]使用所述摄像机沿着若干个运动轨道移动，对失真的三维数字人脸与未失真的参考三维人脸进行视频序列的采集；
[0010]对采集到的失真的三维数字人脸视频序列和未失真的参考三维人脸视频序列分别进行固定间隔的抽帧并拼接获得帧序列；
[0011]将失真人脸与参考人脸的帧序列依次输入已完成训练的网络中进行特征提取，获得失真人脸提取特征和参考人脸提取特征；
[0012]计算所述失真人脸提取特征和参考人脸提取特征的欧氏距离，将其作为三维数字人脸质量的评价指标，从而获得三维数字人脸的质量评价。
[0013]优选地，所述摄像机的若干个运动轨道为三个用于视频捕捉的圆轨道，轨迹方程分别为：
[0014]Circle A:
[0015]Circle B:
[0016]Circle C:
[0017]其中，(x
cam
,y
cam
,z
cam
)为摄像机的位置坐标，Circle A，Circle B与Circle C分别是三个相应的轨迹方程，r是轨道的半径。
[0018]优选地，所述计算并确定所述三个运动轨道的中心，即确定三维数字人脸的中心，
[0019][0020]其中，三维数字人脸由点、边、面构成，P
i
代表了第i个点的三维坐标(x
i
,y
i
,z
i
)，N表示三维数字人脸地点的总数，C
P
表示三维数字人脸的中心坐标。
[0021]优选地，使用所述摄像机沿着若干个运动轨道移动，对失真的三维数字人脸与未失真的参考三维人脸进行视频序列的采集，包括：
[0022]使用三维可视化开源库对失真的三维数字人脸与未失真的参考三维人脸进行视频序列的采集；
[0023]根据三个摄像机轨道获得对应六段视频序列FV
A_dis
，FV
B_dis
，FV
c_dis
，FV
A_ref
，FV
B
_
ref
以及FV
c
_
ref
。
[0024]优选地，所述对采集到的失真的三维数字人脸视频序列和未失真的参考三维人脸视频序列分别进行固定间隔的抽帧并拼接获得帧序列，即为对失真三维数字人脸视频序列FV
A_dis
，FV
B_dis
和FV
c_dis
进行等间隔抽帧并拼接获得失真人脸的帧序列，对参考三维数字人脸视频序列FV
A_ref
，FV
B_ref
和FV
c_ref
进行等间隔抽帧并拼接获得参考人脸的帧序列。
[0025]优选地，利用预训练的ResNet3D对失真人脸与参考人脸的帧序列分别进行特征提取，获得特征W
dis
和W
ref
。
[0026]优选地，计算从失真人脸与参考人脸的帧序列中提取特征的欧氏距离，作为三维数字人脸质量的评价指标：
[0027][0028]其中，W
dis
和W
yef
分别表示从失真人脸和参考人脸帧序列中提取的特征，Loss为两种特征之间的欧氏距离，作为三维数字人脸质量评价指标。
[0029]根据本专利技术的第二个方面，提供一种三维数字人脸的质量评价系统，包括：
[0030]轨道模块，所述轨道模块分别设定能减小数据量的摄像机的若干个运动轨道，所述若干个运动轨道均能够覆盖三维数字人脸的视点；
[0031]中心模块，所述中心模块计算并确定所述若干个运动轨道的中心；
[0032]采集模块，所述采集模块使用所述摄像机沿着若干个运动轨道移动，对失真的三维数字人脸与未失真的参考三维人脸进行视频序列的采集；
[0033]抽帧模块，所述抽帧模块对采集到的失真的三维数字人脸视频序列和未失真的参考三维人脸视频序列分别进行固定间隔的抽帧并拼接获得帧序列；
[0034]特征提取模块，所述特征提取模块将失真人脸与参考人脸的帧序列依次输入已完成训练的网络中进行特征提取，获得失真人脸提取特征和参考人脸提取特征；
[0035]评价模块，所述评价模块计算所述失真人脸提取特征和参考人脸提取特征的欧氏距离，将其作为三维数字人脸质量的评价指标，从而获得三维数字人脸的质量评价。
[0036]根据本专利技术的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的方法，或，运行上述的系统。
[0037]根据本专利技术的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述的方法，或，运行上述的系统。
[0038]与现有技术相比，本专利技术具有如下的有益效果：
[0039]本专利技术实施例所提供的针对三维人脸的全参考质量评价方法能够通过摄像机对三维数字人脸进行视频序列的采集，将三维模型转化为二维投影，解决了三维数字人脸数据结构复杂，难以直接处理的难题。在此基础上，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维数字人脸的质量评价方法，其特征在于，包括：分别设定能减小数据量的摄像机的若干个运动轨道，所述若干个运动轨道均能够覆盖三维数字人脸的视点；计算并确定所述若干个运动轨道的中心；使用所述摄像机沿着若干个运动轨道移动，对失真的三维数字人脸与未失真的参考三维人脸进行视频序列的采集；对采集到的失真的三维数字人脸视频序列和未失真的参考三维人脸视频序列分别进行固定间隔的抽帧并拼接获得帧序列；将失真人脸与参考人脸的帧序列依次输入已完成训练的网络中进行特征提取，获得失真人脸提取特征和参考人脸提取特征；计算所述失真人脸提取特征和参考人脸提取特征的欧氏距离，将其作为三维数字人脸质量的评价指标，从而获得三维数字人脸的质量评价。2.根据权利要求1所述的三维数字人脸的质量评价方法，其特征在于，所述摄像机的若干个运动轨道为三个用于视频捕捉的圆轨道，轨迹方程分别为：Circle A:Circle B:Circle C:其中，(x
cam
,y
cam
,z
cam
)为摄像机的位置坐标，Circle A，Circle B与Circle C分别是三个相应的轨迹方程，r是轨道的半径。3.根据权利要求2所述的三维数字人脸的质量评价方法，其特征在于，所述计算并确定所述三个运动轨道的中心，即确定三维数字人脸的中心，其中，三维数字人脸由点、边、面构成，P
i
代表了第i个点的三维坐标(x
i
,y
i
,z
i
)，N表示构成三维数字人脸多边形网格mesh的数目，C
P
表示三维数字人脸的中心坐标。4.根据权利要求2所述的三维数字人脸的质量评价方法，其特征在于，使用所述摄像机沿着若干个运动轨道移动，对失真的三维数字人脸与未失真的参考三维人脸进行视频序列的采集，包括：使用三维可视化开源库对失真的三维数字人脸与未失真的参考三维人脸进行视频序列的采集；根据三个摄像机轨道获得对应六段视频序列FV
A_dis
，FV
β_dis
，FV
c_dis
，FV
A_ref
，FV
B_ref
以及FV
c_ref
。5.根据权利要求4所述的三维数字人脸的质量评价方法，其特征在于，所述对采集到的失真的三维数字人脸视频序列和未失真的参考三维人脸视频序列分别进行固定间隔...

【专利技术属性】
技术研发人员：翟广涛，张子澄，闵雄阔，周颖杰，孙伟，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：