一种三维人脸模型训练方法和装置制造方法及图纸

本发明专利技术的实施例提供了一种三维人脸模型训练方法及装置，方法包括：计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息；将损失惩罚项信息输入三维人脸重建网络，以获得更新后的待调整三维人脸模型；返回执行计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤，直至最新的损失惩罚项信息满足轮廓贴合条件。通过待调整三维人脸模型中的特征点与标准三维人脸模型中的特征点，反复迭代计算损失惩罚项信息，增强三维人脸重建网络对轮廓点的学习，从而构建出的三维人脸模型的边缘轮廓点与标准轮廓点尽可能的贴合。

【技术实现步骤摘要】
一种三维人脸模型训练方法和装置
本专利技术涉及三维人脸重建
，具体而言，涉及一种三维人脸模型训练方法和装置。
技术介绍
随着人工智能和三维技术的发展，出现了三维人脸重建技术，三维人脸重建是计算机视觉和计算机图形学的一个重要研究课题，广泛应用于人脸识别、人机交互、人脸表情驱动、AI(ArtificialIntelligence，人工智能)三维动画效果领域。目前，在很多应用程序中，用户使用三维动画特效，在人脸角度偏转较大时，三维动画效果与人脸不贴合。
技术实现思路
本专利技术的目的包括，例如，提供了一种三维人脸模型训练方法和装置，其能够解决在人脸角度偏转较大时，三维动画效果与人脸不贴合的问题。为了实现上述目的，本申请实施例采用的技术方案如下：第一方面，本申请实施例提供了一种三维人脸模型训练方法，所述方法包括：计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息，所述待调整轮廓点为未标记训练图像经三维人脸重建网络生成的待调整三维人脸模型中的特征点；所述标准轮廓点基于已标记图像生成的标准三维人脸模型中的特征点；所述未标记训练图像与所述已标记图像的视觉内容一致；将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型；返回执行所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤，直至最新的损失惩罚项信息满足轮廓贴合条件。在可选的实施方式中，所述损失惩罚项信息为五官特征点的损失惩罚项信息，当所述未标记训练图像为正视图时，则所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤包括：计算待调整轮廓点与对应的标准轮廓点的五官特征点的损失惩罚项信息，其中，待调整轮轮廓点为所述三维人脸重建网络生成的待调整三维人脸模型中的五官特征点，标准轮廓点为基于已标记图像生成的标准三维人脸模型中的五官特征点，所述五官特征点的损失惩罚项信息为待调整三维人脸模型中的五官特征点与标准三维人脸模型中的五官特征点的差异；所述将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型的步骤，包括：将所述五官特征点的损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型。在可选的实施方式中，所述损失惩罚项信息包括五官特征点的损失惩罚项信息和轮廓点的损失惩罚项信息，当所述未标记训练图像为侧视图时，则所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤包括：计算待调整轮廓点与对应的标准轮廓点的轮廓点的损失惩罚项信息；计算待调整轮廓点与对应的标准轮廓点的五官特征点的损失惩罚项信息，其中，待调整轮廓点为所述三维人脸重建网络生成的待调整三维人脸模型中的五官特征点和轮廓点，标准轮廓点为基于已标记图像生成的标准三维人脸模型中的五官特征点和轮廓点，所述轮廓点的损失惩罚项信息为待调整三维人脸模型中的轮廓点与标准人脸模型中的轮廓点的差异，所述五官特征点的损失惩罚项信息为待调整三维人脸模型中的五官特征点与标准人脸模型中五官特征点的差异；所述将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型的步骤，包括：将所述五官特征点的损失惩罚项信息和轮廓点的损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型。在可选的实施方式中，所述五官特征点的损失惩罚项信息，满足如下公式：其中，predictcontour为待调整三维人脸模型中五官特征点的坐标，labelcontour为标准三维人脸模型中五官特征点的坐标。在可选的实施方式中，所述轮廓点的损失惩罚项信息，满足如下公式：其中，predictkpt为待调整三维人脸模型中轮廓点的坐标，labelkpt标准三维人脸模型中轮廓点的坐标。在可选的实施方式中，所述方法还包括：确定所述待调整三维人脸模型或标准三维人脸模型中的每个网格点的坐标；确定各所述网格点的纵坐标，并按照纵坐标的值将各所述网格点进行排序；获取具有相同纵坐标的第一目标网格点组；针对每组所述第一目标网格点组，确定所述第一目标网格点组的每个网格点的横坐标；将所述第一目标网格点组中的网格点，按照横坐标的大小进行排序；获取排序后，横坐标最大和最小的网格点，得到所述待调整三维人脸模型中的特征点或标准三维人脸模型中的特征点。第二方面，本申请实施例提供了一种三维人脸重建网络，所述三维人脸网络通过所述三维人脸模型训练方法获得。第三方面，本申请实施例提供了一种三维人脸模型训练装置，所述装置包括：计算模块，用于计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息，所述待调整轮廓点为未标记训练图像经三维人脸重建网络生成的待调整三维人脸模型中的特征点；所述标准轮廓点基于已标记图像生成的标准三维人脸模型中的特征点；所述未标记训练图像与所述已标记图像的视觉内容一致；输入模块，用于将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型；执行模块，用于返回执行所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤，直至最新的损失惩罚项信息满足轮廓贴合条件。第四方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述三维人脸模型训练方法的步骤。第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述三维人脸模型训练方法的步骤。本申请具有以下有益效果：本申请通过计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息，将损失惩罚项信息输入三维人脸重建网络，以获得更新后的待调整三维人脸模型，返回执行计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤，直至最新的损失惩罚项信息满足轮廓贴合条件。通过待调整三维人脸模型中的特征点与标准三维人脸模型中的特征点，反复迭代计算损失惩罚项信息，增强三维人脸重建网络对轮廓点的学习，从而构建出的三维人脸模型的边缘轮廓点与标准轮廓点尽可能的贴合。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例提供的电子设备的方框示意图；图2为本专利技术实施例提供的一种三维人脸模型训练方法的流程示意图之一；图3为本专利技术实施例提供的一种三维人脸模型训练方法的流程图之二；图4为本专利技术实施例提供的一种三维人脸模型训练方法的流程图之三；图5为本专利技术实施例提供的三维人脸模型的轮廓点示意图；图6为本专利技术实施例提供的一种三维人脸模型训练装置的结构框图。具体实施方式为使本专利技术实施本文档来自技高网...

【技术保护点】
1.一种三维人脸模型训练方法，其特征在于，所述方法包括：/n计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息，所述待调整轮廓点为未标记训练图像经三维人脸重建网络生成的待调整三维人脸模型中的特征点；所述标准轮廓点基于已标记图像生成的标准三维人脸模型中的特征点；所述未标记训练图像与所述已标记图像的视觉内容一致；/n将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型；/n返回执行所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤，直至最新的损失惩罚项信息满足轮廓贴合条件。/n

【技术特征摘要】
1.一种三维人脸模型训练方法，其特征在于，所述方法包括：
计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息，所述待调整轮廓点为未标记训练图像经三维人脸重建网络生成的待调整三维人脸模型中的特征点；所述标准轮廓点基于已标记图像生成的标准三维人脸模型中的特征点；所述未标记训练图像与所述已标记图像的视觉内容一致；
将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型；
返回执行所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤，直至最新的损失惩罚项信息满足轮廓贴合条件。


2.根据权利要求1所述的方法，其特征在于，所述损失惩罚项信息为五官特征点的损失惩罚项信息，当所述未标记训练图像为正视图时，则所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤包括：
计算待调整轮廓点与对应的标准轮廓点的五官特征点的损失惩罚项信息，其中，待调整轮轮廓点为所述三维人脸重建网络生成的待调整三维人脸模型中的五官特征点，标准轮廓点为基于已标记图像生成的标准三维人脸模型中的五官特征点，所述五官特征点的损失惩罚项信息为待调整三维人脸模型中的五官特征点与标准三维人脸模型中的五官特征点的差异；
所述将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型的步骤，包括：
将所述五官特征点的损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型。


3.根据权利要求1所述的方法，其特征在于，所述损失惩罚项信息包括五官特征点的损失惩罚项信息和轮廓点的损失惩罚项信息，当所述未标记训练图像为侧视图时，则所述计算待调整轮廓点与对应的标准轮廓点的损失惩罚项信息的步骤包括：
计算待调整轮廓点与对应的标准轮廓点的轮廓点的损失惩罚项信息；
计算待调整轮廓点与对应的标准轮廓点的五官特征点的损失惩罚项信息，其中，待调整轮廓点为所述三维人脸重建网络生成的待调整三维人脸模型中的五官特征点和轮廓点，标准轮廓点为基于已标记图像生成的标准三维人脸模型中的五官特征点和轮廓点，所述轮廓点的损失惩罚项信息为待调整三维人脸模型中的轮廓点与标准人脸模型中的轮廓点的差异，所述五官特征点的损失惩罚项信息为待调整三维人脸模型中的五官特征点与标准人脸模型中五官特征点的差异；
所述将所述损失惩罚项信息输入所述三维人脸重建网络，以获得更新后的待调整三维人脸模型的步骤，包括：
将所述五官特征点的损失惩罚项信息和轮廓点的损失惩罚...

【专利技术属性】
技术研发人员：芦爱余，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44