基于姿态校验的图像修复方法技术

本发明专利技术涉及基于姿态校验的图像修复方法，通过提取修复前人脸图像的人脸轮廓特征、修复后的人脸图像的五官特征，然后基于人脸轮廓特征来确定原图像的第一人脸姿态，以后修复部分人脸的第二人脸姿态。如果出现修复前后人脸姿态不一致的情况时，对修复部分的人脸进行调整，从而使得修复前后的人脸姿态一致，最终呈现的人脸效果更加自然。现的人脸效果更加自然。现的人脸效果更加自然。

【技术实现步骤摘要】
基于姿态校验的图像修复方法


[0001]本专利技术涉及图像修复
，具体是基于姿态校验的图像修复方法。

技术介绍

[0002]现有的人脸图像修复算法，如AI换脸，主要是基于人脸库中的训练数据对人工神经网络进行训练。然后通过训练好的AI模型对人脸部位进行替换。
[0003]但是由于现有的AI模型的训练数据大多是脸部的正面图像，对于倾斜姿态的人脸训练较少。因此对于带有非正面姿态的脸部图像，在修复和替换时，容易出现修复区域与原有区域的姿态不匹配的情况。

技术实现思路

[0004]有鉴于此，本专利技术的目的是提供基于姿态校验的图像修复方法，以解决现有的AI模型对于带有非正面姿态的脸部图像，在修复或者替换时容易出现修复区域与原有区域的姿态不匹配的问题。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：本专利技术的基于姿态校验的图像修复方法，包括步骤：获取待修复的人脸图像、以及修复后的人脸图像，其中，所述修复后的人脸图像通过对所述待修复的人脸图像进行五官替换后得到；提取所述待修复的人脸图像中的人脸轮廓特征、以及所述修复后的人脸图像中的五官特征；基于所述人脸轮廓特征、以及预先建立的特征数据库确定所述待修复的人脸图像的第一人脸姿态，并基于所述五官特征、以及预先建立的特征数据库确定修复后的人脸图像的第二人脸姿态，其中，所述特征数据库包括人脸轮廓特征与第一人脸姿态的对应关系、以及五官特征与第二人脸姿态的对应关系；将所述第一人脸姿态与所述第二人脸姿态进行对比，并在所述第二人脸姿态与所述第一人脸姿态不一致时，对所述修复后的人脸图像的修复区域进行姿态调整，以使得调整后的修复区域的姿态与所述第一人脸姿态一致。
[0006]在本申请一实施例中，还包括如下过程建立特征数据库：获取多种人脸类型的正前方视角的样本图像、以及每种人脸类型对应的多个人脸点位的深度值，其中，所述多个人脸点位的深度值预先扫描人脸获取；将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型；转动每一个三维人脸模型，并记录每一个三维人脸模型在多种人脸姿态下的人脸轮廓特征和五官特征，得到与多种人脸类型对应的特征数据库。
[0007]在本申请一实施例中，所述样本图像照射光源与图像中的人脸相对，其中，将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型，包括：将所述样本图像转换为灰度图像；
确定与所述多个人脸点位对应的基准像素点，并将每个人脸点位的深度值赋予至对应的基准像素点；确定符合目标条件两个相邻的基准像素点的连线上的像素点的深度值，得到人脸网格，所述深度值的数学表达式为：式中，和分别为所述两个相邻的基准像素点的深度值，分别为所述两个相邻的基准像素点的灰度值，为像素点的灰度值，为比例因子；将所述人脸网格转换为三维人脸模型。
[0008]在本申请一实施例中，所述人脸轮廓特征包括左下颚线的长度与右下颚线的长度的第一比值、左下颚线与左脸侧线的第一夹角，或者左下颚线的长度与右下颚线的长度的第一比值、右下颚线与右脸侧线的第二夹角；其中，提取所述待修复的人脸图像中的人脸轮廓特征，包括：提取所述待修复的人脸图像的轮廓特征；将所述待修复的人脸图像的轮廓特征输入至预先建立的轮廓识别模型中，得到左下颚线、右下颚线、左脸侧线和右脸侧线，其中，还包括如下方案建立轮廓识别模型：获取多个人脸图像，提取所述多个人脸图像的轮廓特征，并对所述多个人脸图像的轮廓特征进行标注，以所述多个人脸图像的轮廓特征以及轮廓特征的标注构建训练数据集，基于所述训练数据集对人工神经网络进行训练，得到轮廓识别模型；基于所述左下颚线、所述右下颚线、所述左脸侧线和所述右脸侧线确定第一比值、第一夹角和第二夹角，得到人脸轮廓特征。
[0009]在本申请一实施例中，基于所述人脸轮廓特征确定所述待修复的人脸图像的第一人脸姿态，包括：对所述待修复的人脸图像进行识别，得到第一目标人脸类型；确定与所述第一目标人脸类型对应的第一目标特征数据库，并基于所述人脸轮廓特征从所述第一目标特征数据库中确定所述待修复的人脸图像的第一人脸姿态，其中，所述第一人脸姿态包括人脸水平转向角度和人脸俯仰角度。
[0010]在本申请一实施例中，提取所述修复后的人脸图像中的五官特征，包括：提取所述修复后的人脸图像中的左眼中心点A、右眼中心点B、左嘴角点C、右嘴角点D和鼻尖中点E；确定第三夹角的值、以及第四夹角的值，得到五官特征，其中，所述第三夹角为角AEB或者角CED，所述第四夹角为角AEC或者角BED。
[0011]在本申请一实施例中，基于所述五官特征确定修复后的人脸图像的第二人脸姿态，包括：对所述修复后的人脸图像进行识别，得到第二目标人脸类型；
确定与所述第二目标人脸类型对应的第二目标特征数据库，并基于所述五官特征从所述第二目标特征数据库中确定所述修复后的人脸图像的第二人脸姿态，其中，所述第二人脸姿态包括人脸水平转向角度和人脸俯仰角度。
[0012]在本申请一实施例中，对所述修复后的人脸图像的修复区域进行姿态调整，包括：提取修复区域的部分人脸的多个关键点，其中，所述多个关键点与所述人脸点位对应；确定所述修复区域的部分人脸的朝向与样本图像的人脸方向的夹角；基于所述夹角确定多个关键点的深度值，，其中，为与关键点对应的人脸点位的深度值；基于多个关键点的深度值建立部分人脸的三维模型；截取处于所述第一人脸姿态的部分人脸的平面图像，并对所述修复区域的图像进行替换，完成姿态调整。
[0013]在本申请一实施例中，还包括：在所述夹角大于预设的角度阈值，或者，所述关键点数量少于预设的数量阈值时，基于所述多个关键点建立半张脸的三维模型，并通过镜像复制所述半张脸的三维模型得到所述部分人脸的三维模型。
[0014]在本申请一实施例中，所述目标条件为:两个相邻的基准像素点的距离不超过预设阈值。
[0015]本专利技术的有益效果是：本专利技术的基于姿态校验的图像修复方法，通过提取修复前人脸图像的人脸轮廓特征、修复后的人脸图像的五官特征，然后基于人脸轮廓特征来确定原图像的第一人脸姿态，以后修复部分人脸的第二人脸姿态。如果出现修复前后人脸姿态不一致的情况时，对修复部分的人脸进行调整，从而使得修复前后的人脸姿态一致，最终呈现的人脸效果更加自然。
附图说明
[0016]下面结合附图和实施例对本专利技术作进一步描述：图1是本申请一实施例中示出的基于姿态校验的图像修复方法的流程图；图2为本申请一实施例示出的人脸轮廓特征示意图；图3为本申请一实施例中示出的五官特征的示意图；图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0017]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于姿态校验的图像修复方法，其特征在于，包括步骤：获取待修复的人脸图像、以及修复后的人脸图像，其中，所述修复后的人脸图像通过对所述待修复的人脸图像进行五官替换后得到；提取所述待修复的人脸图像中的人脸轮廓特征、以及所述修复后的人脸图像中的五官特征；基于所述人脸轮廓特征、以及预先建立的特征数据库确定所述待修复的人脸图像的第一人脸姿态，并基于所述五官特征、以及预先建立的特征数据库确定修复后的人脸图像的第二人脸姿态，其中，所述特征数据库包括人脸轮廓特征与第一人脸姿态的对应关系、以及五官特征与第二人脸姿态的对应关系；将所述第一人脸姿态与所述第二人脸姿态进行对比，并在所述第二人脸姿态与所述第一人脸姿态不一致时，对所述修复后的人脸图像的修复区域进行姿态调整，以使得调整后的修复区域的姿态与所述第一人脸姿态一致。2.根据权利要求 1 所述的基于姿态校验的图像修复方法，其特征在于，还包括如下过程建立特征数据库：获取多种人脸类型的正前方视角的样本图像、以及每种人脸类型对应的多个人脸点位的深度值，其中，所述多个人脸点位的深度值预先扫描人脸获取；将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型；转动每一个三维人脸模型，并记录每一个三维人脸模型在多种人脸姿态下的人脸轮廓特征和五官特征，得到与多种人脸类型对应的特征数据库。3.根据权利要求 2 所述的基于姿态校验的图像修复方法，其特征在于，所述样本图像照射光源与图像中的人脸相对，其中，将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型，包括：将所述样本图像转换为灰度图像；确定与所述多个人脸点位对应的基准像素点，并将每个人脸点位的深度值赋予至对应的基准像素点；确定符合目标条件两个相邻的基准像素点的连线上的像素点的深度值，得到人脸网格，所述深度值的数学表达式为：式中，和分别为所述两个相邻的基准像素点的深度值，分别为所述两个相邻的基准像素点的灰度值，为像素点的灰度值，为比例因子；将所述人脸网格转换为三维人脸模型。4.根据权利要求 3 所述的基于姿态校验的图像修复方法，其特征在于，所述人脸轮廓特征包括左下颚线的长度与右下颚线的长度的第一比值、左下颚线与左脸侧线的第一夹
角，或者左下颚线的长度与右下颚线的长度的第一比值、右下颚线与右脸侧线的第二夹角；其中，提取所述待修复的人脸图像中的人脸轮廓特征，包括：提取所述待修复的人脸图像的轮廓特征；将所述待修复的人脸图像的轮廓特征输入至预先建立的轮廓识别模型中，得到左下颚线、右下颚线、左脸侧线和右脸侧线，其中，还包括如下方案建立轮廓识别模型：获取多个人脸图像，提取所述多个人脸图像的轮廓特征，并对所述多...

【专利技术属性】
技术研发人员：陈刚，薛云兰，张丽英，喻强，姚剑，
申请(专利权)人：广东开放大学广东理工职业学院，
类型：发明
国别省市：