基于破损图像的人脸图像修复方法、装置、设备及介质制造方法及图纸

本申请涉及一种基于破损图像的人脸图像修复方法、装置、设备及介质，其中方法包括：获取待处理图像，对待处理图像的划痕区域进行检测，得到划痕区域，并对划痕区域的进行修复，得到初步修复图像；通过对初步修复图像进行人脸关键点检测，得到人脸关键点图像；对人脸关键点图像进行裁剪和旋转对齐处理，得到人脸裁剪图像；基于人脸裁剪图像与人脸关键点图像的关键点位置差距，得到变换矩阵，并根据变换矩阵，对裁剪人脸图像进行仿射变换，得到人脸矫正图像；对人脸矫正图像进行深度修复，得到深度修复结果，并基于深度修复结果，生成目标修复图像。本发明专利技术实现对人脸图像进行精准修复，提高人脸修复的效率。人脸修复的效率。人脸修复的效率。

【技术实现步骤摘要】
基于破损图像的人脸图像修复方法、装置、设备及介质


[0001]本申请涉及图像处理
，尤其涉及一种基于破损图像的人脸图像修复方法、装置、设备及介质。

技术介绍

[0002]在图像获取、传输及保存过程中，有许多因素会使得图像信息损失或者破损，为了对破损照片进行修复，市场出现了许多的半自动的修复软件。但是这些软件往往没办法自动识别出破损区域进行修补，只能通过人工交互的方式得到最后的修复结果，而对于涉及人脸区域的修复工作就更难了。对于一张破损照片的进行人工修复往往需要消耗大量的人力，因此研究出更高效便捷修复一张破损照片的方法是一件值得去探索的事情。
[0003]现有的人脸修复方法分为传统方法和深度学习方法。传统方法通常基于退化模型和手工先验求解逆问题，这在实际应用中表现出有限的性能。近年来，深度神经网络(deep neural networks,DNNs)在各种计算机视觉任务中表现出了优越的结果，许多基于DNN的人脸恢复方法也被开发出来，表现出了比传统方法更好的性能。由于该问题的高发性和复杂的位置退化，直接训练深度神经网络(DNN)通常不能得到满意的结果。为了从低质量人脸图像中恢复出具有逼真纹理的高质量(HQ)人脸图像，人们提出了许多基于空间transformer网络，这些方法在人工合成的低质量人脸上显示了令人印象深刻的结果；然而，他们无法处理现实世界的低质量面部图像。现有的基于生成对抗网络(GAN)的方法可以获得更好更真实的结果，但又往往容易产生过度平滑的效果。所以导致现有的人脸图像修复方法在面对破损、折痕的图像时，无法对人脸图像进行精准修复，无法提高人脸修复的效率。

技术实现思路

[0004]本申请实施例的目的在于提出一种基于破损图像的人脸图像修复方法、装置、设备及介质，以实现对人脸图像进行精准修复，提高人脸修复的效率。
[0005]为了解决上述技术问题，本申请实施例提供一种基于破损图像的人脸图像修复方法，包括：
[0006]获取待处理图像，对所述待处理图像的划痕区域进行检测，得到划痕区域，并对所述划痕区域的进行修复，得到初步修复图像；
[0007]通过对所述初步修复图像进行人脸关键点检测，得到人脸关键点图像；
[0008]对所述人脸关键点图像进行裁剪和旋转对齐处理，得到人脸裁剪图像，其中，所述人脸裁剪图像包括人脸裁剪关键点；
[0009]基于所述人脸裁剪图像与人脸关键点图像的关键点位置差距，得到变换矩阵，并根据所述变换矩阵，对所述裁剪人脸图像进行仿射变换，得到人脸矫正图像；
[0010]对所述人脸矫正图像进行深度修复，得到深度修复结果，并基于所述深度修复结果，生成目标修复图像。
[0011]为了解决上述技术问题，本申请实施例提供一种基于破损图像的人脸图像修复装
置，包括：
[0012]待处理图像获取模块，用于获取待处理图像，对所述待处理图像的划痕区域进行检测，得到划痕区域，并对所述划痕区域的进行修复，得到初步修复图像；
[0013]人脸关键点检测模块，用于通过对所述初步修复图像进行人脸关键点检测，得到人脸关键点图像；
[0014]人脸裁剪图像生成模块，用于对所述人脸关键点图像进行裁剪和旋转对齐处理，得到人脸裁剪图像，其中，所述人脸裁剪图像包括人脸裁剪关键点；
[0015]矫正图像生成模块，用于基于所述人脸裁剪图像与人脸关键点图像的关键点位置差距，得到变换矩阵，并根据所述变换矩阵，对所述裁剪人脸图像进行仿射变换，得到人脸矫正图像；
[0016]目标修复图像生成模块，用于对所述人脸矫正图像进行深度修复，得到深度修复结果，并基于所述深度修复结果，生成目标修复图像。
[0017]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于破损图像的人脸图像修复方法。
[0018]为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于破损图像的人脸图像修复方法。
[0019]本专利技术实施例提供了一种基于破损图像的人脸图像修复方法、装置、设备及介质。其中，方法包括：获取待处理图像，对待处理图像的划痕区域进行检测，得到划痕区域，并对划痕区域的进行修复，得到初步修复图像；通过对初步修复图像进行人脸关键点检测，得到人脸关键点图像；对人脸关键点图像进行裁剪和旋转对齐处理，得到人脸裁剪图像，其中，人脸裁剪图像包括人脸裁剪关键点；基于人脸裁剪图像与人脸关键点图像的关键点位置差距，得到变换矩阵，并根据变换矩阵，对裁剪人脸图像进行仿射变换，得到人脸矫正图像；对人脸矫正图像进行深度修复，得到深度修复结果，并基于深度修复结果，生成目标修复图像。本专利技术实施例先对待处理图像进行破损区域进行检测和修复，实现对破损图像的初步修复，然后针对图像中的人脸区域进行裁剪，得到裁剪人脸图像，并将裁剪人脸图像进一步修复，从而得到目标修复图像，有利于提高人脸修复的精度，并且分别对破损区域修复和人脸进行修复，避免了产生过度平滑的效果，有利于提高修复效率。
附图说明
[0020]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的基于破损图像的人脸图像修复方法流程的一实现流程图；
[0022]图2是本申请实施例提供的基于破损图像的人脸图像修复方法中子流程的又一实现流程图；
[0023]图3是本申请实施例提供的破损图像与划痕区域对比示意图；
[0024]图4是本申请实施例提供的破损图像与初步修复图像对比示意图；
[0025]图5是本申请实施例提供的基于破损图像的人脸图像修复方法中子流程的又一实现流程图；
[0026]图6是本申请实施例提供的基于破损图像的人脸图像修复方法中子流程的又一实现流程图；
[0027]图7是本申请实施例提供的人脸区域修复前后对比示意图；
[0028]图8是本申请实施例提供的破损图像与目标修复图像对比示意图；
[0029]图9是本申请实施例提供的基于破损图像的人脸图像修复装置示意图；
[0030]图10是本申请实施例提供的计算机设备的示意图。
具体实施方式
[0031]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于破损图像的人脸图像修复方法，其特征在于，包括：获取待处理图像，对所述待处理图像的划痕区域进行检测，得到划痕区域，并对所述划痕区域的进行修复，得到初步修复图像；通过对所述初步修复图像进行人脸关键点检测，得到人脸关键点图像；对所述人脸关键点图像进行裁剪和旋转对齐处理，得到人脸裁剪图像，其中，所述人脸裁剪图像包括人脸裁剪关键点；基于所述人脸裁剪图像与人脸关键点图像的关键点位置差距，得到变换矩阵，并根据所述变换矩阵，对所述裁剪人脸图像进行仿射变换，得到人脸矫正图像；对所述人脸矫正图像进行深度修复，得到深度修复结果，并基于所述深度修复结果，生成目标修复图像。2.根据权利要求1所述的基于破损图像的人脸图像修复方法，其特征在于，所述人脸裁剪关键点包括左眼关键点、右眼关键点、左嘴巴关键点、右嘴巴关键点、最左关键点以及最右关键点，所述对所述人脸关键点图像进行裁剪和旋转对齐处理，得到人脸裁剪图像，包括：基于所述左眼关键点、所述右眼关键点、所述左嘴巴关键点以及所述右嘴巴关键点，确定垂直方向的裁剪宽度；根据所述最左关键点以及所述最右关键点，确定水平方向的裁剪中心点；根据所述垂直方向的裁剪宽度和所述水平方向的裁剪中心点，按照裁剪宽度和高度一致的方式，对所述人脸关键点图像进行裁剪，得到初始裁剪图像；基于所述人脸关键点图像，对所述初始裁剪图像进行旋转对齐处理，得到所述人脸裁剪图像。3.根据权利要求2所述的基于破损图像的人脸图像修复方法，其特征在于，所述基于所述左眼关键点、所述右眼关键点、所述左嘴巴关键点以及所述右嘴巴关键点，确定垂直方向的裁剪宽度，包括：获取所述左眼关键点与所述右眼关键点的中心位置，作为两眼中心位置；获取所述左嘴巴关键点与所述右嘴巴关键点的中心位置，作为嘴巴中心位置；计算所述两眼中心位置与所述嘴巴中心位置的距离，得到垂直方向的中部裁剪宽度，并基于所述中部裁剪宽度、两眼中心位置与所述嘴巴中心位置，分别计算垂直方向的中部裁剪宽度、底部裁剪宽度以及顶部裁剪宽度；基于所述中部裁剪宽度、所述底部裁剪宽度以及所述顶部裁剪宽度，得到所述垂直方向的裁剪宽度。4.根据权利要求3所述的基于破损图像的人脸图像修复方法，其特征在于，所述计算所述两眼中心位置与所述嘴巴中心位置的距离，得到垂直方向的中部裁剪宽度，并基于所述中部裁剪宽度、两眼中心位置与所述嘴巴中心位置，分别计算垂直方向的中部裁剪宽度、底部裁剪宽度以及顶部裁剪宽度，包括：计算所述两眼中心位置与所述嘴巴中心位置的距离，得到所述中部裁剪宽度；根据所述中部裁剪宽度，计算所述嘴巴中心位置往垂直方向向下的第一预设比例距离，得到所述底部裁剪宽度；根据所述中部裁剪宽度，计算所述两眼中心位置往垂直方向向上的第二预设比例距
离，得到所述顶部裁剪宽度。5.根据权利要求1所述...

【专利技术属性】
技术研发人员：郑金云，齐镗泉，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：