侧脸矫正的方法、矫正装置及计算机可读存储介质制造方法及图纸

本申请公开了一种侧脸矫正的方法、矫正装置及计算机可读存储介质，该侧脸矫正的方法包括：获取目标图像，目标图像包括目标人脸；从目标图像中提取特征，得到目标人脸的正脸特征和目标人脸所处背景的背景特征；将正脸特征和背景特征进行融合处理，得到融合特征；根据融合特征，生成矫正图像，其中，矫正图像中的人脸为与目标人脸对应的正脸。本申请所提供的方法能够在进行侧脸矫正时，保留输入的目标图像的背景信息。景信息。景信息。

【技术实现步骤摘要】
侧脸矫正的方法、矫正装置及计算机可读存储介质


[0001]本申请属于图像处理
，特别是涉及一种侧脸矫正的方法、矫正装置及计算机可读存储介质。

技术介绍

[0002]人脸信息的完整度对人脸识别、人脸属性分析等领域是至关重要的。在正常情况下，正脸含有最丰富、最完整的人脸信息，然而由于采集设备的角度以及人类活动的自由度，从采集设备获取的大部分人脸图像都是包含一定角度的侧脸图像。其中，侧脸图像因为人脸的旋转而产生的非线性变化以及人脸的自遮挡效应，在不同程度上丢失了人脸信息，进而影响后续的人脸相关的操作。而侧脸矫正的目标便是，根据输入的缺失部分人脸信息的侧脸图像，生成对应的包含完整人脸信息的正脸图像，进而通过对人脸信息的补充，大幅度提升人脸分析的效果。
[0003]但是目前在进行侧脸矫正时，容易忽略输入图像中的背景信息，导致生成的正脸图像无法还原输入图像中的背景。

技术实现思路

[0004]本申请提供一种侧脸矫正的方法、矫正装置及计算机可读存储介质，能够在进行侧脸矫正时，保留输入的目标图像的背景信息。
[0005]本申请实施例第一方面提供一种侧脸矫正的方法，所述方法包括：获取目标图像，所述目标图像包括目标人脸；从所述目标图像中提取特征，得到所述目标人脸的正脸特征和所述目标人脸所处背景的背景特征；将所述正脸特征和所述背景特征进行融合处理，得到融合特征；根据所述融合特征，生成矫正图像，其中，所述矫正图像中的人脸为与所述目标人脸对应的正脸。
[0006]本申请实施例第二方面提供一种矫正装置，所述矫正装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。
[0007]本申请实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。
[0008]有益效果是：本申请根据融合特征生成矫正图像，而由于融合特征融合了正脸特征和背景特征，因此生成的矫正图像能够保留输入的目标图像中的背景信息，最终可以保证在将矫正图像放入原始图像后不会产生违和感。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它
的附图，其中：
[0010]图1是本申请侧脸矫正的方法一实施方式的流程示意图；
[0011]图2是图1中步骤S120的流程示意图；
[0012]图3是图2中步骤S121的流程示意图；
[0013]图4是本申请侧脸矫正的方法另一实施方式的部分流程示意图；
[0014]图5是图4中步骤S270的流程示意图；
[0015]图6是图4中步骤S280的流程示意图；
[0016]图7是图4中步骤S210的流程示意图；
[0017]图8是本申请矫正装置一实施方式的结构示意图；
[0018]图9是本申请矫正装置另一实施方式的结构示意图；
[0019]图10是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0021]参阅图1，图1是本申请侧脸矫正的方法一实施方式的流程示意图，该侧脸矫正的方法包括：
[0022]S110：获取目标图像，目标图像包括目标人脸。
[0023]具体地，目标图像中只包括一个人脸，将该人脸定义为目标人脸。其中，目标人脸可以是目标对象的正脸，也可以是目标对象的侧脸，本申请的目的就是将目标图像中的目标侧脸矫正为正脸，也就是说，使最终得到的矫正图像中的人脸为正脸。
[0024]其中，从原始图像中裁剪出目标图像，具体而言，原始图像中包括至少一个人脸，在对原始图像进行目标识别后，生成每个人脸对应的检测框，每个检测框都框选对应的人脸，然后分别将每个检测框中的图像裁剪出来，得到至少一个目标图像。可以理解的是，当目标图像的数量为多个时，针对每个目标图像，都执行后续步骤S120至步骤S140。
[0025]其中，在经过后续步骤得到与目标图像对应的矫正图像后，还需要将目标图像对应的矫正图像放入原始图像中的相应位置。
[0026]S120：从目标图像中提取特征，得到目标人脸的正脸特征和目标人脸所处背景的背景特征。
[0027]具体地，目标人脸的正脸特征携带的是目标人脸的正面信息，目标人脸所处背景的背景特征携带的是目标人脸所处的背景信息。
[0028]参阅图2，在本实施方式中，步骤S120具体包括：
[0029]S121：从目标图像中分离出目标人脸的人脸图像和目标人脸所处背景的背景图像。
[0030]具体地，将目标图像中的目标人脸和背景进行分离，得到人脸图像和背景图像。其中，人脸图像的尺寸、背景图像的尺寸与目标图像的尺寸均相同，且人脸图像可以理解为是将目标图像中的背景区域用纯色(例如黑色)进行填充而得到的，背景图像可以理解为是将
目标人像中的人脸区域用纯色(例如黑色)进行填充而得到的。
[0031]S122：对人脸图像进行正脸特征提取，得到正脸特征，以及对背景图像进行特征提取，得到背景特征。
[0032]具体地，在对人脸图像进行特征提取时，是提取目标人脸的正脸特征，并不是提取整个目标人脸的全部人脸特征，因此得到的正脸特征携带的是目标人脸的正面信息。
[0033]在本实施方式中，从目标图像中分离出人脸图像与背景图像，然后再提取正脸特征和背景特征，相比较于直接从目标图像中提取正脸特征和背景特征，可以减少在提取正脸特征时背景的影响，以及减少在提取背景特征时目标人脸的影响。
[0034]但是在其他实施方式中，也可以不分离出人脸图像和背景图像，直接从目标图像中提取正脸特征和背景特征。
[0035]参阅图3，在本实施方式中，步骤S121具体包括：
[0036]S1211：根据目标图像，生成目标人脸的三维人脸模型。
[0037]具体地，采用预先训练好的三维人脸估计模型，估计目标图像中目标人脸的三维人脸模型。其中三维人脸估计模型预先训练好，其可以生成所接收到的图像中人脸的三维人脸模型。
[0038]S1212：根据三维人脸模型，生成目标人脸在目标图像上的人脸掩膜。
[0039]具体地，步骤S1212生成人脸掩膜的过程可以理解为：将三维人脸模型的角度、位置调整为与目标图像中的目标人脸对应，而后将三维人脸模型投本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种侧脸矫正的方法，其特征在于，所述方法包括：获取目标图像，所述目标图像包括目标人脸；从所述目标图像中提取特征，得到所述目标人脸的正脸特征和所述目标人脸所处背景的背景特征；将所述正脸特征和所述背景特征进行融合处理，得到融合特征；根据所述融合特征，生成矫正图像，其中，所述矫正图像中的人脸为与所述目标人脸对应的正脸。2.根据权利要求1所述的方法，其特征在于，所述从所述目标图像中提取特征，得到所述目标人脸的正脸特征和所述目标人脸所处背景的背景特征的步骤，包括：从所述目标图像中分离出所述目标人脸的人脸图像和所述目标人脸所处背景的背景图像；对所述人脸图像进行正脸特征提取，得到所述正脸特征，以及对所述背景图像进行特征提取，得到所述背景特征。3.根据权利要求2所述的方法，其特征在于，所述从所述目标图像中分离出所述目标人脸的人脸图像和所述目标人脸所处背景的背景图像的步骤，包括：根据所述目标图像，生成所述目标人脸的三维人脸模型；根据所述三维人脸模型，生成所述目标人脸在所述目标图像上的人脸掩膜；根据所述人脸掩膜，从所述目标图像中分离出所述人脸图像和所述背景图像。4.根据权利要求1所述的方法，其特征在于，所述从所述目标图像中提取特征，得到所述目标人脸的正脸特征和所述目标人脸所处背景的背景特征的步骤，包括：利用预先训练好的侧脸矫正模型中的编码器从所述目标图像提取特征，得到所述正脸特征和所述背景特征；所述根据融合特征，生成矫正图像的步骤，包括：将所述融合特征输入所述侧脸矫正模型中的生成器，生成所述矫正图像。5.根据权利要求4所述的方法，其特征在于，在所述获取目标图像之前，还包括：获取多个第一样本图像，每个所述第一样本图像均包括第一样本人脸；利用所述编码器分别从每个所述第一样本图像中提取特征，得到每个所述第一样本图像中所述第一样本人脸的第一样本正脸特征和所述第一样本人脸所处背景的第一样本背景特征；利用所述编码器从每个所述第一样本图像各自对应的第二样本图像中提取特征，得到每个所述第二样本图像中第二样本人脸的第二样本正脸特征，其中，所述第一样本图像中的所述第一样本人脸和所述第一样本图像对应的所述第二样本图像中的所述第二样本人脸对应同一个样本对象，所述第一样本图像中的背景和所述第一样本图像对应的第二样本图像中的背景对应同一背景，且每个所述第二样本图像中的所述第二样本人脸为正脸；分别将每个所述第一样本图像对应的所述第一样本正脸特征和所述第一样本背景特征进行融合处理，得到每个所述第一样本图像对应的样本融合特征；分别将每个所述样本融合特征输入所述生成器，得到每个所述第一样本图像对应的样本矫正图像；根据多个所述第一样本正脸特征和所述第一样本正脸特征各自对应的所述第二样本
正脸特征，确定第一损失值；根据多个所述样本矫正图像和所述样本矫正图像对应的所述第二样本图像，确定第二损失值；根据所述第一损失值和所述第二损失值，确定总损失值；根据所述总损失值对所述侧脸矫正模型进行训练。6....

【专利技术属性】
技术研发人员：许愿权，朱树磊，王宁波，李亚鹏，郭思郁，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：