一种基于光流点匹配的人像矫正方法及电子设备技术

本发明专利技术公开了一种基于光流点匹配的人像矫正方法及电子设备，该方法及电子设备属于图像处理领域。所述方法为通过对左右脸之间对称特征点之间的连线斜率计算人像中头部倾斜角度，根据多个左右脸关键点斜率信息计算整体矫正角度，对于人像身体角度的估计主要依靠左右肩膀连线中关键点之间的斜率，根据多个左右肩膀关键点斜率信息计算整体矫正角度，从而分别进行局部矫正。本发明专利技术公开的目的是为了解决传统的基于简单仿射变换的方法无法处理头部和身体倾斜角度不同的问题。本发明专利技术通过使用像素级的光流信息对身体和头部分别矫正，可以达到更加自然、稳定、实用的全局矫正效果。实用的全局矫正效果。实用的全局矫正效果。

【技术实现步骤摘要】
一种基于光流点匹配的人像矫正方法及电子设备


[0001]本专利技术涉及图像处理领域，特别是涉及一种基于光流点匹配的人像矫正方法及电子设备。

技术介绍

[0002]人像图像处理是当今互联网领域的一项热门研究，由于生物体之间存在单一性，不同的个体人像脸部对称情况也不尽相同，就传统美学角度而言，在证件照或者形象照等人像照片处理时，倾向于将人像脸部矫正为对称状态，传统的人像矫正方法往往是根据两眼之间关键特征点之间的连线斜率估计角度，然后使用仿射变换的方法进行矫正，但是传统的矫正方法无法处理头部和身体倾斜角度不同等复杂情形。

技术实现思路

[0003]为了解决传统的基于简单仿射变换的方法无法处理头部和身体倾斜角度不同的问题，本专利技术提出了一种基于光流点匹配的人像矫正方法，该方法对人像中头部倾斜角度的计算主要依靠左右脸之间对称特征点之间的连线斜率，根据多个左右脸关键点斜率信息计算整体矫正角度，对于人像身体角度的估计主要依靠左右肩膀连线中关键点之间的斜率，根据多个左右肩膀关键点斜率信息计算整体矫正角度。由于人像所有关键点的斜率都是由光流得到，所以算法的关键是得到人像原图和其水平镜像图之间精确的光流信息。
[0004]鉴于以上情况，本专利技术提出了一种基于光流点匹配的人像矫正方法，包括以下步骤：
[0005]步骤1：获取待处理人像图像，根据人像图像脸部的68个关键点信息对待处理人像图像进行切割，切割为只含有头部关键点信息的人脸部，和只含有上半身的人身部；
[0006]步骤2：将步骤1所述的人脸部和人身部分别与其水平镜像进行拼接，获得6通道数据后经归一化处理输入flownet神经网络，根据估计光流对原图插值，计算插值后的图与镜像图之间的差别从而学习参数；
[0007]步骤3：将步骤1中的人脸部和人身部的特征点，分别与步骤2的光流中的对称点进行连接，并计算人脸部对应特征点之间的第一斜率和人身部对应特征点之间的第二斜率；
[0008]步骤4：根据步骤3得到的第二斜率计算人身部的旋转角度，使用仿射变换对人身部进行矫正；
[0009]步骤5：将步骤3中的第一斜率和第二斜率进行差值运算，获得人脸部的旋转角度并进行旋转矫正。
[0010]作为一种优选地实施方式，步骤2所述flownet神经网络中还设置有一个基于特征点的损失函数，该损失函数用于计算插值后特征点位置和镜像图特征点位置之间的偏差，使网络更加精确。
[0011]作为一种优选地实施方式，所述flownet神经网络中还设置有基于unet和resent的分割模块，所述分割模块用于定位人脸部和人身部，以获得人脸部mask和人身部肩膀线。
[0012]作为一种优选地实施方式，所述步骤3中，对噪声的处理方法为：根据光流遮挡原理去除无用光流后，根据统计学原理去除明显处于置信区间之外的错误估计点，使用剩下的相对应的特征点求出平均斜率后即为需要矫正的角度。
[0013]作为一种优选地实施方式，所述步骤5中的旋转矫正方法为：使用68个人脸特征点对人脸部进行三角剖分，将头人脸部切割为多个三角形，分别对每个三角形使用人脸部的旋转角度进行仿射变换。
[0014]一种电子设备，包括：处理器、存储器、显示屏和摄像头，所述存储器以及所述显示屏耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述电子设备执行时，使得所述电子设备执行如下操作：
[0015]步骤1：获取待处理人像图像，根据人像图像脸部的68个关键点信息对待处理人像图像进行切割，切割为只含有头部关键点信息的人脸部，和只含有上半身的人身部；
[0016]步骤2：将步骤1所述的人脸部和人身部分别与其水平镜像进行拼接，获得6通道数据后经归一化处理输入flownet神经网络，根据估计光流对原图插值，计算插值后的图与镜像图之间的差别从而学习参数；
[0017]步骤3：将步骤1中的人脸部和人身部的特征点，分别与步骤2的光流中的对称点进行连接，并计算人脸部对应特征点之间的第一斜率和人身部对应特征点之间的第二斜率；
[0018]步骤4：根据步骤3得到的第二斜率计算人身部的旋转角度，使用仿射变换对人身部进行矫正；
[0019]步骤5：将步骤3中的第一斜率和第二斜率进行差值运算，获得人脸部的旋转角度并进行旋转矫正。
[0020]一种计算机可读存储介质，包括：计算机软件指令；当所述计算机软件指令在电子设备中运行时，使得所述电子设备执行上述实施方式中任一项所述的基于光流点匹配的人像矫正方法。
[0021]一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述实施方式中任一项所述的的基于光流点匹配的人像矫正方法。
[0022]与现有技术相比，本专利技术具有如下有益效果：使用像素级的光流信息对身体和头部分别矫正，从而达到更加自然的全局矫正效果。本专利技术提出的方法较传统处理方法而言稳定性更高，实用性更强，功能性更完善。
附图说明
[0023]附图1为本专利技术提出方法的步骤流程图
[0024]附图2为本专利技术提出的flownet神经网络的网络结构图
[0025]附图3为本专利技术步骤3的方法示意图
具体实施方式
[0026]为使本专利技术的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。
[0027]如图1所述，为本专利技术提出的一种基于光流点匹配的人像矫正方法，包括以下步骤：
[0028]步骤1：获取待处理人像图像，根据人像图像脸部的68个关键点信息对待处理人像图像进行切割，切割为只含有头部关键点信息的人脸部，和只含有上半身的人身部；
[0029]步骤2：将步骤1所述的人脸部和人身部分别与其水平镜像进行拼接，获得6通道数据后经归一化处理输入flownet神经网络，flownet神经网络是非监督模型，其基本原理是根据估计光流对原图插值，计算插值后的图与镜像图之间的差别从而学习参数，在本专利技术涉及的实施例中，即为计算插值后的人脸部的68个人脸特征点，与人身部的对应特征点之间的差别，其网络结构如附图2所示，所述flownet神经网络中还设置有一个基于特征点的损失函数，该损失函数用于计算插值后特征点位置和镜像图特征点位置之间的偏差，使网络更加精确，为了定位人脸部区域和人身部区域，所述flownet神经网络中还设置了基于unet和resent的分割模块，以获得人脸部mask和人身部肩膀线；
[0030]步骤3：将步骤1中的人脸部和人身部的特征点，分别与步骤2的光流中的对称点进行连接，并计算人脸部对应特征点之间的第一斜率和人身部对应特征点之间的第二斜率，连接方法如附图3所示，其中噪声的处理是根据光流遮挡原理去除无用光流后，根据统计学原理去除明显处于置信区间之外的错误估计点，使用剩下的相对应的特征点求出平均斜率后即为需要矫正的角度；
[0031]步骤4：根据步骤3得到的第二斜率计算人身部的旋转角度，使用仿射变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流点匹配的人像矫正方法，其特征在于，包括以下步骤：步骤1：获取待处理人像图像，根据人像图像脸部的68个关键点信息对待处理人像图像进行切割，切割为只含有头部关键点信息的人脸部，和只含有上半身的人身部；步骤2：将步骤1所述的人脸部和人身部分别与其水平镜像进行拼接，获得6通道数据后经归一化处理输入flownet神经网络，根据估计光流对原图插值，计算插值后的图与镜像图之间的差别从而学习参数；步骤3：将步骤1中的人脸部和人身部的特征点，分别与步骤2的光流中的对称点进行连接，并计算人脸部对应特征点之间的第一斜率和人身部对应特征点之间的第二斜率；步骤4：根据步骤3得到的第二斜率计算人身部的旋转角度，使用仿射变换对人身部进行矫正；步骤5：将步骤3中的第一斜率和第二斜率进行差值运算，获得人脸部的旋转角度并进行旋转矫正。2.根据权利要求1所述的一种基于光流点匹配的人像矫正方法，其特征在于：步骤2所述flownet神经网络中还设置有一个基于特征点的损失函数，该损失函数用于计算插值后特征点位置和镜像图特征点位置之间的偏差。3.根据权利要求1所述的一种基于光流点匹配的人像矫正方法，其特征在于：所述flownet神经网络中还设置有基于unet和resent的分割模块，所述分割模块用于定位人脸部和人身部，以获得人脸部mask和人身部肩膀线。4.根据权利要求1所述的一种基于光流点匹配的人像矫正方法，其特征在于：所述步骤3中，对噪声的处理方法为：根据光流遮挡原理去除无用光流后，根据统计学原理去除明显处于置信区间之外的错误估计点。5.根据权利要求1所述的一种基于光流点匹配的人像矫正方法，其特征在于：所述步骤5...

【专利技术属性】
技术研发人员：马勇，
申请(专利权)人：无锡乐骐科技股份有限公司，
类型：发明
国别省市：