一种基于人脸特征点修正人脸裁剪框的方法技术

本发明专利技术提供一种基于人脸特征点修正人脸裁剪框的方法，所述方法包括以下步骤：S1，初步确定人脸裁剪框；S2，根据五点特征距离扩展人脸位置；S3，修正人脸裁剪框；S3.1,将裁剪上限扩展至眉毛上方；S3.2,扩展裁剪下限，保证嘴角、下巴特征信息在裁剪框内；S3.3,在人脸裁剪比例不合适时，适当扩展左右裁剪边界。由于脸型等原因，如果只按照初步确定的人脸裁剪框将眼睛、眉毛等人脸特征裁剪掉，从而导致人脸识别错误或不识别；经过本申请的修正方法，即修正人脸裁剪框后，由于满足条件，增加了人脸裁剪的准确度，有效提升识别精度。这样就保证了人脸适当地裁剪，避免了误检测。

【技术实现步骤摘要】
一种基于人脸特征点修正人脸裁剪框的方法
本专利技术涉及智能视频处理
，特别涉及一种基于人脸特征点修正人脸裁剪框的方法。
技术介绍
目前人脸识别技术广泛应用于身份认证、安检、门禁等系统。人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。其中人脸图像采集及检测这个环节裁剪的人脸会直接影响人脸识别的结果，因为如果裁剪的人脸与系统中存储的人脸有出入，例如剃了胡子、换了发型、多了眼镜、变了表情都有可能引起比对失败。因此为了增加人脸识别精度，识别的人脸会裁剪掉无关的背景信息以及易变化的特征(发型等)。现有的人脸识别网络一般要求输入的人脸图像为固定尺寸(例如：[112,112,3]或[96,96,3]，其中[W,H,C]分别表示图像的宽、高、通道数)，因此在人脸检测结果基础上，需要对检测的人脸进行裁剪，使图像满足宽高相等；目前的裁剪方案：在宽大于高时，会选择等量裁剪掉图像左右两边；在高到大于宽时，会直接裁剪掉上边多余部分，从而使图片宽高相等。这种简单的裁剪策略很容易将人脸的重要特征(眉毛、眼睛、下巴等)部位裁剪，导致人脸不完整，从而影响人脸识别精度。例如附图3所示，当脸型较长时，为了获得宽高相等的人脸，裁剪人脸上半部分时，会导致眼睛被裁掉。
技术实现思路
为了解决上述问题，本专利技术的目的在于：为了使人脸裁剪过程中，重要特征部位(眉毛、眼睛、下巴、鼻子等)不被裁剪；在裁剪前需要结合人脸的五点特征对原先的人脸裁剪框进行修正。具体地，本专利技术提供一种基于人脸特征点修正人脸裁剪框的方法，所述方法包括以下步骤：S1，初步确定人脸裁剪框；S2，根据五点特征距离扩展人脸位置；S3，修正人脸裁剪框:S3.1,将裁剪上限扩展至眉毛上方；S3.2,扩展裁剪下限，保证嘴角、下巴特征信息在裁剪框内；S3.3,在人脸裁剪比例不合适时，适当扩展左右裁剪边界。其中，S1，初步确定人脸裁剪框，包括：S1.1人脸位置检测假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示,记为B0(xb0,yb0)，B1(xb1,yb1)；S1.2人脸裁剪框定位由于模型需要输入的图像尺寸宽高相等，在检测出人脸后，对于宽高不等的情况需要进行多余部分裁剪以使得宽高相等，输入模型的人脸裁剪框也用两点坐标表示，记为B’0(x’b0,y’b0)，B’1(x’b1,y’b1)；S2，根据五点特征距离扩展人脸位置，包括：S2.1人脸特征点检测在进行人脸检测时，将检测出的人脸区域进行特征点检测，输出人脸五点特征位置，即左眼，右眼，鼻子，左嘴角，右嘴角坐标，五点分别表示为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)，p5(x5,y5)；S2.2计算鼻子与其他四点，即左右眼、左右嘴角的y轴最大距离,计算方式为：ds＝max(y3-y1,y3-y2,y4-y3,y5-y3)；S2.3确定扩展因子k，以鼻子坐标为中心点，ds为扩展基准，在y轴方向扩展k·ds的距离为yup,ydown；S3，修正人脸裁剪框，包括：S3.1如果yup≤y’b0，则y’b0＝yup；S3.2如果ydown≥2·y’b1，则y’b1＝ydown；S3.3令kw＝((y’b1-y’b0)-(x’b1-x’b0))/ds；在人脸裁剪比例不合适时(高大于宽一定阈值)，适当扩展左右裁剪边界如果kw>2.0，则x’b0＝max(0,x’b0-kw*ds/4)，x’b1＝min(W,x’b1+kw*ds/4)；还包括步骤S3.4填充黑边:由于修正的人脸裁剪框不能保证图像的宽高相等，因此对修正框进行黑边填充处理。所述的S1.2中B’0(x’b0,y’b0)，B’1(x’b1,y’b1)为输入模型的人脸裁剪框，具体的计算方法如下：令w＝xb1-xb0，h＝yb1-yb0，Δw＝h-w；ifΔw≥0thenx’b0＝xb0，x’b1＝xb1，y’b0＝yb0+Δw，y’b1＝yb1；elsey’b0＝yb0，y’b1＝yb1其中分别为向下、向上取整符号。所述的步骤S2.3中扩展因子k取值1.8-2.0。所述的步骤S2.3中扩展k·ds的距离，具体扩展方式如下所示：yup＝max(0,y3-k·ds)ydown＝min(H,y3+k·ds)。所述的步骤S3.4填充黑边的具体方法为：S3.4.1，如果宽大于高，则在图像的下边缘填充黑边，黑边宽度为宽高差值；S3.4.2，如果宽小于高，则在图像的右边缘填充黑边，黑边宽度为宽高差值；S3.4.3，如果宽高相等，不需要进行黑边填充。所述的在裁剪比例不合适包括高大于宽一定阈值。由此，本申请的优势在于：由于脸型等原因，如果只按照初步确定的人脸裁剪框将眼睛、眉毛等人脸特征裁剪掉，从而导致人脸识别错误或不识别；经过本申请的修正方法，即修正人脸裁剪框后，由于满足条件，将裁剪上限扩展至眉毛上方，保留了眼睛等特征信息，增加了人脸裁剪的准确度，有效提升识别精度。扩展裁剪下限，保证嘴角、下巴等特征信息在裁剪框内。在人脸裁剪比例不合适时(高大于宽一定阈值)，适当扩展左右裁剪边界。这样就保证了人脸适当地裁剪，避免了误检测。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。图1是本专利技术方法的示意流程图。图2是本专利技术方法涉及的人脸坐标及五点位置的示意图。图3是本专利技术方法涉及的人脸裁剪框的示意图。图4是本专利技术方法涉及的人脸裁剪框修正后的最终示意图。具体实施方式为了能够更清楚地理解本专利技术的
技术实现思路
及优点，现结合附图对本专利技术进行进一步的详细说明。如图1所示，本专利技术涉及一种基于人脸特征点修正人脸裁剪框的方法，所述方法包括以下步骤：步骤S1，初步确定人脸裁剪框；步骤S2，根据五点特征距离扩展人脸位置；步骤S3，修正人脸裁剪框:S3.1,将裁剪上限扩展至眉毛上方；S3.2,扩展裁剪下限，保证嘴角、下巴特征信息在裁剪框内；S3.3,在人脸裁剪比例不合适时，适当扩展左右裁剪边界。具体地，进一步可以完整描述为以下：步骤S1.初步确定人脸裁剪框S1.1人脸位置检测假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴(本专利涉及所有坐标均以此坐标轴为基准)。将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示；如附图2所示，B0(x本文档来自技高网...

【技术保护点】
1.一种基于人脸特征点修正人脸裁剪框的方法，其特征在于，所述方法包括以下步骤：/nS1，初步确定人脸裁剪框；/nS2，根据五点特征距离扩展人脸位置；/nS3，修正人脸裁剪框：/nS3.1,将裁剪上限扩展至眉毛上方；/nS3.2,扩展裁剪下限，保证嘴角、下巴特征信息在裁剪框内；/nS3.3,在人脸裁剪比例不合适时，适当扩展左右裁剪边界。/n

【技术特征摘要】
1.一种基于人脸特征点修正人脸裁剪框的方法，其特征在于，所述方法包括以下步骤：
S1，初步确定人脸裁剪框；
S2，根据五点特征距离扩展人脸位置；
S3，修正人脸裁剪框：
S3.1,将裁剪上限扩展至眉毛上方；
S3.2,扩展裁剪下限，保证嘴角、下巴特征信息在裁剪框内；
S3.3,在人脸裁剪比例不合适时，适当扩展左右裁剪边界。


2.根据权利要求1所述的一种基于人脸特征点修正人脸裁剪框的方法，其特征在于，所述S1，初步确定人脸裁剪框，进一步包括：
S1.1人脸位置检测：
假设包含人脸的图像宽W，高H；并以图像左上角为坐标原点，向右为x轴，向下为y轴建立坐标轴，将包含人脸的图像通过人脸检测模型检测出人脸区域，其中人脸位置的矩形框用左上、右下两点坐标表示,记为B0(xb0,yb0)，B1(xb1,yb1)；
S1.2人脸裁剪框定位：
由于模型需要输入的图像尺寸宽高相等，在检测出人脸后，对于宽高不等的情况需要进行多余部分裁剪以使得宽高相等，输入模型的人脸裁剪框也用两点坐标表示，记为B′0(x′b0,y′b0)，B′1(x′b1,y′b1)。


3.根据权利要求2所述的一种基于人脸特征点修正人脸裁剪框的方法，其特征在于，所述S2，根据五点特征距离扩展人脸位置，进一步包括：
S2.1人脸特征点检测：
在进行人脸检测时，将检测出的人脸区域进行特征点检测，输出人脸五点特征位置，即左眼，右眼，鼻子，左嘴角，右嘴角坐标，五点分别表示为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)，p5(x5,y5)；
S2.2计算五点中鼻子与其他四点，即左右眼、左右嘴角的y轴最大距离,计算方式为：ds＝max(y3-y1,y3-y2,y4-y3,y5-y3)；
S2.3确定扩展因子k，以鼻子坐标为中心点，ds为扩展基准，在y轴方向扩展k·ds的距离为yup,ydown。


4.根据权利要求3所述的一种基于人脸特征点修正人脸裁剪框的方法，其特征在于，所述S3，修正人脸裁剪框，进一步包括:
S3.1将裁剪上限扩展至眉毛上方，如果yup≤y′b0...

【专利技术属性】
技术研发人员：马艳，于晓静，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：北京;11