一种基于人脸关键点的证件照局部异常检测方法技术

本发明专利技术提供了一种基于人脸关键点的证件照局部异常检测方法，属于人工智能AI图像检测技术领域。本发明专利技术对照片采用人脸检测算法判断是否检测出人脸，再提取人脸区域作为输入，通过分类得到面部部分，并训练回归模型获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；利用MobileNet拟合回归函数进行遮挡检测，显式检测人脸关键点的遮挡状态及遮挡异常的类型，当模型输出超出阈值时，表示该点异常；最后利用5个关键点构造几何特征，根据判定规则判断人像头部姿态是否异常及偏转异常的类型。本发明专利技术对证件照进行非人脸异常、非正面异常、眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异的自动审核，提高证件照的审核效率、降低人力物力成本。

【技术实现步骤摘要】
一种基于人脸关键点的证件照局部异常检测方法
专利技术涉及人工智能AI图像检测分类
，具体涉及一种基于人脸关键点的证件照局部异常检测方法。
技术介绍
证件照是人类身份识别的基本信息之一，人们在日常生活中经常用到的，例如：一张证件照通常嵌入身份证、驾驶证、护照等证件文本，或者贴在入学、就业、考试等申请表格上，用于用户资料唯一性验证，在社会生活各个方面有着广泛的用途。现如今很多场合都需要身份信息的检测与识别，人脸轮廓以及器官成为了识别一个人的重要依据。在人脸比对过程中，首先需要将人脸区域，及其中的眼睛、嘴部、鼻子等面部器官准确检测出来，再与采集的人脸信息进行比对，所以证件照的人脸及其中的人脸器官对于人类视觉感知和机器识别至关重要。证件照的基本要求是正面免冠，面部无异常遮挡等，但由于技术手段的问题或操作人员的马虎或故意恶搞，且证件照在不同的使用场合也有不同的标准要求，以至于拍摄效果更是因人而异，照片标准性和质量参差不齐。如若仅依靠专业人员进行人工检验无疑会浪费巨大的人力物力。随着“互联网+政务服务”体系的推进，利用人工智能技术结合互联网技术实现政务服务智能化与信息化，提高政务服务的流程效率与服务质量，建设服务型政府具有重要意义。目前，已有对证件照质量检测、免冠检测等分类方法，但是较少针对证件照的面部器官进行局部异常检测及姿态估计的研究。因此，基于上述需求，如何利用图像检测分类技术来实现对用户证件照的自动异常检测，从而提高证件照的审核效率、降低人力物力成本，已经成为技术人员普遍关注的技术。专利技术内容本专利技术是针对上述存在的问题，提供一种能够自动识别校验上传的照片，节约窗口人员审核时间和等待时间，提升办理业务效率的基于人脸关键点的证件照异常检测方法，进而可以检测用户拍摄的人像照片是否符合证件照的基本要求。为实现上述目的，本专利技术所提供的技术方案为一种基于人脸关键点的证件照局部异常检测方法，包括以下步骤：步骤一、对用户上传的照片，采用基于Haar特征的Adaboost方法快速审核用户上传照片是否检测到人脸，如果是，则输出的人脸图像作为下一步输入；否则输出检测结果：证件照不合格，原因：未检测到人脸；步骤二、提取人脸图像进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；步骤三、使用MobileNet拟合回归函数进行遮挡检测,输出一个Dl维浮动向量，经过一定的阈值分割后，将该向量变换为Dl维[0，1]布尔向量，当模型输出大于阈值时，关键点的遮挡状态为1(表示该点异常)，显式检测人脸关键点的遮挡状态，并判断人脸遮挡(眼部/嘴部/鼻子)异常的类型；该方法能对证件照进行眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异的自动审核；然后利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正(即头部端正，眼睛平视前方)，可如果否，则输出检测结果：证件照不合格，原因：姿态未端正(左右偏斜/旋转偏斜/低头/抬头异)；步骤四、汇总、并输出审核结果。与现有技术相比，本专利技术的基于人脸关键点的证件照异常检测方法具有以下突出的有益效果：所述基于人脸关键点的证件照异常检测方法采用了人脸检测、关键点定位和姿态估计等技术相结合的方式，实现对证件照非人脸异常、非正面异常、眼部遮挡异常、嘴部遮挡异常和鼻子遮挡异常进行自动审核，节约窗口人员审核时间，提高窗口人员的工作效率，提升用户办事体验，具有良好的推广应用价值。附图说明图1是本专利技术一种基于特征点检测证件照异常的方法的流程图；图2是步骤二中，关键点定位检测各点是否异常的流程图；图3是步骤二中，多类分类器网络结构；图4是步骤二中，回归模型网络结构络；图5是步骤三中，关键点遮挡异常模块流程图；图6是步骤三中，关键点的正常及异常判定和几何特征类别；图7是步骤三中，头部姿态判定规则。具体实施方式下面将结合附图和实施例，对本专利技术的基于特征点检测证件照异常的方法作进一步详细说明。实施例1：如图1所示，本专利技术的基于特征点检测证件照异常的方法，包括有：步骤一、对用户上传的照片，采用基于Haar特征的Adaboost方法快速检测用户上传照片是否有人脸，如果是，则得到人脸定位区域并作为下一步的输入；否则输出检测结果：证件照不合格，原因：未检测到人脸；步骤二、提取人脸区域进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部特征分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点，再继续下一步；步骤三、使用MobileNet完成遮挡检测,预测人脸关键点的遮挡状态，当模型输出大于阈值时，关键点的遮挡状态为1(表示该点异常)，则输出检测结果：证件照不合格，原因：人脸遮挡异常(眼部/嘴部/鼻子遮挡异常)；利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正(即头部端正，眼睛平视前方)，可如果否，则输出检测结果：证件照不合格，原因：姿态未端正(左右偏斜/旋转偏斜/低头/抬头异常)；步骤四、汇总、并输出审核结果。当所选取的技术方案对证件照的审核都通过时，则输出：证件照合格，否则输出：证件照不合格，原因是上述技术方案对证件照的审核结果的并集。作为专利技术进一步改进的技术方案，所属步骤一，AdaBoost算法从众多的特征中选取符合人脸Haar-like的特征,利用这些特征构造弱分类器，并通过迭代的方法从众多弱分类器中选取分类效果较好的值进行组合，并通过加权分配不同的权重，形成最后的强分类器；采取Cascade的策略逐层验证能排除大量的非人脸样本。弱分类器为Gm(t)：t→{-1，+1}，强分类器由弱分类器组成，最终分类器:其中m＝1,2,…,M，s＝1,2,…,S，M代表迭代的第几轮，S表示组成Haar-like特征的矩形个数，αm代表了Gm(t)在最终分类器中的重要性，利用该算法检测用户上传照片是否有人脸，如果有，则输出的人脸图像作为下一步的输入；否则输出检测结果：证件照不合格，原因：未检测到人脸。如图2所示，所属步骤二，定位人脸图像左眼中心、右眼中心、鼻尖、左嘴角、右嘴角关键点，进一步改进的技术方案具体包括以下步骤：步骤B1、对照片进行人脸轮廓检测并根据轮廓提取候选窗口；输入人脸图像length1，length2，scalew，scaleh，并将图像转换为灰度图像与大小:300×300，进行精确的检测和搜索轮廓；length1和length2表示等高线长度，scalew和scaleh是用于放大窗口的经验值，并将length1设为30，length2设为400，scalew设为30，scaleh设为20。对每个轮廓做循环，只选择长度大于length1且小于le本文档来自技高网...

【技术保护点】
1.一种基于人脸关键点的证件照局部异常检测方法，其特征在于，包括以下步骤：/n步骤一、采用Adaboost算法审核用户上传的证件照是否检测到人脸，如果是，则输出人脸区域进入后续检测是否异常；如果未检测到人脸则输出检测结果：证件照不合格，原因：未检测到人脸；/n步骤二、收集图片和证件照形成数据集，对证件照提取人脸区域进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部特征分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；/n步骤三、使用MobileNet拟合回归函数完成遮挡检测，预测人脸关键点的遮挡状态，当模型输出大于阈值时，关键点的遮挡状态为1，表示该点异常，则输出检测结果：证件照不合格，原因：人脸遮挡异常；利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正，如果否，则输出检测结果：证件照不合格，原因：姿态未端正；/n步骤四、汇总、并输出审核结果。/n

【技术特征摘要】
1.一种基于人脸关键点的证件照局部异常检测方法，其特征在于，包括以下步骤：
步骤一、采用Adaboost算法审核用户上传的证件照是否检测到人脸，如果是，则输出人脸区域进入后续检测是否异常；如果未检测到人脸则输出检测结果：证件照不合格，原因：未检测到人脸；
步骤二、收集图片和证件照形成数据集，对证件照提取人脸区域进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部特征分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；
步骤三、使用MobileNet拟合回归函数完成遮挡检测，预测人脸关键点的遮挡状态，当模型输出大于阈值时，关键点的遮挡状态为1，表示该点异常，则输出检测结果：证件照不合格，原因：人脸遮挡异常；利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正，如果否，则输出检测结果：证件照不合格，原因：姿态未端正；
步骤四、汇总、并输出审核结果。


2.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述Adaboost算法运用离线学习的分类器进行人脸检测，基于Harr矩形特征积分图进行级联检测，并通过迭代的方法从众多弱分类器中选取分类效果较好的值进行组合，加权分配得到不同的权重，形成最后的强分类器；采取Cascade的策略逐层验证能排除大量的非人脸样本，弱分类器为Gm(t)：t→{-1，+1}，强分类器由弱分类器组成，最终分类器：



其中m＝1，2，...，M，s＝1，2，...，S，M代表迭代的是第几轮，S表示组成哈尔特征的矩形个数，g(t)是弱分类器的组合，αm代表了Gm(t)在最终分类器中的重要性，利用该算法检测用户上传照片是否有人脸，如果有，则输出的人脸图像作为下一步的输入；否则输出检测结果：证件照不合格，原因：未检测到人脸。


3.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述步骤二具体包括以下步骤：
步骤B1、对照片进行人脸轮廓检测提取候选窗口；输入人脸图像并将图像转换为大小300×300的灰度图像，进行精确的检测和搜索轮廓；对每个轮廓做循环，并输出候选窗口，根据重叠率对部分窗口进行了移除；
步骤B2、训练一个多类分类模型，并通过分类得到面部特征；将数据集中每个样本标注5个关键点的坐标信息，并从人脸的其他部分和其他非人脸图像中裁剪出负样本；定义四类：左眼和右眼；鼻子；嘴巴，左嘴巴和右嘴巴；负样本；训练目标损失函数：zy和zj分别表示标号为y和j的样本的预测结果，J表示类数；
多类分类模型网络结构：包含4个卷积层，2个全连接层的神经网络结构，输入39×39大小的图片，卷积层C1、C2、C3、C4分别选取4×...

【专利技术属性】
技术研发人员：王蒙，杨飞燕，宁宏维，文涛，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南;53