一种防止非活体攻击的人脸识别方法技术

本发明专利技术公开了一种防止非活体攻击的人脸识别方法，包括以下步骤：步骤一：训练2D人脸识别模型和3D人脸识别模型；步骤二：对人脸进行录入；步骤三：对人脸进行识别，在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2D与3D人脸识别模型进行联合判断。本发明专利技术所述的一种防止非活体攻击的人脸识别方法，区别于传统的2D人脸识别，新加入的3D人脸识别模型可基于深度信息提取不同人脸的曲面特征，可在2D人脸识别基础上对抗照片、视频等平面攻击，且该3D人脸识别模型区别于一般的3D防伪或人脸验证模型，可以独立识别不同人脸，具备人脸识别功能。

【技术实现步骤摘要】
一种防止非活体攻击的人脸识别方法
本专利技术涉及人脸识别领域，特别涉及一种防止非活体攻击的人脸识别方法。
技术介绍
随着深度学习模型在2D人脸识别领域的普遍使用，2D人脸识别技术已能达到在大规模个体和照片情况下准确识别个体的效果。例如在MegaFace挑战中，InsightFace模型可以在百万其他人照片干扰的情况下识别同一个人的不同照片，准确率达到96%以上，远超人类水平。但是，现有的2D人脸识别技术也有它的缺点——2D人脸识别无法区分真人人脸和人脸照片、人脸视频、人脸面具等伪人脸，容易受到非活体的攻击。针对2D人脸识别的缺陷，市面上出现了3D人脸识别方案，如采用TOF或结构光摄像头采集人脸深度信息，辅助2D人脸识别的技术方案。但该方案的思路主要是采用2D人脸识别技术进行人脸识别，再采用深度信息进行活体验证，因此仅能防范照片、视频等平面非活体攻击，在遇到面具或类似面具道具攻击时就失去了验证效果，例如在遭遇带个体A戴上个体B的面具时，该“3D”人脸识别方案就会失效——会将个体A误识别成个体B。为此，我们提出一种防止非活体攻击的人脸识别方法，区别于传统的2D人脸识别，加入3D人脸识别模型可基于深度信息提取不同人脸的曲面特征，可在2D人脸识别基础上对抗照片、视频等平面攻击。且不同于之前的3D防伪验证模型，本专利技术的3D人脸识别模型具备独立的人脸识别功能。
技术实现思路
本专利技术的主要目的在于提供一种防止非活体攻击的人脸识别方法，可以有效解决
技术介绍
中的问题。为实现上述目的，本专利技术采取的技术方案为：一种防止非活体攻击的人脸识别方法，包括以下步骤：步骤一：训练2D人脸识别模型和3D人脸识别模型；步骤二：对人脸进行录入；步骤三：对人脸进行识别，在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2D与3D人脸识别模型进行联合判断。进一步的，所述2D人脸数据为普通的RGB人脸图像，3D人脸数据为从点云提取出的深度图以及深度图进行后处理的伪RGB数据，所述步骤一中2D人脸识别模型和3D人脸识别的训练流程如下：首选，准备裁剪好的人脸数据，以及其各自对应的人物标签，不同的标签代表不同的人，同一个人有一张或者多张人脸照片数据；然后，使用resent50作为主干网络，使用ArcFaceLoss作为损失函数，计算网络输出与标签之间的损失，其具体公式为：；其次，将数据输入网络后，使用梯度下降法迭代网络参数，使网络输出的人物分类与标签一致；最后，在模型训练完成后，将网络最后的分类层去掉，将前一层输出的featuremap作为人脸特征，实现不同的人脸对比，对两个featuremap分别命名为x和y，计算两个featuremap间的欧式距离，公式为：，同一个人的人脸featuremap之间相似，其距离较近，不同人的人脸featuremap相异，其距离较远。进一步的，所述步骤二中对人脸进行录入时，同时采集当前待录入个体的RGB人脸和深度图数据，并将RGB人脸输入到2D人脸识别模型、深度图人脸经过预处理之后输入到3D人脸识别模型，分别计算出2D人脸特征向量和3D人脸识别特征向量，保存该特征值进入人脸库作为该个体被识别的基准。进一步的，所述步骤三对人脸进行识别时，同时采集当前个体的RGB人脸图像和深度图数据，将RGB人脸输入到2D人脸识别，深度图经过预处理后输入到3D人脸识别模型，并分别计算出2D人脸特征向量和3D人脸识别特征向量，再将该个体的2D特征向量与人脸库中的所有2D特征向量计算欧氏距离、该个体的3D特征向量与人脸库中的所有3D特征向量计算欧氏距离，将两个距离加权求和，得到联合特征向量距离（简称“联合距离”），联合距离公式为：。进一步的，若该个体与人脸库中联合距离最小的个体、其距离值低于预先设定的距离阈值，则认为该个体与人脸库中联合距离最小的个体为同一人，视为识别成功；若与人脸库中的所有个体之间的联合距离都大于距离阈值，则认为该个体不在人脸库中，视为识别失败。与现有技术相比，本专利技术具有如下有益效果：1、此方法采用的3D人脸识别模型区别于一般的3D防伪或验证模型，其不仅具备活体检测的功能，还具备独立人脸识别的能力；2、区别于RGB-D单模型，本方案采用2D与3D人脸识别模型联判的方式，提高单一3D人脸识别模型的识别性能和适用规模；3、通过加入热成像模块，提高对面具攻击的免疫能力，与2D、3D模型共同形成多模态人脸识别方案，可防止包含平面、曲面等多种攻击方式。附图说明为了更清楚地说明本专利技术的技术方案，下面将对本专利技术技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种防止非活体攻击的人脸识别方法的训练流程图；图2为本专利技术一种防止非活体攻击的人脸识别方法的识别流程图；图3为本专利技术一种防止非活体攻击的人脸识别方法的RGB图像示例图、深度图示例图和由深度图转换的伪RGB图示例图。具体实施方式下面结合具体实施方式对本专利技术作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本专利技术的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本专利技术中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本专利技术保护的范围。实施例1如图1-3所示，一种防止非活体攻击的人脸识别方法，包括以下步骤：步骤一：训练2D人脸识别模型和3D人脸识别模型；步骤二：对人脸进行录入；步骤三：对人脸进行识别，在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2D与3D人脸识别模型进行联合判断。2D人脸数据为普通的RGB人脸图像，3D人脸数据为从点云提取出的深度图以及深度图进行后处理的伪RGB数据，所述步骤一中2D人脸识别模型和3D人脸识别的训练流程如下：首选，准备裁剪好的人脸数据，以及其各自对应的人物标签，不同的标签代表不同的人，同一个人有一张或者多张人脸照片数据；然后，使用resent50作为主干网络，使用ArcFaceLoss作为损失函数，计算网络输出与标签之间的损失，其具体公式为：；其次，将数据输入网络后，使用梯度下降法迭代网络参数，使网络输出的人物分类与标签一致；最后，在模型训练完成后，将网络最后的分类层去掉，将前一层输出的featuremap作为人脸特征，实现不同的人脸对比，对两个featuremap分别命名为x和y，计算两个featuremap间的欧式距离，公式为：，同一个人本文档来自技高网...

【技术保护点】
1.一种防止非活体攻击的人脸识别方法，其特征在于，包括以下步骤：/n步骤一：训练2D人脸识别模型和3D人脸识别模型；/n步骤二：对人脸进行录入；/n步骤三：对人脸进行识别，/n在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2D与3D人脸识别模型进行联合判断。/n

【技术特征摘要】
1.一种防止非活体攻击的人脸识别方法，其特征在于，包括以下步骤：
步骤一：训练2D人脸识别模型和3D人脸识别模型；
步骤二：对人脸进行录入；
步骤三：对人脸进行识别，
在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2D与3D人脸识别模型进行联合判断。


2.根据权利要求1所述的一种防止非活体攻击的人脸识别方法，其特征在
于：所述2D人脸数据为普通的RGB人脸图像，3D人脸数据为从点云提取出的深度图以及深度图进行后处理的伪RGB数据，所述步骤一中2D人脸识别模型和3D人脸识别的训练流程如下：首选，准备裁剪好的人脸数据，以及其各自对应的人物标签，不同的标签代表不同的人，同一个人有一张或者多张人脸照片数据；然后，使用resent50作为主干网络，使用ArcFaceLoss作为损失函数，计算网络输出与标签之间的损失，其具体公式为：

；
其次，将数据输入网络后，使用梯度下降法迭代网络参数，使网络输出的人物分类与标签一致；最后，在模型训练完成后，将网络最后的分类层去掉，将前一层输出的featuremap作为人脸特征，实现不同的人脸对比，对两个featuremap分别命名为x和y，计算两个featuremap间的欧式距离，公式为：

，
同一个人的人脸featuremap之间相似，其距离较近，不同人的人脸...

【专利技术属性】
技术研发人员：胡雨，安竹林，徐勇军，程坦，
申请(专利权)人：中国科学院计算技术研究所厦门数据智能研究院，
类型：发明
国别省市：福建;35