基于多模态融合卷积神经网络的防伪人脸识别系统技术方案

一种基于多模态融合卷积神经网络的防伪人脸识别系统，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，本发明专利技术通过特征融合卷积网络并融合可将光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果。并且在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。确率。确率。

【技术实现步骤摘要】
基于多模态融合卷积神经网络的防伪人脸识别系统


[0001]本专利技术涉及的是一种图像识别领域的技术，具体是一种基于多模态融合卷积神经网络的防伪人脸识别系统。

技术介绍

[0002]近些年来深度神经网络技术的发展，把人脸识别的精度提升到了与人类相当的水平。但是因为现有的摄像头极大部分还只是单一模态的彩色摄像头，只用彩色摄像头很难通过一张静态图像判断再镜头前的人脸到底是一个真正的人，还是只是一张照片，一个面具。解决这个问题的思路目前的方法是利用多帧的视频序列，让用户根据提示做出一系列的动作，在交互式验证的过程中常见的攻击类型诸如打印攻击、屏幕攻击都可以检测出来，但利用视频录制实现的重放攻击当动作指令一致却可以通过，这样的验证存在固有的缺陷。而且这种基于序列的验证方式，需要花费较长的一段时间，通常需要15到20秒，当验证失败还需要用户重复进行，这样的验证效率跟人脸识别应用之初高效，便捷的初衷是有出入的。

技术实现思路

[0003]本专利技术针对现有技术存在的上述缺陷和不足，提出一种基于多模态融合卷积神经网络的防伪人脸识别系统，通过特征融合卷积网络并融合可将光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果。并且在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于多模态融合卷积神经网络的防伪人脸识别系统，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，其中：图像采集模块采集同一个时刻彩色图像流、近红外图像流和深度图像流并将其中的彩色图像流输出至人脸检测模块、将彩色图像流、近红外图像流和深度图像流输出至防伪攻击检测模块，人脸检测模块通过内置的多任务卷积神经网络(MTCNN)对彩色图像流进行人脸识别，并将得到的人脸区域输出至防伪攻击检测模块，防伪攻击检测模块通过裁剪人脸区域并根据内置的防伪检测网络进行三模态综合防伪识别，并将识别结果输出至人脸检测模块，人脸检测模块基于识别结果进一步将对齐后的人脸图像流输出至人脸识别模块，人脸识别模块通过从人脸图像流中提取特征并与数据库进行比对得到人脸识别最终结果。技术效果
[0006]本专利技术整体解决了传统人脸识别算法无法进行活体检测的缺陷，通过多输入卷积神经网络增加输入模态数量，将多个模态的信息融合后，充分利用彩色图，近红外图，深度图的信息，综合判断对象的同时，采用轻量化神经网络进行特征提取，在保持基线方法6％的参数量的低运算量和存储需要的同时，实现了超过基线方法的识别精度。
附图说明
[0007]图1为本专利技术多模态防伪人脸识别系统示意图；
[0008]图2为实施例防伪检测网络示意图；
[0009]图3为实施例中VIPLiteNet结构示意图；
[0010]图4为实施例ROC曲线示意图；
[0011]图中：a为LFW，b为CFP，c为AgeDB。
具体实施方式
[0012]如图1所示，为本实施例涉及一种基于多模态融合卷积神经网络的防伪人脸识别系统，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，其中：图像采集模块采集同一个时刻彩色图像流、近红外图像流和深度图像流并将其中的彩色图像流输出至人脸检测模块、将彩色图像流、近红外图像流和深度图像流输出至防伪攻击检测模块，人脸检测模块通过内置的多任务卷积神经网络(MTCNN)对彩色图像流进行人脸识别，并将得到的人脸区域输出至防伪攻击检测模块，防伪攻击检测模块通过裁剪人脸区域并根据内置的防伪检测网络进行三模态综合防伪识别，并将识别结果输出至人脸检测模块，人脸检测模块基于识别结果进一步将对齐后的人脸图像流输出至人脸识别模块，人脸识别模块通过从人脸图像流中提取特征并与数据库进行比对得到人脸识别最终结果。
[0013]所述的图像采集模块，通过多模态摄像头实现，其采集的三个模态图像的分辨率均为640
×
480，彩色图像的色彩深度为8比特，近红外图像和深度图像的色彩深度为16比特，利用摄像头SDK中提供的图像矫正接口函数修正三个图像的视差，保证三个图像是对齐的。
[0014]所述的人脸检测模块包括人脸检测单元和人脸对齐单元，其中：人脸检测单元内置多任务卷积神经网络(MTCNN)作为人脸检测器，该人脸检测器以分辨率为640
×
480三通道8比特深度的彩色图像作为输入，输出包围人脸区域的最小矩形框的左上角顶点和右下角的坐标和人脸左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个人脸关键点的坐标，即人脸区域并输出至防伪攻击检测模块进行裁剪，当防伪检测模块的识别结果为真人时将人脸区域和人脸5个关键点的坐标输出至人脸对齐单元，人脸对齐单元根据关键点的坐标和人脸区域，采用仿射变换矩阵将彩色图像流对齐为标准人脸形状。
[0015]所述的人脸对齐单元通过仿射变换矩阵将原本的人脸区别通过平移、缩放、旋转、翻转、剪切变化的一种或多种的组合，变换成两眼水平位于双眼连线的垂直平分线上的标准人脸。
[0016]所述的防伪攻击检测模块包括：图像裁剪单元和防伪检测网络，其中：图像裁剪单元根据人脸区域左边，分别从彩色图像流、近红外图像流和深度图像流中裁剪出人脸区域，将这三张图像分别作为防伪检测网络的输入，防伪检测网络包括三个分支网络。
[0017]如图2所示，所述的防伪检测网络包括：分别接收彩色图像流、近红外图像流和深度图像流中人脸区域的三个分支网络以及预测网络，其中：彩色图像流、近红外图像流和深度图像流中人脸区域分别经过各自的分支网络进行卷积操作提取中间层特征值，特征融合层分别接收来自彩色图像流分支网络、近红外图像流分支网络以及深度图像流分支网络的输出，通过在通道维度上拼接得到包含彩色和近红外的浅层融合特征；预测网络对浅层融
合特征及逆行预测得到是否为真人的概率值。
[0018]如图2所示，分别用于提取彩色图像流、近红外图像流和深度图像流中人脸区域的分支网络结构相同，均包括一个普通卷积块Conv和三个深度可分离卷积块DPConv，其中：
[0019]所述的预测网络中包括两个普通卷积块Conv、一个平均池化层AvgPool和两个全连接层FC，该预测网络根据浅层融合特征，经Softmax函数输出预测的是否为真人的概率值。
[0020]如图所示，所述的普通卷积块Conv均为：卷积核的尺寸为3x3，深度可分离卷积块DPConv的卷积核的尺寸为3x3的基础上增加一个逐点卷积PWConv，该逐点卷积卷积核大小为1x1，步长为1；每一个卷积操作之后均进一步通过一个批归一化BatchNorm和ReLU分线性激活。
[0021]优选地，上述卷积块均设置步长为2以达到降维的作用。
[0022]优选地，本实施例中的防伪检测网络的训练的损失函数采用CrossEntropy(交叉熵)Loss实现。
[0023]所述的人脸识别模块根据防伪检测网络的识别结果，通过人脸特征网络将来自人脸检测模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合卷积神经网络的防伪人脸识别系统，其特征在于，包括：图像采集模块、人脸检测模块、防伪攻击检测模块和人脸识别模块，其中：图像采集模块采集同一个时刻彩色图像流、近红外图像流和深度图像流并将其中的彩色图像流输出至人脸检测模块、将彩色图像流、近红外图像流和深度图像流输出至防伪攻击检测模块，人脸检测模块通过内置的多任务卷积神经网络对彩色图像流进行人脸识别，并将得到的人脸区域输出至防伪攻击检测模块，防伪攻击检测模块通过裁剪人脸区域并根据内置的防伪检测网络进行三模态综合防伪识别，并将识别结果输出至人脸检测模块，人脸检测模块基于识别结果进一步将对齐后的人脸图像流输出至人脸识别模块，人脸识别模块通过从人脸图像流中提取特征并与数据库进行比对得到人脸识别最终结果；所述的人脸检测模块包括人脸检测单元和人脸对齐单元，其中：人脸检测单元内置多任务卷积神经网络作为人脸检测器，人脸对齐单元根据关键点的坐标和人脸区域，采用仿射变换矩阵将彩色图像流对齐为标准人脸形状。2.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的图像采集模块，通过多模态摄像头实现，其采集的三个模态图像的分辨率均为640
×
480，彩色图像的色彩深度为8比特，近红外图像和深度图像的色彩深度为16比特，利用摄像头SDK中提供的图像矫正接口函数修正三个图像的视差，保证三个图像是对齐的；所述的人脸检测器以分辨率为640
×
480三通道8比特深度的彩色图像作为输入，输出包围人脸区域的最小矩形框的左上角顶点和右下角的坐标和人脸左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个人脸关键点的坐标，即人脸区域并输出至防伪攻击检测模块进行裁剪，当防伪检测模块的识别结果为真人时将人脸区域和人脸5个关键点的坐标输出至人脸对齐单元。3.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的人脸对齐单元通过仿射变换矩阵将原本的人脸区别通过平移、缩放、旋转、翻转、剪切变化的一种或多种的组合，变换成两眼水平位于双眼连线的垂直平分线上的标准人脸。4.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的防伪攻击检测模块包括：图像裁剪单元和防伪检测网络，其中：图像裁剪单元根据人脸区域左边，分别从彩色图像流、近红外图像流和深度图像流中裁剪出人脸区域，将这三张图像分别作为防伪检测网络的输入，防伪检测网络包括三个分支网络。5.根据权利要求1所述的基于多模态融合卷积神经网络的防伪人脸识别系统，其特征是，所述的防伪检测网络包括：分别接收彩色图像流、近红外图像流和深度图像流中人脸区域的三个分支网络以及预测网络，其中：彩色图像流、近红外图像流和...

【专利技术属性】
技术研发人员：纪侨斌，徐树公，曹姗，
申请(专利权)人：上海大学，
类型：发明
国别省市：