基于多区域特征与度量学习的人脸特征识别方法及系统技术方案

本发明专利技术公开了基于多区域特征与度量学习的人脸特征识别方法及系统，方法包括：通过多尺度人脸区域训练得到相应位置与尺度的卷积神经网络参数，并根据所述卷积神经网络参数提取出人脸对应区域的特征；对上述特征进行筛选，得到高维人脸特征；根据所述高维人脸特征进行度量学习，将特征进行降维处理得到特征表达后定义损失函数，通过所述损失函数训练得到度量学习的网络模型；将待识别的图像输入所述网络模型后，将人脸特征进行降维后利用欧几里得距离进行识别。本发明专利技术中通过多尺度选取多区域，对卷积神经网络进行训练，提高了特征的表达能力。同时，通过对获取的多尺度特征进行选择，提高了特征的表达效率，有效地提高了人脸识别的准确率。

【技术实现步骤摘要】
基于多区域特征与度量学习的人脸特征识别方法及系统
本专利技术涉及图像识别和处理领域，特别涉及基于多区域特征与度量学习的人脸特征识别方法及系统。
技术介绍
人脸识别技术，是基于人的脸部特征，对输入的人脸图像或者视频流.首先判断其是否存在人脸,如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。人脸识别技术包含三个部分：1)人脸检测,2)人脸跟踪,3)人脸比对。现有的人脸识别技术中，一种实现方式是通过人脸区域单一尺度/区域训练提取人脸特征+欧氏距离识别，但缺点是提取的特征的表达能力有限，人脸识别的准确率低。另外一种方式是通过人脸多区域训练提取人脸特征+主成分分析(PCA)降维+联合贝叶斯(Joint-Bayesian)方法，但其缺点是识别速度慢。还有一种方式是人脸多区域提取人脸特征+欧氏距离或余弦距离识别，但其缺点是特征维度高，存储空间大。可见，现今的人脸识别系统大多通过对单个或多个人脸区域利用卷积神经网络训练得到网络的权重；然后再根据训练所得网络的权重计算得到人脸特征向量，最后通过对特征向量进行处理获得人脸识别的结果。
技术实现思路
本专利技术要解决的技术问题是，提高了特征的表达能力和效率，提高了人脸识别的准确率的基于多区域特征与度量学习的人脸特征识别方法。解决上述技术问题，本专利技术提供了基于多区域特征与度量学习的人脸特征识别方法，包括如下步骤：通过对多尺度人脸区域训练得到相应位置与尺度的卷积神经网络参数，并根据所述卷积神经网络参数提取出人脸对应区域的特征；对上述特征进行筛选，得到高维人脸特征；根据所述高维人脸特征进行度量学习，将特征进行降维处理得到降维后特征表达，并定义损失函数，通过所述损失函数训练得到度量学习的网络模型；将待识别的图像输入所述网络模型后将得到的降维后的人脸特征利用欧几里得距离进行识别。更进一步，所述多尺度人脸区域训练进一步包括如下步骤：对于每一张输入的人脸图片进行人脸检测与关键点标注，得到人脸框R和N个人脸关键点位置{P1，P2，P3，...，PN}；选取不同位置与尺度的人脸区域进行训练，得到人脸框的不同尺度输入和不同位置输入，得到多位置、多尺度的人脸区域。具体的选择方式为：比如以人脸框的中心为参考，将人脸框的尺度分别扩大1.3倍、扩大1.69倍、缩小1.3倍，并加上原人脸框，构成人脸框的4种尺度的输入；以27个人脸关键点为中心，向上下左右各扩展22个像素，即选取45px×45px的区域作为27种不同位置的输入。由此得到了31个多位置、多尺度的人脸区域。分别用这31个不同的区域去训练31个卷积神经网络，得到相应位置与尺度的卷积神经网络参数，用来提取人脸对应区域的特征。优选地，对于人脸框的4种尺度输入，可提取的特征维数为512；对于由27个特征点确定的27个人脸区域，可提取的维数为64。更进一步，根据所述卷积神经网络参数提取出人脸对应区域的特征的方法具体为：设人脸图片测试集的大小为Ntest，对其中的任一张图片IMGi，进行人脸检测和关键点标注，根据训练过程中的多区域的人脸选择，截取对应的多个区域，并分别输入到对应的卷积神经网络里计算，对于每张人脸图片得到多个区域对应的特征，分别计算多个特征中的每一个特征对于图片测试集上Ntest张图片的识别性能绘制出ROC曲线；根据ROC曲线选择出人脸对应区域的特征，作为度量学习需要的特征，并保留对应特征区域的卷积神经网络参数用作特征提取。更进一步，根据所述高维人脸特征进行度量学习具体包括如下步骤：设人脸图片训练集的大小为Ntrain，对于其中的图片进行人脸检测和关键点标注，根据所述人脸对应区域的卷积神经网络参数计算提取人脸特征，得到数据量为Ntrain的高维人脸特征训练集。记上述特征训练集中样本的所有类别标签数量为L，则类别标签的集合为T＝{t1，t2，...，tL}，在训练集中随机选取m个样本X1＝{x1，1，x1，2…x1，N}，X2＝{x2，1，x2，2...x2，N}，…,Xm＝{xm，1，xm，2…xm，N}，样本对应的类别标签为:Ybatch＝{y1，y2，...，ym}，yi∈T，i＝1，2，...，m将上述数据记为一个训练组，对训练组的m个数据加入网络中训练记为一个训练轮，一个训练组训练完成记为一轮训练完成，且每一轮训练的m个样本均是独立随机选取。在所述的一训练组中定义集合P和N如下：P＝{(i，j)|i≠j且yi＝yj，i＝1，2，...，m}N＝{(i，j)|i≠j且yi≠yj，i＝1，2，...，m}其中，P为所有正样本对的下标的集合，N为所有负样本对的下标集合。更进一步，将人脸特征进行降维处理得到特征表达后，输入到训练网络中，设W1，W2分别为训练网络第一层和第二层的权重，b1，b2分别为第一层和第二层的偏置项，激活函数为g(x)＝max(0，x)，在训练批次中，所述训练网络第一层的网络输出分别为：所述训练网络第二层的网络输出分别为：更进一步，对所述训练网络第一层的网络，将特征进行降维处理得到特征表达后定义损失函数的方法具体为：记为所有类别标签对应的特征经过第一层网络后的输出U的聚类中心，每一轮训练前，更新对于一个训练组的m个样本，定义第一个度量学习的损失函数：优选地，这里需注意对于一个训练组的m个样本，可能不包含T中所有类别标签。规定：第n轮训练后的类别标签tk，k＝1，2，...，L的聚类中心为且按照以下的规则进行更新：其中，α为常量。式中δ(x)的定义为：对所述训练网络第二层的网络，定义定义第二个度量学习的损失函数：其中：式中γ为常量。更进一步，所述对于当前训练组，得到总的损失函数为：L＝L1+θ·L2，其中θ为两者的比例参数，利用上述损失函数，训练一设定轮数后保存模型中的参数W1，b1，作为度量学习的网络模型。基于上述本专利技术还提供了一种基于所述的人脸特征识别方法的识别系统，其特征在于，对于输入的第一测试图片和第二测试图片，所述识别系统被配置为：S1对其进行人脸检测和关键点识别，选出经过选择的人脸区域，并加入到卷积神经网络中计算并归一化，得到第一测试图片的高维特征X1和第二测试图片的高维特征X2；S2将两个高维特征X1和X2输入到度量学习算法得到的模型中，得到测试第一测试图片的降维特征U1和第二测试图片的降维特征U2；S3计算U1和U2间的欧式距离为D，将D与判别阈值Th进行比较，S4若D≤Th,则判定两张人脸测试图片属于同一个人；S5否则这两个人脸测试图片不属于同一个人。本专利技术还提供了基于多区域特征与度量学习的人脸特征识别系统，包括：神经卷积训练单元、度量学习模型单元以及判别单元，所述神经卷积训练单元，用以通过多尺度人脸区域训练得到相应位置与尺度的卷积神经网络参数，并根据所述卷积神经网络参数提取出人脸对应区域的特征；以及对上述特征进行筛选，得到高维人脸特征；所述度量学习模型单元，用以根据所述高维人脸特征进行度量学习，将特征进行降维处理得到特征表达后定义损失函数，通过所述损失函数训练得到度量学习的网络模型；所述判别单元，用以将待识别的图像输入所述网络模型后，将人脸特征进行降维后利用欧几里得距本文档来自技高网...

【技术保护点】
基于多区域特征与度量学习的人脸特征识别方法，其特征在于，包括如下步骤：通过多尺度人脸区域训练得到相应位置与尺度的卷积神经网络参数，并根据所述卷积神经网络参数提取出人脸对应区域的特征；对上述特征进行筛选，得到高维人脸特征；根据所述高维人脸特征进行度量学习，将特征进行降维处理得到特征表达后定义损失函数，通过所述损失函数训练得到度量学习的网络模型；将待识别的图像输入所述网络模型后，将人脸特征进行降维后利用欧几里得距离进行识别。

【技术特征摘要】
1.基于多区域特征与度量学习的人脸特征识别方法，其特征在于，包括如下步骤：通过多尺度人脸区域训练得到相应位置与尺度的卷积神经网络参数，并根据所述卷积神经网络参数提取出人脸对应区域的特征；对上述特征进行筛选，得到高维人脸特征；根据所述高维人脸特征进行度量学习，将特征进行降维处理得到特征表达后定义损失函数，通过所述损失函数训练得到度量学习的网络模型；将待识别的图像输入所述网络模型后，将人脸特征进行降维后利用欧几里得距离进行识别。2.根据权利要求1所述的人脸特征识别方法，其特征在于，所述多尺度人脸区域训练进一步包括如下步骤：对于每一张输入的人脸图片进行人脸检测与关键点标注，得到人脸框R和N个人脸关键点位置{P1，P2，P3，...，PN}；基于人脸关键点选取不同位置与尺度的人脸区域进行训练，得到人脸框的不同尺度输入和不同位置输入，进而得到多位置、多尺度的人脸区域及其卷积神经网络参数。3.根据权利要求1所述的人脸特征识别方法，其特征在于，根据所述卷积神经网络参数提取出人脸对应区域的特征并进行选择的方法具体为：设人脸图片测试集的大小为Ntest，对其中的任一张图片IMGi，进行人脸检测和关键点标注，根据训练过程中的多区域的人脸选择，截取对应的多个区域，并分别输入到对应的卷积神经网络里计算；对于每张人脸图片得到多个区域对应的特征，分别计算多个特征中的每一个特征对于图片测试集上Ntest张图片的识别性能并绘制出ROC曲线；根据ROC曲线选择出人脸对应区域的特征，作为度量学习需要的特征，并保留对应特征区域的卷积神经网络参数用作特征提取。4.根据权利要求3所述的人脸特征识别方法，其特征在于，根据所述高维人脸特征进行度量学习具体包括如下步骤：设人脸图片训练集的大小为Ntrain，对于其中的图片进行人脸检测和关键点标注，并根据上述的卷积神经网络参数计算提取特征，得到数据量为Ntrain的高维人脸特征训练集，记上述特征训练集中样本的所有类别标签数量为L，则类别标签的集合为T＝{t1，t2，...，tL}，在训练集中随机选取m个样本X1＝{x1，1，x1，2...x1，N}，X2＝{x2，1，x2，2...x2，N}，…,Xm＝{xm，1，xm，2...xm，N}，样本对应的类别标签为:Ybatch{y1，y2，...，ym}，yi∈T，i＝1，2，...，m将上述数据记为一个训练组，对训练组的m个数据加入网络中训练记为一个训练轮，一个训练组训练完成记为一轮训练完成，且每一轮训练的m个样本均是独立随机选取；在所述的一训练组中定义集合P和N如下：P＝{(i，j)|i≠j且yi＝yj,i=1，2，...，m}N＝{(i，j)|i≠j且yi≠yj,i=1，2，...，m}其中，P为所有正样本对的下标的集合，N为所有负样本对的下标集合。5.根据权利要求4所述的人脸特征识别方法，其特征在于，将人脸特征进行降维处理得到特征表达后定义损失函数对网络进行训练的方法具体为：设W1，W2分别为训练网络第一层和第二层的权重，b1，b2分别为第一层...

【专利技术属性】
技术研发人员：郭宇，白洪亮，董远，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11