基于深度学习的人脸检索系统及方法技术方案

本发明专利技术涉及一种基于深度学习的人脸检索方法及系统，包含以下步骤：检索模型的训练：使用caffe深度学习框架训练模型，采用梯度下降的方式优化模型参数，得出检索模型；人脸特征的提取：先将训练集中所有人的图片喂到神经网络中，进行前馈过程，保存第一个全连接层和第二个全连接层的输出；人脸注册：充分提取注册者在不同光照，不同姿态下的特征向量和哈希编码；人脸检索：提取出待检索人脸图像的哈希编码和特征向量，然后将其与训练集中的图片进行比对，采用哈希编码粗检索和特征向量细检索相结合的检索方式，经过粗检索和细检索后得到最相似的人脸图像，并输出对应的相似度值。

Depth learning based face retrieval system and method

The invention relates to a face deep learning retrieval method and system based on the retrieval model includes the following steps: training: the use of Caffe deep learning training model framework, using gradient descent method to optimize the parameters of the model, the retrieval model; facial feature extraction: first of all the training images fed into the neural network. For the first full feedforward process, save the connection layer and second layer fully connected output; face registration: fully extract registration in different light, different postures of feature vector and hash encoding; face retrieval: distill hash encoding and feature vector of face image retrieval, and compared them with the the training set images, using hash encoding coarse retrieval and feature vector retrieval methods combining fine retrieval, retrieval and retrieval through coarse fine after the phase Similar face images, and outputs the corresponding similarity values.

【技术实现步骤摘要】
基于深度学习的人脸检索系统及方法
本专利技术涉及机器视觉与人脸检索领域，具体涉及基于深度学习的人脸检索系统及方法。
技术介绍
自从krizhevsky等人提出基于深度学习理论的深度卷积神经网络Alexnet后，图像识别领域进入了新的纪元。深度卷积神经网络通过卷积运算由浅入深的提取图像的不同层次的特征，并通过学习算法使网络自动的调节卷积核的参数进行学习，在图像分类和识别上已经取得了显著效果。目前的人脸检索系统主要由人脸图像的预处理、特征提取和特征匹配三个步骤组成。预处理过程需要对人脸进行检测，这一部分的技术已较为成熟，这里不再赘述。特征提取就是从图像中把图像自身的内容信息提取出来，完成图像的量化，使用户可以据此进行图像检索。目前常用的图像特征有SIFT、SURF和PCA-SIFT等。但是在不同的光照、人物姿态、表情影响之下，人脸信息在模式上变化较大；有些人物由于脸部戴有装饰物，如胡须、眼镜等，造成人脸信息扭曲；人脸图像的拍摄角度往往多种多样，同一个人脸在不同角度拍摄条件下得到的图像差别很大。这些手工特征不能很好的表征上述情况下的图像。此外，上述提取到的特征维度往往较高，很容易造成维度灾难，这样会大大较低人脸检索的速度，不能实时返回查询的结果。与本专利技术最相近的方法有汪昀[1]等人提出的方法，其首先提取人脸图像的特征，通过建立投影矩阵将特征从欧几里德空间映射到汉明空间实现降维，采用改进的多比特编码方法对降维后的特征进行编码并生成图像签名，以曼哈顿距离取代汉明距离衡量签名之间的相似度；然后根据图像库中每张图像的签名构建倒排索引表；最后通过倒排索引表高效地查找与查询图像相近的图像作为检索结果。[1]汪昀.海量人脸图像快速检索方法研究与实现[D].中国科学技术大学，2014.[2]WuX，HeR，SunZ，etal.ALightCNNforDeepFaceRepresentationwithNoisyLabels[J].ComputerScience，2016.[3]SunY，WangX，TangX.DeepLearningFaceRepresentationfromPredicting10,000Classes[J].2014：1891-1898.[4]LinK，YangHF，HsiaoJH，etal.Deeplearningofbinaryhashcodesforfastimageretrieval[C]//IEEEConferenceonComputerVisionandPatternRecognitionWorkshops.2015：27-35.[5]王利卿，黄松杰.基于多尺度卷积神经网络的图像检索算法[J].软件导刊，2016，15(2)：38-40.[6]杨之光，艾海舟.基于聚类的人脸图像检索及相关反馈[J].ActaAutomaticaSinica，2008，34(9)：1033-1039.[7]刘洋.基于深度学习的图像检索技术研究[D].华中科技大学，2015.
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，针对这些问题，本系统使用了卷积神经网络提取到的特征，表征性强，对不同环境下的人脸有很好的表征能力；维度低，可以加快检索速度。此外，本系统采用了粗检索和细检索的特征匹配方式，大大加快了人脸图像的检索速度。本专利技术方法涉及机器视觉与人脸检索，即通过摄像头捕获图像，然后利用卷积神经网络提取图像特征，最后利用这些特征找到数据库中类似的图像的过程。一种基于深度学习的人脸检索方法，其特征在于包含以下步骤：检索模型的训练：使用caffe深度学习框架训练模型，采用梯度下降的方式优化模型参数，得出检索模型；人脸特征的提取：先将训练集中所有人的图片喂到神经网络中，进行前馈过程，保存第一个全连接层和第二个全连接层的输出；人脸注册：充分提取注册者在不同光照，不同姿态下的特征向量和哈希编码；人脸检索：提取出待检索人脸图像的哈希编码和特征向量，然后将其与训练集中的图片进行比对，采用哈希编码粗检索和特征向量细检索相结合的检索方式，经过粗检索和细检索后得到最相似的人脸图像，并输出对应的相似度值。所述步骤二中将第一个全连接层的输出作为人脸图像的特征向量用于细检索，将第二个全连接层的输出作为人脸图像的哈希编码用于粗检索。一种基于所述人脸检索方法的人脸检索系统，可将其应用于人脸识别，陌生人报警领域。本专利技术的有益效果是：利用深层神经网络的分类模型的隐含层输出作为人脸图像的特征表示。此外，本专利技术还从卷积网中提取到人脸图像的哈希编码，先利用其进行人脸图像的粗检索，得到若干候选相似人脸图像。再用人脸的特征向量进行细检索，得到最终相似的人脸图像。实验证明，本专利技术采用的检索方法具有速度快，检索质量高等优点。同时本检索系统也可以用于人脸识别，陌生人报警等领域。附图说明图1为人脸检索方法的流程图；图2为人脸检索模型图；图3a为特征输入图；图3b为第一个卷积层的特征图；图3c为第四个卷积层的特征图；图3d为第五个卷积层的特征图；图4为人脸注册流程图；图5a为待检索图像；图5b为粗检索得到的候选集；图5c为细检索得到的相似图像；图6为人脸检测结果；图7为检索结果；图8为人脸检索系统的流程框图。具体实施方式以下结合附图对本专利技术进行详细说明：一种深度学习的人脸检索方法，图1为人脸检索方法的流程图，主要包括以下步骤：一、检索模型的训练本系统采用的检索模型是基于吴翔的lightenedCNN模型进行训练，与之不同的是在网络的倒数第二层插入了哈希编码层。最终的模型一共包括14个卷积层和3个全连接层。其中的卷积层用来逐级提取人脸图像的特征，全连接层用于最终的分类。因为训练神经网络需要大量的数据，所以我们使用了CASIA-WebFace结合我们自己采集数据集作为训练数据。最终的训练数据一共包含10228人的494414张标准化人脸图片。本系统使用了caffe深度学习框架训练模型，采用梯度下降的方式优化模型参数，训练集的bacth设为64，验证集的batch设为32，学习率的更新策略使用“inv”即lr＝base_lr*(1+gamma*iter)^(-power)其中lr是当前迭代的学习率，base_lr是基础学习率设为0.01，gamma和power都是常量，分别设为0.000005和0.75。模型一共迭代了五百万次，最终在测试集上达到98.7％的准确率。这说明我们的模型有一定的实用性。二、人脸特征的提取模型训练完成后，需要在神经网络中抽取若干层当作人脸图像的特征表达，完成图像向量化，便于后面的人脸检索。神经网络是逐级提取人脸特征，即从底层的图像特征如梯度、颜色块等到人脸局部特征再到人脸的全局特征。越到高层，提取的特征越抽象，特征的表征能力越强。各层提取到的特征图如图3所示。为了完成人脸检索系统，需要先将训练集中所有人的图片喂到神经网络中，进行前馈过程，保存第一个全连接层和第二个全连接层的输出。在本检索系统中，将第一个全连接层的输出作为人脸图像的特征向量用于细检索，将第二个全连接层的输出作为人脸图像的哈希编码用于粗检索。三、人脸注册本系统主要用于安保机器人上面。安保机器人在公司内进行巡逻，需要判断某个人是不是本公司的员工。对于新来员工需要提取其对应本文档来自技高网...

【技术保护点】
一种基于深度学习的人脸检索方法，其特征在于包含以下步骤：一、检索模型的训练：使用caffe深度学习框架训练模型，采用梯度下降的方式优化模型参数，得出检索模型；二、人脸特征的提取：先将训练集中所有人的图片喂到神经网络中，进行前馈过程，保存第一个全连接层和第二个全连接层的输出；三、人脸注册：充分提取注册者在不同光照，不同姿态下的特征向量和哈希编码；四、人脸检索：提取出待检索人脸图像的哈希编码和特征向量，然后将其与训练集中的图片进行比对，采用哈希编码粗检索和特征向量细检索相结合的检索方式，经过粗检索和细检索后得到最相似的人脸图像，并输出对应的相似度值。

【技术特征摘要】
1.一种基于深度学习的人脸检索方法，其特征在于包含以下步骤：一、检索模型的训练：使用caffe深度学习框架训练模型，采用梯度下降的方式优化模型参数，得出检索模型；二、人脸特征的提取：先将训练集中所有人的图片喂到神经网络中，进行前馈过程，保存第一个全连接层和第二个全连接层的输出；三、人脸注册：充分提取注册者在不同光照，不同姿态下的特征向量和哈希编码；四、人脸检索：提取出待检索人脸图像的哈希编码和特征向量，然后将其与训...

【专利技术属性】
技术研发人员：何元烈，陈佳腾，任万灵，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44