一种基于三目摄像头深度估计的人脸属性识别方法技术

本发明专利技术公开了一种基于三目摄像头估计人脸深度信息的人脸属性识别方法，利用三目摄像头获取原始RGB图像并估计深度感知图像，对原始RGB图像和深度图像数据做预处理和数据增强，并做属性标签且分成训练集、验证集和测试集三部分；通过设计多尺度投影卷积神经网络以及属性关系计算长短期记忆网络进行人脸属性特征提取模型训练；选取在验证集上准确率最高的模型作为最佳候选模型，长短期记忆网络的输出即为对应的人脸属性；本发明专利技术结合三目摄像头计算的深度图像恰好弥补了深度信息的缺失，提升对复杂人脸属性预测准确率。长短期记忆单元计算各种不同属性之间的关系，达到相互补充、强化的目的，从而进一步提升所有属性预测准确率。

A method of face attribute recognition based on depth estimation of three eye camera

The invention discloses a face attribute recognition method based on the estimation of face depth information by the three eye camera, which obtains the original RGB image and estimates the depth perception image by using the three eye camera, preprocesses and enhances the original RGB image and the depth image data, labels the attributes and divides them into three parts: training set, verification set and test set; convolutes God by designing multi-scale projection The face attribute feature extraction model is trained by the network and attribute relation calculation long and short-term memory network; the model with the highest accuracy on the verification set is selected as the best candidate model, and the output of the long and short-term memory network is the corresponding face attribute; the depth image calculated by the invention in combination with the three eye camera head just makes up for the lack of depth information and improves the complex face attribute Prediction accuracy. The long-term and short-term memory units calculate the relationship between different attributes to complement and strengthen each other, so as to further improve the accuracy of all attributes prediction.

【技术实现步骤摘要】
一种基于三目摄像头深度估计的人脸属性识别方法
本专利技术涉及人脸属性识别领域，尤其涉及一种基于三目摄像头获取深度感知图像、卷积神经网络和长短期记忆网络(LongShort-TermMemory,LSTM)相结合的人脸属性识别方法。
技术介绍
随着监控技术的发展，各种监控设备遍布大街小巷，警方可以获得大量监控视频或者图像。利用人脸识别技术，提取监控视频或者图像中的人脸特征与在逃嫌犯人脸特征进行比对能够快速追踪确定逃犯轨迹、位置。然而，在获取的监控图像中，大部分分辨率比较低，人脸识别技术在这种情况下实际效果较差。而且，目击者描述犯罪嫌疑人时，着重强调人脸部特征属性，如：大鼻子，大嘴唇等，对于细节部分往往容易忽略，这对人脸识别技术带说是非常具有挑战性的。人脸属性作为人类面部显著性特征，在低分辨率的图像中依然保持高辨识度。同时，人脸属性识别往往有着比人脸识别更快的速度，从而极大程度地降低处理时间。人脸属性识别还经常用于大规模人脸图像搜索、性别判断等。因此，人脸属性识别技术具有一定研究意义。人脸属性识别技术主要包含两个难点：1)人脸属性识别的准确率。2)人脸属性识别的效率。下面介绍与本专利技术相关的现有技术：(1)现有技术一——基于手工设计特征的人脸属性识别方法现有技术一的技术方案：对于不同人脸部位设计不同人脸属性特征，将人的面部分成对应不同属性的多个区域，分别提取一种特征并训练分类器，通过多特征模式、多分类器实现人脸多种属性识别。现有技术一的缺点：1)需要手工设计多种复杂特征，难度比较大，准确率低；2)需要设计多分类器，复杂度高，计算效率低。(2)现有技术二——基于卷积神经网络的人脸属性识别方法现有技术二的技术方案：设计深度人脸属性特征提取网络在大量带有人脸属性标签的数据上训练模型，用来对整个人面部区域提取特征，设计多个独立属性分类器或者几组分类器(每组分类器负责具有相互联系的属性分类)。现有技术二的缺点：1)对整张人脸图像提取特征用于不同属性分类，缺少对不同属性的区别；2)仅对2D图像分析，缺少对深度信息的利用。(3)现有技术三——结合生成对抗神经网络的人脸属性识别方法现有技术三的技术方案设计生成对抗神经网络处理原始图像，通过生成网络获得原始人脸图像的变体来达到数据增强的目的。设计人脸属性识别神经网络，用原始图像和生成网络生成的图像作为训练数据，训练人脸属性识别模型。现有技术三的缺点1)额外设计并训练对抗生成神经网络，结构复杂度高；2)缺少对人脸属性之间的分析，或者人为指定属性之间的相互关系。
技术实现思路
本专利技术所要解决的技术问题是：针对现有技术中的缺点，本专利技术旨在提出一种基于三目摄像头获取深度感知图像、卷积神经网络和长短期记忆网络相结合的人脸属性识别方法，使其能够结合人脸图像深度信息并考虑到不同人脸属性之间的相互关系，从而提升人脸属性识别准确率。本专利技术为解决上述技术问题采用以下技术方案：一种基于三目摄像头深度估计的人脸属性识别方法，包括步骤：1)设计平行且间距相等的三目摄像头元组，使用该三目摄像头元组采集人脸图像数据并计算对应的深度图像，对获得的RGB图像和深度图像进行矫正并做好人脸属性标签，对做好标签的RGB图像和深度图像数据做预处理和数据增强，分成训练集、验证集和测试集三部分；2)设计人脸属性特征提取卷积神经网络网络以及属性关系计算长短期记忆网络；3)将1)中获得的训练集数据送入2)中设计好的卷积神经网络和长短期记忆网络进行训练；4)重复步骤3)选取在验证集上准确率最高的模型作为候选最佳候选模型；5)用步骤4)中获取的最佳候选模型在测试集上进行测试；6)根据步骤5)中测试结果，调整训练参数和网络参数重复步骤3)、4)、5)，直至获得理想模型；7)由6)中获得的理想模型即为目标训练模型，其中长短期记忆网络的输出即为对应的人脸属性。进一步的，本专利技术的人脸属性识别方法，在步骤1)中，使用三目摄像头元组采集人脸图像数据计算对应的深度图像，根据公式(1)对采集到的RGB图和深度图像进行矫正并做人脸属性标签，对训练集做水平镜像翻转、高斯模糊、添加随机椒盐噪声操作，以此增强数据；其中，f表示摄像头焦距；b表示摄像头之间的距离；l表示左摄像头；m表示中间摄像头；r表示右摄像头。进一步的，本专利技术的人脸属性识别方法，步骤2)所述设计人脸属性特征提取卷积神经网络网络以及属性关系计算长短期记忆网络，具体为卷积神经网络模块、长短期记忆单元模块：卷积神经网络模块包含一个普通3×3卷积层，十四个反残差模块，一个多尺度分离投影模块以及回归损失函数层；其中反残差模块由一个1×1点卷积、一个3×3分离卷积和一个1×1普通卷积组成，并且最后的普通1×1卷积层后不加任何激活函数；整个网络中所有的激活函数均为非线性修正单元ReLU；最后的多尺度分离投影模块的输出维度等于人脸属性类别数，该层输出即为初步人脸属性识别结果；长短期记忆单元模块的输入为卷积神经网络模块输出的初步人脸属性识别结果，首先经过两层隐藏层粗略计算各种人脸属性之间的相互关系，再利用LSTM的门控单元学习各种人脸属性之间的相互关系。进一步的，本专利技术的人脸属性识别方法，采用Adam训练方法，在步骤3)中，在caffe平台上用步骤1)中收集的人脸属性训练数据集训练模型；其中参数更新公式由公式(2)计算，损失函数采用Sigmoid交叉熵损失函数，计算公式如公式(3)；经过30000次迭代后，结束训练；其中，W为模型权重，为学习率，实验中设为0.0001，β1，β2为两个动量分别设为0.9和0.999，ε是为了防止除零的辅助参数，这里设为10e-8；其中，y为属性标签，x为卷积网络提取的特征，σ为Sigmoid函数。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：1)三目摄像头提取人脸图像深度信息：由于缺少对3D信息的分析，基于2D图像的人脸属性方法一般准确率不会太高，尤其是对比较复杂的属性预测。结合三目摄像头获得的深度图像恰好弥补了深度信息的缺失，提升对复杂人脸属性预测准确率。2)长短期记忆单元优化预测结果：卷积神经网络对属性的预测是基于多独立分类器，每个分类器只负责一种属性，缺少属性之间的相互关系分析。长短期记忆单元计算各种不同属性之间的关系，达到相互补充、强化的目的，从而进一步提升所有属性预测准确率。3)资源占用少、运行速度快：基于MobileNetV2优化后的轻量网络，参数量少，可以在CPU上达到实时的人脸属性预测，且资源占用率低。且结合多尺度、区域分离投影模块，提升模型特征表达能力。附图说明图1是本专利技术的总体实施流程图。图2是深度图本文档来自技高网...

【技术保护点】
1.一种基于三目摄像头深度估计的人脸属性识别方法，其特征在于，包括步骤：/n1)设计平行且间距相等的三目摄像头元组，使用该三目摄像头元组采集人脸图像数据并计算对应的深度图像，对获得的RGB图像和深度图像进行矫正并做好人脸属性标签，对做好标签的RGB图像和深度图像数据做预处理和数据增强，分成训练集、验证集和测试集三部分；/n2)设计人脸属性特征提取卷积神经网络网络以及属性关系计算长短期记忆网络；/n3)将1)中获得的训练集数据送入2)中设计好的卷积神经网络和长短期记忆网络进行训练；/n4)重复步骤3)选取在验证集上准确率最高的模型作为最佳候选模型；/n5)用步骤4)中获取的最佳候选模型在测试集上进行测试；/n6)根据步骤5)中测试结果，调整训练参数和网络参数重复步骤3)、4)、5)，直至获得理想模型；/n7)由6)中获得的理想模型即为目标训练模型，其中长短期记忆网络的输出即为对应的人脸属性。/n

【技术特征摘要】
1.一种基于三目摄像头深度估计的人脸属性识别方法，其特征在于，包括步骤：
1)设计平行且间距相等的三目摄像头元组，使用该三目摄像头元组采集人脸图像数据并计算对应的深度图像，对获得的RGB图像和深度图像进行矫正并做好人脸属性标签，对做好标签的RGB图像和深度图像数据做预处理和数据增强，分成训练集、验证集和测试集三部分；
2)设计人脸属性特征提取卷积神经网络网络以及属性关系计算长短期记忆网络；
3)将1)中获得的训练集数据送入2)中设计好的卷积神经网络和长短期记忆网络进行训练；
4)重复步骤3)选取在验证集上准确率最高的模型作为最佳候选模型；
5)用步骤4)中获取的最佳候选模型在测试集上进行测试；
6)根据步骤5)中测试结果，调整训练参数和网络参数重复步骤3)、4)、5)，直至获得理想模型；
7)由6)中获得的理想模型即为目标训练模型，其中长短期记忆网络的输出即为对应的人脸属性。


2.根据权利要求1所述的人脸属性识别方法，其特征在于：在步骤1)中，使用三目摄像头元组采集人脸图像数据计算对应的深度图像，根据公式(1)对采集到的RGB图和深度图像进行矫正并做人脸属性标签，对训练集做水平镜像翻转、高斯模糊、添加随机椒盐噪声操作，以此增强数据；



其中，f表示摄像头焦距；b表示摄像头之间的距离；l表示左摄像头；m表示中间摄像头；r表示右摄像头。


3.根据权利要求1所述的人脸属性识别方法，其特征在于：步骤2)所述设计人脸属性特征提取卷积神经网络网络以及属性关系计算长短期...

【专利技术属性】
技术研发人员：骆冰清，成曦，李腾，杨士猛，
申请(专利权)人：南京邮电大学盐城大数据研究院有限公司，
类型：发明
国别省市：江苏;32