人脸属性判断方法、装置、计算机可读存储介质及设备制造方法及图纸

本发明专利技术公开了一种人脸属性判断方法、装置、计算机可读存储介质及设备，属于模式识别领域。该方法包括：获得人脸图像的关键点；将关键点对齐到指定的坐标位置，在对齐后的图像上，截取指定宽度和指定高度的图像，得到脸部图像；将脸部图像输入卷积神经网络，得到每一种人脸属性的概率：其中，脸部图像经过卷积操作、激活操作、Eltwise操作和池化操作得到脸部特征；将脸部特征分别经过若干个分支处理，每个分支的分类器或回归器输出一种人脸属性的概率。本发明专利技术通过脸部特征解决了脸部相关的属性分析，获得更好的人脸属性判断效果；使用多任务有监督的方法，由于每一个属性任务只共享了一部分网络，既保证了网络的便捷，又可以获得较好的效果。

【技术实现步骤摘要】
人脸属性判断方法、装置、计算机可读存储介质及设备
本专利技术涉及模式识别领域，特别是指一种人脸属性判断方法、装置、计算机可读存储介质及设备。
技术介绍
深度学习的兴起为生物特征识别带来了巨大的发展，尤其是人脸识别，图像理解等方向的研究。随着人脸比对算法精度的不断提高，越来越多的研究人员开始关注人的行为属性方面的研究。在人脸识别领域，针对人行为的研究，包括了人本身属性的研究，例如表情，姿态等，也包括了外部属性的研究，如是否戴眼镜或是否戴墨镜等。为了增强人与机器之间的互动，人脸的属性研究日渐增多。目前，针对人脸属性的研究主要集中在使用分类器对人脸图像进行二分类或多分类。(1)人脸行为属性二分类方法基于二分类的人脸行为属性分类方法是针对单一的属性类别进行判断，通常情况下使用卷积神经网络对人脸图像进行二分类，判断该人脸图像是否具有该属性，具有该属性的概率有多大。例如，针对眼镜属性，目标是要判断采集的人脸图像是否戴眼镜，二分类方法会对人脸图像使用深度网络进行二分类，二分类的结果为该图像中的人脸带眼镜的概率和没有戴眼镜的概率。该方法对属性分类简单直接，但如果有n个属性需要判断，则需要训练n个分类器或深度网络，并作n次前馈过程。所以，该方法对所有的人脸属性进行判别较为繁琐，时间复杂度较高，造成过多资源上的浪费。(2)人脸行为属性多分类方法该方法是将所有需要判断的人脸属性作为最终的目标，只是用一个分类器或深度网络输出所有的判断结果。例如，需要对一张人脸图像同时判断该图像的是否戴眼镜，是否闭眼，是否化妆三个属性，实际上只需要使用一个卷积神经网络进行三分类，每一个分类的结果表示判断具有该属性的概率。由于该方法使用的是多分类，所有对于多分类任务较大程度上会加快判断的速度。但是，随着分类类别数量的增多，算法的泛化效果会变差。由前述，现有技术的基于二分类的方法只能针对单一的属性进行判断，在实际的使用中如果希望判断多个人脸属性时，时间开销会增高。基于多分类的方法无法较好解决属性类别增多的情况，如果需要对更多的属性进行分类，会出现算法泛化性变差的情况。再者，随着待分类属性个数的增多，需要选择较深和较宽的卷积神经网络进行属性的分类，从而获得较好的泛化性，但就会导致较高的时间复杂度。
技术实现思路
为解决上述技术问题，本专利技术提供一种人脸属性判断方法、装置、计算机可读存储介质及设备，本专利技术通过脸部特征有效地解决脸部相关的属性分析，获得更好的人脸属性判断效果；并且使用多任务有监督的方法，由于每一个属性任务只共享了一部分网络，既保证了网络的便捷，又可以获得较好的效果。本专利技术提供技术方案如下：第一方面，本专利技术提供一种人脸属性判断方法，所述方法包括：使用人脸检测和关键点定位方法，获得人脸图像的关键点；将关键点对齐到指定的坐标位置，在对齐后的图像上，截取指定宽度和指定高度的图像，得到脸部图像；将脸部图像输入卷积神经网络，得到每一种人脸属性的概率，其中：脸部图像经过一系列的卷积操作、激活操作、Eltwise操作和池化操作得到脸部特征；将所述脸部特征分别经过若干个分支处理，每个分支均依次包括一个卷积层和一个判别器，所述判别器为分类器或回归器，每个分支的卷积层与其他分支的卷积层不同，每个分支的分类器或回归器输出一种人脸属性的概率。进一步的，所述卷积神经网络包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块、第五提取模块、第六提取模块、第七提取模块、第八提取模块、第九提取模块和第十提取模块；所述脸部图像经过第一提取模块至第十提取模块，并经过一个卷积层、一个激活层和一个池化层，得到所述脸部特征；其中，所述第一提取模块、第三提取模块、第四提取模块、第六提取模块、第七提取模块、第八提取模块和第十提取模块均包括若干卷积层、激活层和Eltwise层，所述第二提取模块、第五提取模块和第九提取模块均包括若干卷积层和激活层；在第三提取模块、第四提取模块、第六提取模块、第七提取模块、第八提取模块和第十提取模块中，当前提取模块输入的特征图经过若干卷积操作和激活操作，得到的特征图与输入的特征图进行Eltwise操作，得到输出的特征图，作为下一个提取模块的输入。进一步的，所述人脸属性包括年龄、是否有胡子、是否戴眼镜、是否戴面具、是否戴墨镜，所述分支数量为5个，其中：所述脸部特征经过第一分支的卷积层和分类器，得到有胡子和没有胡子的概率；所述脸部特征经过第二分支的卷积层和回归器，得到人的年龄；所述脸部特征经过第三分支的卷积层和分类器，得到戴眼镜和没有戴眼镜的概率；所述脸部特征经过第四分支的卷积层和分类器，得到戴面具和没有戴面具的概率；所述脸部特征经过第五分支的卷积层和分类器，得到戴墨镜和没有戴墨镜的概率。进一步的，所述卷积神经网络通过多任务有监督方法训练得到，训练的损失函数为交叉熵损失；在训练时，对训练集中的样本进行平移或旋转扩充数据。第二方面，本专利技术提供一种人脸属性判断装置，所述装置包括：人脸检测和关键点定位模块，用于使用人脸检测和关键点定位方法，获得人脸图像的关键点；脸部图像获取模块，用于将关键点对齐到指定的坐标位置，在对齐后的图像上，截取指定宽度和指定高度的图像，得到脸部图像；脸部特征提取和人脸属性分类模块，用于将脸部图像输入卷积神经网络，得到每一种人脸属性的概率，其中包括：脸部特征提取单元，用于脸部图像经过一系列的卷积操作、激活操作、Eltwise操作和池化操作得到脸部特征；人脸属性分类单元，用于将所述脸部特征分别经过若干个分支处理，每个分支均依次包括一个卷积层和一个判别器，所述判别器为分类器或回归器，每个分支的卷积层与其他分支的卷积层不同，每个分支的分类器或回归器输出一种人脸属性的概率。进一步的，所述卷积神经网络包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块、第五提取模块、第六提取模块、第七提取模块、第八提取模块、第九提取模块和第十提取模块；所述脸部图像经过第一提取模块至第十提取模块，并经过一个卷积层、一个激活层和一个池化层，得到所述脸部特征；其中，所述第一提取模块、第三提取模块、第四提取模块、第六提取模块、第七提取模块、第八提取模块和第十提取模块均包括若干卷积层、激活层和Eltwise层，所述第二提取模块、第五提取模块和第九提取模块均包括若干卷积层和激活层；在第三提取模块、第四提取模块、第六提取模块、第七提取模块、第八提取模块和第十提取模块中，当前提取模块输入的特征图经过若干卷积操作和激活操作，得到的特征图与输入的特征图进行Eltwise操作，得到输出的特征图，作为下一个提取模块的输入。进一步的，所述人脸属性包括年龄、是否有胡子、是否戴眼镜、是否戴面具、是否戴墨镜，所述分支数量为5个，其中：所述脸部特征经过第一分支的卷积层和分类器，得到有胡子和没有胡子的概率；所述脸部特征经过第二分支的卷积层和回归器，得本文档来自技高网...

【技术保护点】
1.一种人脸属性判断方法，其特征在于，所述方法包括：/n使用人脸检测和关键点定位方法，获得人脸图像的关键点；/n将关键点对齐到指定的坐标位置，在对齐后的图像上，截取指定宽度和指定高度的图像，得到脸部图像；/n将脸部图像输入卷积神经网络，得到每一种人脸属性的概率，其中：/n脸部图像经过一系列的卷积操作、激活操作、Eltwise操作和池化操作得到脸部特征；/n将所述脸部特征分别经过若干个分支处理，每个分支均依次包括一个卷积层和一个判别器，所述判别器为分类器或回归器，每个分支的卷积层与其他分支的卷积层不同，每个分支的分类器或回归器输出一种人脸属性的概率。/n

【技术特征摘要】
1.一种人脸属性判断方法，其特征在于，所述方法包括：
使用人脸检测和关键点定位方法，获得人脸图像的关键点；
将关键点对齐到指定的坐标位置，在对齐后的图像上，截取指定宽度和指定高度的图像，得到脸部图像；
将脸部图像输入卷积神经网络，得到每一种人脸属性的概率，其中：
脸部图像经过一系列的卷积操作、激活操作、Eltwise操作和池化操作得到脸部特征；
将所述脸部特征分别经过若干个分支处理，每个分支均依次包括一个卷积层和一个判别器，所述判别器为分类器或回归器，每个分支的卷积层与其他分支的卷积层不同，每个分支的分类器或回归器输出一种人脸属性的概率。


2.根据权利要求1所述的人脸属性判断方法，其特征在于，所述卷积神经网络包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块、第五提取模块、第六提取模块、第七提取模块、第八提取模块、第九提取模块和第十提取模块；
所述脸部图像经过第一提取模块至第十提取模块，并经过一个卷积层、一个激活层和一个池化层，得到所述脸部特征；
其中，所述第一提取模块、第三提取模块、第四提取模块、第六提取模块、第七提取模块、第八提取模块和第十提取模块均包括若干卷积层、激活层和Eltwise层，所述第二提取模块、第五提取模块和第九提取模块均包括若干卷积层和激活层；
在第三提取模块、第四提取模块、第六提取模块、第七提取模块、第八提取模块和第十提取模块中，当前提取模块输入的特征图经过若干卷积操作和激活操作，得到的特征图与输入的特征图进行Eltwise操作，得到输出的特征图，作为下一个提取模块的输入。


3.根据权利要求2所述的人脸属性判断方法，其特征在于，所述人脸属性包括年龄、是否有胡子、是否戴眼镜、是否戴面具、是否戴墨镜，所述分支数量为5个，其中：
所述脸部特征经过第一分支的卷积层和分类器，得到有胡子和没有胡子的概率；所述脸部特征经过第二分支的卷积层和回归器，得到人的年龄；所述脸部特征经过第三分支的卷积层和分类器，得到戴眼镜和没有戴眼镜的概率；所述脸部特征经过第四分支的卷积层和分类器，得到戴面具和没有戴面具的概率；所述脸部特征经过第五分支的卷积层和分类器，得到戴墨镜和没有戴墨镜的概率。


4.根据权利要求1-3任一所述的人脸属性判断方法，其特征在于，所述卷积神经网络通过多任务有监督方法训练得到，训练的损失函数为交叉熵损失；在训练时，对训练集中的样本进行平移或旋转扩充数据。


5.一种人脸属性判断装置，其特征在于，所述装置包括：
人脸检测和关键点定位模块，用于使用人脸检测和关键点定位方法，获得人脸图像的关键点；
脸部图像获取模块，用于将关键点对齐到指定的坐标位置，在对齐后的图像上，截取指定宽度和指定高度的图像，得到脸...

【专利技术属性】
技术研发人员：周军，王洋，
申请(专利权)人：北京眼神智能科技有限公司，北京眼神科技有限公司，
类型：发明
国别省市：北京;11