旋转不变性人脸检测方法、装置、可读存储介质及设备制造方法及图纸

本发明专利技术公开了一种旋转不变性人脸检测方法、装置、可读存储介质及设备，属于模式识别领域。包括：将人脸图像输入三级卷积神经网络，得到人脸位置和人脸属性。第一级卷积神经网络将人脸图像按照姿态角度分类到第一角度范围或第二角度范围，将第二角度范围的人脸图像旋转到第一角度范围；第二级卷积神经网络将第一角度范围的人脸图像按照姿态角度分类到第三角度范围、第四角度范围或第五角度范围，将第四角度范围或第五角度范围的人脸图像旋转至第三角度范围；第三级卷积神经网络对第三角度范围的人脸图像进行处理，得到人脸位置和人脸属性。本发明专利技术有效地解决了旋转人脸的检测和属性判断问题，具有较小的时间复杂度和更好的人脸检测和属性判断效果。

【技术实现步骤摘要】
旋转不变性人脸检测方法、装置、可读存储介质及设备
本专利技术涉及模式识别领域，特别是指一种旋转不变性人脸检测方法、装置、计算机可读存储介质及设备。
技术介绍
卷积神经网络(ConvolutionalNeuralNetworks，CNN)在模式识别领域获得了较大的进步，尤其在图像人脸识别领域，识别效果可以远超人眼的辨别效果。由于CNN可以自适应的获得图像的特征并且可以获得较好的分类效果，所以基于CNN的人脸检测也取得了较大的突破。但现有技术的人脸检测方法为了获得较高的检测率和较低的错误检测率，往往会使用复杂的、较深的网络结构，这就导致了基于CNN的人脸检测无法达到实时检测的目的。由于人脸旋转或图像旋转导致的人脸检测召回率低、人脸属性判断不准确的问题，并没有很好的得到解决。目前现存的技术方法，需要对旋转的角度进行预判，对图像旋转正以后再进行人脸检测或人脸属性判断，或者连续多个间隔角度进行多次人脸检测。这些方法都将带来极大的时间复杂度，导致解决问题的时间变长。以连续角度间隔旋转检测人脸和属性判断为例：该方法首先需要得到可以检测正面人脸的人脸检测器D和属性判别器H，接着对待判断的旋转图像每间隔a角度进行旋转，对旋转后的图像使用人脸检测器D进行人脸检测，并对检测到的人脸使用属性判别器H进行属性判断。该方法需要多次对同一图像进行检测和属性判断操作，具有较高的时间复杂度。若想获得准确的检测结果，需要缩小图像的旋转间隔a，这将会导致更大的时间复杂度。此外，由于一张图像人脸的旋转角度具有多样性，所以a需要遍历的角度更加的广泛，这将导致更大的时间开销。
技术实现思路
为解决上述技术问题，本专利技术提供一种旋转不变性人脸检测方法、装置、可读存储介质及设备，本专利技术可以有效地解决旋转人脸的检测和属性判断问题，具有较小的时间复杂度和更好的人脸检测和属性判断效果。本专利技术提供技术方案如下：第一方面，本专利技术提供一种旋转不变性人脸检测方法，所述方法包括：将待检测人脸图像输入训练好的级联的三级轻量级卷积神经网络，得到人脸位置和人脸属性，其中：第一级卷积神经网络将待检测人脸图像按照姿态角度分类到第一角度范围或第二角度范围；若人脸图像被分类到第二角度范围，则将人脸图像旋转相应的角度，使旋转后的人脸图像的姿态角度落入第一角度范围内；第二级卷积神经网络将第一角度范围的人脸图像按照姿态角度分类到第三角度范围、第四角度范围或第五角度范围；若人脸图像被分类到第四角度范围或第五角度范围，则将人脸图像旋转相应的角度，使旋转后的人脸图像的姿态角度落入第三角度范围内；第三级卷积神经网络对第三角度范围的人脸图像进行处理，得到人脸位置和人脸属性。进一步的，第一级卷积神经网络将待检测人脸图像按照姿态角度分类到-180～0度或0～180度；若人脸图像被分类到-180～0度，则将人脸图像旋转180度，使旋转后的人脸图像的姿态角度落入0～180度内；第二级卷积神经网络将0～180度的人脸图像按照姿态角度分类到0～45度、45～135度或135～180度；若人脸图像被分类到45～135度，则将人脸图像旋转-90度，使旋转后的人脸图像的姿态角度落入0～45度内；若人脸图像被分类到135～180度，则将人脸图像旋转-135度，使旋转后的人脸图像的姿态角度落入0～45度内；第三级卷积神经网络对0～45度的人脸图像进行处理，得到人脸位置和人脸属性。进一步的，所述第一级卷积神经网络的操作包括：将待检测人脸图像依次输入第一卷积层、第二卷积层、第三卷积层和第四卷积层，得到第一人脸特征；使用第一人脸分类器生成第一人脸候选窗口，使用第一窗口回归器对第一人脸候选窗口进行回归；使用第一人脸姿态分类器，将人脸图像按照姿态角度分为-180～0度或0～180度。进一步的，所述第二级卷积神经网络的操作包括：将0～180度的人脸图像依次输入第五卷积层、第一池化层、第六卷积层、第二池化层、第七卷积层、第八卷积层，得到第二人脸特征；使用第二人脸分类器生成第二人脸候选窗口，使用第二窗口回归器对第二人脸候选窗口进行回归；使用第二人脸姿态分类器，将0～180度的人脸图像按照姿态角度分为0～45度、45～135度或135～180度。进一步的，所述第三级卷积神经网络的操作包括：将45～135度的人脸图像依次输入第九卷积层、第三池化层、第十卷积层、第四池化层、第十一卷积层、第五池化层、第十二卷积层、第十三卷积层，得到第三人脸特征；使用第三人脸分类器生成第三人脸候选窗口，使用第三窗口回归器对第三人脸候选窗口进行回归，得到人脸位置；使用人脸姿态回归器，对人脸姿态进行回归，得到人脸姿态；使用人脸关键点回归器，对人脸关键点进行回归，得到人脸关键点坐标；使用人脸表情分类器，对人脸表情进行分类，得到人脸表情；使用人脸光照回归器，对人脸光照进行回归，得到人脸光照；使用人脸年龄回归器，对人脸年龄进行回归，得到人脸年龄；最终得到人脸位置和人脸属性，所述人脸属性包括人脸姿态、人脸关键点坐标、人脸表情、人脸光照和人脸年龄。进一步的，第一级卷积神经网络、第二级卷积神经网络和第三级卷积神经网络通过训练集训练得到，所述训练集中包括正样本和负样本，其中：使用训练集中的正样本和训练集中的负样本训练第一级卷积神经网络；使用训练集中的正样本以及第一类负样本训练第二级卷积神经网络，其中，若训练集中的负样本被第一级卷积神经网络判断为正样本，则该样本为第一类负样本；使用训练集中的正样本以及第二类负样本训练第三级卷积神经网络，其中，若训练集中的负样本被第一级卷积神经网络和第二级卷积神经网络均判断为正样本，则该样本为第二类负样本。进一步的，在训练时，对训练集进行数据扩充，所述数据扩充包括：对训练集中的样本进行随机灰度化、随机图像翻折和/或随机亮度调整；所述待检测人脸图像为彩色图像，若将待检测人脸图像输入训练好的级联的三级轻量级卷积神经网络后，未检测出人脸，则将所述待检测人脸图像转化为灰度图像，并构造三通道均为灰度图的待检测灰度图像，将待检测灰度图像输入训练好的级联的三级轻量级卷积神经网络，重新进行人脸检测。第二方面，本专利技术提供一种旋转不变性人脸检测装置，所述装置包括：检测模块，用于将待检测人脸图像输入训练好的级联的三级轻量级卷积神经网络，得到人脸位置和人脸属性，其中，所述检测模块包括：第一分类单元，用于使用第一级卷积神经网络将待检测人脸图像按照姿态角度分类到第一角度范围或第二角度范围；第一旋转单元，用于若人脸图像被分类到第二角度范围，则将人脸图像旋转相应的角度，使旋转后的人脸图像的姿态角度落入第一角度范围内；第二分类单元，用于使用第二级卷积神经网络将第一角度范围的人脸图像按照姿态角度分类到第三角度范围、第四角度范围或第五角度范围；第二旋转单元，用于本文档来自技高网...

【技术保护点】
1.一种旋转不变性人脸检测方法，其特征在于，所述方法包括：/n将待检测人脸图像输入训练好的级联的三级轻量级卷积神经网络，得到人脸位置和人脸属性，其中：/n第一级卷积神经网络将待检测人脸图像按照姿态角度分类到第一角度范围或第二角度范围；/n若人脸图像被分类到第二角度范围，则将人脸图像旋转相应的角度，使旋转后的人脸图像的姿态角度落入第一角度范围内；/n第二级卷积神经网络将第一角度范围的人脸图像按照姿态角度分类到第三角度范围、第四角度范围或第五角度范围；/n若人脸图像被分类到第四角度范围或第五角度范围，则将人脸图像旋转相应的角度，使旋转后的人脸图像的姿态角度落入第三角度范围内；/n第三级卷积神经网络对第三角度范围的人脸图像进行处理，得到人脸位置和人脸属性。/n

【技术特征摘要】
1.一种旋转不变性人脸检测方法，其特征在于，所述方法包括：
将待检测人脸图像输入训练好的级联的三级轻量级卷积神经网络，得到人脸位置和人脸属性，其中：
第一级卷积神经网络将待检测人脸图像按照姿态角度分类到第一角度范围或第二角度范围；
若人脸图像被分类到第二角度范围，则将人脸图像旋转相应的角度，使旋转后的人脸图像的姿态角度落入第一角度范围内；
第二级卷积神经网络将第一角度范围的人脸图像按照姿态角度分类到第三角度范围、第四角度范围或第五角度范围；
若人脸图像被分类到第四角度范围或第五角度范围，则将人脸图像旋转相应的角度，使旋转后的人脸图像的姿态角度落入第三角度范围内；
第三级卷积神经网络对第三角度范围的人脸图像进行处理，得到人脸位置和人脸属性。


2.根据权利要求1所述的旋转不变性人脸检测方法，其特征在于，第一级卷积神经网络将待检测人脸图像按照姿态角度分类到-180～0度或0～180度；
若人脸图像被分类到-180～0度，则将人脸图像旋转180度，使旋转后的人脸图像的姿态角度落入0～180度内；
第二级卷积神经网络将0～180度的人脸图像按照姿态角度分类到0～45度、45～135度或135～180度；
若人脸图像被分类到45～135度，则将人脸图像旋转-90度，使旋转后的人脸图像的姿态角度落入0～45度内；若人脸图像被分类到135～180度，则将人脸图像旋转-135度，使旋转后的人脸图像的姿态角度落入0～45度内；
第三级卷积神经网络对0～45度的人脸图像进行处理，得到人脸位置和人脸属性。


3.根据权利要求2所述的旋转不变性人脸检测方法，其特征在于，所述第一级卷积神经网络的操作包括：
将待检测人脸图像依次输入第一卷积层、第二卷积层、第三卷积层和第四卷积层，得到第一人脸特征；
使用第一人脸分类器生成第一人脸候选窗口，使用第一窗口回归器对第一人脸候选窗口进行回归；
使用第一人脸姿态分类器，将人脸图像按照姿态角度分为-180～0度或0～180度；
所述第二级卷积神经网络的操作包括：
将0～180度的人脸图像依次输入第五卷积层、第一池化层、第六卷积层、第二池化层、第七卷积层、第八卷积层，得到第二人脸特征；
使用第二人脸分类器生成第二人脸候选窗口，使用第二窗口回归器对第二人脸候选窗口进行回归；
使用第二人脸姿态分类器，将0～180度的人脸图像按照姿态角度分为0～45度、45～135度或135～180度。


4.根据权利要求3所述的旋转不变性人脸检测方法，其特征在于，所述第三级卷积神经网络的操作包括：
将45～135度的人脸图像依次输入第九卷积层、第三池化层、第十卷积层、第四池化层、第十一卷积层、第五池化层、第十二卷积层、第十三卷积层，得到第三人脸特征；
使用第三人脸分类器生成第三人脸候选窗口，使用第三窗口回归器对第三人脸候选窗口进行回归，得到人脸位置；
使用人脸姿态回归器，对人脸姿态进行回归，得到人脸姿态；
使用人脸关键点回归器，对人脸关键点进行回归，得到人脸关键点坐标；
使用人脸表情分类器，对人脸表情进行分类，得到人脸表情；
使用人脸光照回归器，对人脸光照进行回归，得到人脸光照；
使用人脸年龄回归器，对人脸年龄进行回归，得到人脸年龄；
最终得到人脸位置和人脸属性，所述人脸属性包括人脸姿态、人脸关键点坐标、人脸表情、人脸光照和人脸年龄。


5.根据权利要求1-4任一所述的旋转不变性人脸...

【专利技术属性】
技术研发人员：周军，王洋，丁松，江武明，
申请(专利权)人：北京眼神智能科技有限公司，北京眼神科技有限公司，
类型：发明
国别省市：北京;11