一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法技术

本发明专利技术涉及一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，本发明专利技术采用的网络结构为倒置残差结构，倒置残差结构通过单元张量来节约内存，保证算法在移动端的人脸检测效率。网络结构同时采用角度损失联合函数，通过在ArcFace损失函数基础上增加参数m1和m3的约束，更大化程度地增加了类间间距、减小了类内间距。该网络结构减少了内存消耗，提高了模型的人脸检测准确率，更加适用于移动端的人脸检测问题。

A Mobile Face Detection Method Based on Inverted Residual Structure and Angle Joint Loss Function

The invention relates to a face detection method for mobile terminal based on inverted residual structure and joint angle loss function. The network structure of the invention is inverted residual structure. The inverted residual structure saves memory by unit tensor, and ensures the efficiency of the algorithm in face detection at mobile terminal. The joint function of angle loss is used in the network structure. By adding constraints of parameters M1 and M3 on the basis of ArcFace loss function, the inter-class spacing is increased to a greater extent and the intra-class spacing is reduced. The network structure reduces the memory consumption, improves the accuracy of face detection, and is more suitable for mobile face detection.

【技术实现步骤摘要】
一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法
本专利技术涉及计算机视觉领域的人脸识别，尤其涉及一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法。
技术介绍
随着信息化建设的高速发展，各领域对快速有效的自动身份认证的使用越来越广泛。生物特征识别技术以其高安全性、可靠性以及高效性成为身份认证的主流技术，尤其是人脸检测被广泛应用于单位考勤、会议签到、公安刑侦破案、人证比对、养老金领取资格认证、门禁系统、手机解锁等场景中，但在移动端无法做到既能实时运行又具有高精度，不能在精度和速度两个方面同时达到最佳状态。随着深度学习的出现，人脸检测的准确率有了质的飞跃，但在提高精度的同时，随之而来的是深度学习模型需要非常强大的计算能力，更大的磁盘空间以及内存空间。然而对于内存极其有限的移动端，传统的基于深度学习的人脸检测模型无法做到实时性，具有较大的延迟性，无法在精度和速度之间取得较好的平衡，这大大降低了实用性和用户体验。因此，研究在移动端可实时运行且具有高精度的基于深度学习的人脸检测技术很有必要性。目前预提高基于深度学习的移动端人脸检测技术主要从网络结构和损失函数两个方面来改进，主流的网络结构主要有：MobileNets，通过深度可分离卷积代替传统卷积网络来减少计算量。MobileNetV2，结合MobileNets深度可分离卷积的特征引入了一种结构单元：具有线性瓶颈的倒残差块。该结构单元的旨意是先将输入的低维表示扩展到高维，再用深度可分离的卷积来提取特征，最后用线性瓶颈将特征投影回低维压缩表示。由于深度可分离的卷积在推理过程中不实现大的张量，这便大大较少了对主储存器访问的需求，因此这种结构单元高效的实现了移动端基于深度学习的人脸检测技术。MobileFaceNets，结合了MobileNetV2的线性瓶颈的倒残差块，采用可分离卷积替代了平均池化层，改善了平均池化层使网络表现下降的现象，通过优化网络结构和参数训练出的模型在精度和速度较MobileNetV2有了显著的提高。损失函数是用来估量模型的预测值f(x)与真实值Y的差异。损失函数越小，则模型的鲁棒性越好。近几年将优化损失函数的重点从欧式距离转移到角度空间和余弦空间。LiuW等人提出的SphereFaceloss，将Softmaxloss中的θ修改为mθ，在角度上有了更严格的限制，使得类间的角度更大，类内的角度更小，其中通过参数m来控制分类的边界。WangH等人提出的CosFaceloss将SphereFaceloss中的cos(mθ)修改为cos(θ)-m，将原来的乘法运算修改为减法运算，这减少了参数的复杂计算，与此同时，不仅对权重进行了归一化，而且对特征也进行了归一化。该损失函数对同类的聚合更有帮助。DengJ等人提出的ArcFaceloss则将CosFaceloss中的cos(θyi)-m修改为cos(θyi+m)，该损失函数不仅形式简单并且动态依赖于sinθ，使得网络学习到更多的角度特征，进一步促进了类内聚合，类间分辨，从而提高准确率。
技术实现思路
本专利技术为克服上述的不足之处，目的在于提供一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，本专利技术采用的网络结构为倒置残差结构，倒置残差结构通过单元张量来节约内存，保证算法在移动端的人脸检测效率。网络结构同时采用角度损失联合函数，通过在ArcFace损失函数基础上增加参数m1和m3的约束，更大化程度地增加了类间间距、减小了类内间距。该网络结构减少了内存消耗，提高了模型的人脸检测准确率，更加适用于移动端的人脸检测问题。本专利技术是通过以下技术方案达到上述目的：一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，包括数据预处理、制作训练集和验证集、网络模型的构建和训练、网络模型基于AgeDB-30人脸库的验证四个阶段：(1)数据的预处理：(1.1)下载清洗后的MS-Celeb-1M人脸数据集；(1.2)对所有人脸图像采用MTCNN算法进行人脸关键点检测、对齐并裁剪成112x112大小；(1.3)对图像像素做归一化处理，归一化到[-1，1]；(1.4)根据图像的标注，生成图像的lst文件；(2)制作训练集和验证集：(2.1)将预处理后的数据转换为MXNet所能读取的二进制人脸数据集作为训练集；(2.2)下载AgeDB-30人脸库，并制作成agedb_30.bin格式的数据集作为验证集；(3)网络模型的构建和训练，输出训练好的网络模型；(4)网络模型基于AgeDB-30人脸库的验证：(4.1)基于训练好的网络模型对样本对中的两张图片提取特征然后进行比较，判断是否为同一个人；(4.2)针对所有人脸样本对统计同脸判断错误和异脸判定错误的个数，计算得出判定精度；经过上述步骤的操作，即可实现移动端人脸的快速检测。作为优选，所述的人脸关键点包括眼睛中心、鼻尖、嘴角。作为优选，所述的lst文件内容包含对齐标签、图像路径、图像对应的身份标签，性别标签和年龄标签。作为优选，所述训练集的格式为.rec、.idx、property文件；其中train.rec是已经对齐后的图像数据，train.idx是索引，由步骤(1.4)中的lst文件生成rec和idx文件；property是属性文件，文件内容包含身份类别数和图像大小。作为优选，所述的训练集为包括超过380万张、8万7千个身份的训练集。作为优选，所述的验证集包含440个人12240张图片并标注了身份、年龄和性别，最小年龄为3，最大年龄为101，其中包含300个正样本对和300负样本对。作为优选，所述步骤(3)具体如下：(3.1)基于MXNet深度学习框架构建网络模型，选用MS-Celeb-1M作为训练集，CombiledLoss作为损失函数，基于MobileFaceNets网络结构评估人脸检测的性能；(3.2)网络结构采用倒置残差结构单元作为构建整个网络的基础单元，该网络输入维度是112×112，在网络开始部分采用快速下采样，中间由倒置残差结构单元构建，在倒数第二个卷积层采用线性全局深度卷积层，最后一个卷积层采用1×1的线性卷积层作为特征输出；(3.3)训练样本类别数为n，样本数据x的维度为d，模型权重为w，归一化后的样本经过MobileFaceNets网络得到全连接输出cosθj，cosθj表示预测标签对应的值，其中j∈[1...n]；并对输出cosθj所对应真实标签的值cosθyi执行反余弦操作得到θyi,yi表示对应的真实标签；(3.4)损失层采用softmaxloss进行初调，softmax的目标是尽可能最大化正确分类的概率；(3.5)基于步骤(3.4)得到的预训练模型，采用角度损失函数，公式如下：其中cosθj表示预测标签对应的值，cosθyi表示真实标签对应的值，yi表示真实标签，s表示归一化参数，由于分类边界在很大程度上影响特征的分布，而基于角度距离的损失函数最基本的思想就是通过控制分类边界来产生类间距离,；增加参数m1，是对角度更严格的限制；cos(m1θ+m2)小于MobileFaceNets损失函数中的cos(θ+m2)，其中m1、m2都为正数；通过这种方式来促使模型学到类间距离更大、类内距离更小的特征，采用倍角关系会使得学习到本文档来自技高网...

【技术保护点】
1.一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于，包括数据预处理、制作训练集和验证集、网络模型的构建和训练、网络模型基于AgeDB‑30人脸库的验证四个阶段：(1)数据的预处理：(1.1)下载清洗后的MS‑Celeb‑1M人脸数据集；(1.2)对所有人脸图像采用MTCNN算法进行人脸关键点检测、对齐并裁剪成112x112大小；(1.3)对图像像素做归一化处理，归一化到[‑1，1]；(1.4)根据图像的标注，生成图像的lst文件；(2)制作训练集和验证集：(2.1)将预处理后的数据转换为MXNet所能读取的二进制人脸数据集作为训练集；(2.2)下载AgeDB‑30人脸库，并制作成agedb_30.bin格式的数据集作为验证集；(3)网络模型的构建和训练，输出训练好的网络模型；(4)网络模型基于AgeDB‑30人脸库的验证：(4.1)基于训练好的网络模型对样本对中的两张图片提取特征然后进行比较，判断是否为同一个人；(4.2)针对所有人脸样本对统计同脸判断错误和异脸判定错误的个数，计算得出判定精度；经过上述步骤的操作，即可实现移动端人脸的快速检测。

【技术特征摘要】
1.一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于，包括数据预处理、制作训练集和验证集、网络模型的构建和训练、网络模型基于AgeDB-30人脸库的验证四个阶段：(1)数据的预处理：(1.1)下载清洗后的MS-Celeb-1M人脸数据集；(1.2)对所有人脸图像采用MTCNN算法进行人脸关键点检测、对齐并裁剪成112x112大小；(1.3)对图像像素做归一化处理，归一化到[-1，1]；(1.4)根据图像的标注，生成图像的lst文件；(2)制作训练集和验证集：(2.1)将预处理后的数据转换为MXNet所能读取的二进制人脸数据集作为训练集；(2.2)下载AgeDB-30人脸库，并制作成agedb_30.bin格式的数据集作为验证集；(3)网络模型的构建和训练，输出训练好的网络模型；(4)网络模型基于AgeDB-30人脸库的验证：(4.1)基于训练好的网络模型对样本对中的两张图片提取特征然后进行比较，判断是否为同一个人；(4.2)针对所有人脸样本对统计同脸判断错误和异脸判定错误的个数，计算得出判定精度；经过上述步骤的操作，即可实现移动端人脸的快速检测。2.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述的人脸关键点包括眼睛中心、鼻尖、嘴角。3.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述的lst文件内容包含对齐标签、图像路径、图像对应的身份标签，性别标签和年龄标签。4.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述训练集的格式为.rec、.idx、property文件；其中train.rec是已经对齐后的图像数据，train.idx是索引，由步骤(1.4)中的lst文件生成rec和idx文件；property是属性文件，文件内容包含身份类别数和图像大小。5.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述的训练集为包括超过380万张、8万7千个身份的训练集。6.根据权利要求1所述的一种基于倒置残...

【专利技术属性】
技术研发人员：郑河荣，宁坤，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33