基于深度学习的人脸识别网络训练方法、设备及存储介质技术

本发明专利技术涉及人脸识别领域，针对现有技术存在的问题，提供一种基于深度学习的人脸识别网络训练方法、设备及存储介质。本文提出一种既增大类间距离又缩小类内距离卷积神经网络优化算法，即在普通的卷积神网络模型上增加一种误差约束，在网络模型训练时控制使不同类别人脸间距离增大，使相同类别人脸间的距离缩小，使训练好的网络更好的提取人脸特征，从而提升算法的性能。本发明专利技术中对代价函数通过类内相似度、类间相似度进行参数修正，得到总误差函数；通过代价函数的残差值、类内相似度的残差值、类间相似度的残差值实现网络中权值的更新，实现神经网络训练，当参数修正Js满足收敛条件，则完成卷积神经网络训练。

Face recognition network training method, equipment and storage medium based on deep learning

The invention relates to the field of face recognition. Aiming at the problems existing in the prior art, a face recognition network training method, device and storage medium based on deep learning are provided. In this paper, a convolution neural network optimization algorithm is proposed, which not only increases the distance between classes but also reduces the distance within classes. That is to say, an error constraint is added to the general convolution God network model. When the network model is trained, the distance between faces of different kinds of people is increased, the distance between faces of the same kind of people is reduced, and the trained network can extract face features better, so as to improve the performance of the algorithm \u3002 In the invention, the cost function is modified by the parameters of intra class similarity and inter class similarity to obtain the total error function; the weight value in the network is updated by the residual value of the cost function, the residual value of intra class similarity and the residual value of inter class similarity to realize the neural network training; when the parameter correction JS meets the convergence condition, the convolution neural network training is completed.

【技术实现步骤摘要】
基于深度学习的人脸识别网络训练方法、设备及存储介质
本专利技术涉及人脸识别领域，尤其是一种基于深度学习的人脸识别网络训练方法、设备及存储介质。
技术介绍
如今，人脸识别算法更加多样化，技术也越来越成熟，人脸识别在工业上已经得到了广泛使用。人脸作为身份证明之一，可以应用到很多地方，如人脸验证(驾照、签证、身份证、护照、投票选举等)、安防(反恐报警、街道监控、电网监控、计算机安全、网络安全等)、以及人机交互多媒体管理等，这些场景的应用在保证公众人身安全的同时也大大方便了公众的出行。从最初的人脸几何特征算法到现在自动提取人脸特征的深度学习(DeepLearning)算法，人脸识别技术已经取得了一个质的飞跃。目前不管是工业界还是学术界，研究应用最多的还是以深度学习为代表的人脸识别算法，而深度学习算法中应用最多的还是深度卷积神经网络(DeepConvolutionNeuralNetwork，DCNN)，比较有名的卷积神经网络模型有FaceNet、DeepFace、DeepIDs、SeetaFace等，这些网络模型在当时以及现在在人脸识别领域都取得了非常好的效果。即使目前在人脸识别领域有了长足的发展，但是算法还有很多的提升空间，人脸识别的困难在于人脸图片较大的类内变化和较小的类间差异，由于人脸的角度、光照、表情、年龄、化妆、遮挡、图片质量等等变化，同一个人的不同人脸图片具有很大差异。同时，随着待识别的人数的增加、出现长得比较像的人的概率增加等情况逐渐增多，如何让计算机在较大的类内变化的干扰下依然能够辨识到可能比较微弱的类间变化，是人脸识别的主要挑战。
技术实现思路
本专利技术所要解决的技术问题是：针对上述存在的问题，提供一种基于深度学习的人脸识别网络训练方法、设备及存储介质。本文提出一种既增大类间距离又缩小类内距离卷积神经网络优化算法，即在普通的卷积神网络模型上增加一种误差约束，在网络模型训练时控制使不同类别人脸间距离增大，使相同类别人脸间的距离缩小，使训练好的卷积神经网络更好的提取人脸特征，从而提升算法的性能。本专利技术采用的技术方案如下：一种基于深度学习的人脸识别网络训练方法包括：将所有图像做人脸对齐操作，制作训练数据；根据训练数据进行卷积神经网络训练，得到卷积神经网络的代价函数J；对上述代价函数J通过类内相似度J1、类间相似度J2进行参数修正，得到总误差函数Js＝J+γJ1-θJ2；通过代价函数J的残差值、类内相似度J1的残差值和类间相似度J2的残差值求偏导后反向传播，卷积神经网络中每一层的权值参数的得到更新，然后正向传播过程中，分别对应卷积神经网络中代价函数J、类内相似度J1、类间相似度J2的更新收敛；当总误差函数Js满足收敛条件，则完成卷积神经网络训练。进一步的，所述类内相似度J1的残差值计算过程为：其中设m样本组成的样本集为{(x(1)，y(1))，...，(x(m)，y(m))}，m为所有待输入样本的数量，它们分属于n个类别每个类别对应的相同数量的样本，即每个类别有m/n个样本；hW，b(x(k，a))是从属于α类的第k个样本计算得到的卷积神经网络最后一层的输出，M(a)为第α类样本的均值，α属于n，k范围1到m/n。进一步的，所述类间相似度J2的残差值计算过程：其中，hW，b(x(k，β))是从属于β类的第k个样本计算得到的卷积神经网络最后一层的输出，M(β)分别为第β类样本的均值，β属于n。进一步的，所述代价函数J的残差值基于所述训练方法的人脸识别方法还包括：待识别图像输入到训练好的卷积神经网络进行人脸图像识别。一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行所述的网络训练方法的步骤。一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行上述的人脸识别方法的步骤。一种基于深度学习的人脸识别网络训练设备包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述任意一项所述的网络训练方法。一种人脸识别设备包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述任意一项所述的人脸识别方法。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：本文提出的人脸识别算法能有效地优化卷积神经网络模型的训练，是训练好的卷积神经网络模型(参数)提取的人脸特征效果更加。此外本方法针对小量的数据集也有更加明显的效果，一般的CNN神经网络模型在训练数据较少时容易发生过拟合，模型训练较差；但是本方法在训练数据较少时训练出的卷积神经网络模型对人脸特征的提取也有很好的效果，主要是因为J1、J2约束函数使类间距离更大，类内距离更小的结果。附图说明本专利技术将通过例子并参照附图的方式说明，其中：图1是卷积核卷积过程示例。图2是深度卷积神经网络示意图。图3是DeepID网络模型结构图，其中c代表卷积层，p代表池化层，f代表全连接层。具体实施方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。一、本专利技术相关说明：1、深度卷积神经网络CNN是首先成功训练多层网络结构的学习算法.以输入、输出的重构误差为能量函数，通过前向、后向传播过程优化调整网络的连接权值使能量函数达到最小。其中前向传播中采用权值共享原则减少了训练的权值个数，降低了复杂度。后向传播过程以标签值和预测值误差最小为代价函数，进行权值微调。卷积核卷积过程如图1所示，卷积过程先用一系列可训练的滤波器(卷积核)Wx对输入图像进行卷积运算，再经过加入偏置bx，最后通过一个激活函数得到卷积层Cx，一般选择ReLU激活函数；子采样过程先用每邻域4个像素求平均合并为一个像素或者是取其4个像素中最大的一个像素，产生缩小为1/4的映射图像Px+1，子采样层一般不使用权值和偏置。卷积过程目的是不同的卷积核可提取到不同的特征，而且通过权值共享降低了运算复杂程度。下采样过程相当于模糊滤波，起到二次特征提取的作用，降低维度的同时可增加对图像特征提取的鲁棒性。组合多个上述卷积和下采样过程，就构成了深度卷积神经网络。典型的深度卷积神经网络结构示意图如图2所示，其中F表示全连接层。CNN的3个核心思想是：局部感受野、权值共享以及空间下采样。下采样的目的是为了使信号获得某种程度的位移、尺度、形变不变性，同时又能使训练出来的权值更有利于分类。而非仅仅考虑重构误差。本文在BP反向传播调整权值的算法中，提出了加入能量约束函数，使权值学习过程中，得到更有利于分类的特征，同时在迭代求解权值的搜索空间受到判别条件约束影响，从全局搜索缩小到更有利于分类的空间。2、卷积神经网络代价函数及BP算法思想设m样本组成的样本集为{(x(1)，y(1))，...，(x(m)，y(m))}，它们分属于n个类别，y本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸识别网络训练方法，其特征在于包括：/n将所有图像做人脸对齐操作，制作训练数据；/n根据训练数据进行卷积神经网络训练，得到卷积神经网络的代价函数J；/n对上述代价函数J通过类内相似度J

【技术特征摘要】
1.一种基于深度学习的人脸识别网络训练方法，其特征在于包括：
将所有图像做人脸对齐操作，制作训练数据；
根据训练数据进行卷积神经网络训练，得到卷积神经网络的代价函数J；
对上述代价函数J通过类内相似度J1、类间相似度J2进行参数修正，得到总误差函数Js＝J+γJ1-θJ2；
通过代价函数J的残差值、类内相似度J1的残差值和类间相似度J2的残差值求偏导后反向传播，卷积神经网络中每一层的权值参数的得到更新；然后正向传播过程中，分别对应卷积神经网络中代价函数J、类内相似度J1、类间相似度J2的更新收敛；当总误差函数Js满足收敛条件，则完成卷积神经网络训练。


2.根据权利要求1所述的网络训练方法，其特征在于所述类内相似度J1的残差值计算过程为：



其中设m样本组成的样本集为{(x(1),y(1)),…,(x(m),y(m))}，m为所有待输入样本的数量，它们分属于n个类别每个类别对应的相同数量的样本，即每个类别有m/n个样本；hW,b(x(k,a))是从属于α类的第k个样本计算得到的卷积神经网络最后一层的输出，M(a)为第α类样本的均值，α属于n，k范围1到m/n。


3.根据权利要求1所述的网络训练方法，其特征在于所述类...

【专利技术属性】
技术研发人员：王标，史方，邹佳运，郭宏，
申请(专利权)人：成都视观天下科技有限公司，
类型：发明
国别省市：四川;51