一种基于残差沙漏网络的人脸对齐方法技术

本发明专利技术公开了一种基于残差沙漏网络的人脸对齐方法，首先在沙漏网络基本单元残差模块的基础上新增卷积分支来增加网络的感受野以更好的提取到不同尺度下的特征信息，同时保持了高分辨率信息；然后结合沙漏网络的特性，让新增卷积分支的核尺度随沙漏网络层数来调整大小，以更好的平衡feature map分辨率和感受野之间的关系，使网络既能提取到更多的细节信息，同时还保留了从局部到整体的结构化信息。最后对沙漏网络进行堆叠再辅以中间监督机制，即保证了低层参数的正常更新同时还允许网络重新评估整个图像的初始估计和特征。本发明专利技术通过堆叠新的残差沙漏网络，在提取更多有效信息的同时还增加了网络提取局部细节信息的能力，提高了对人脸关键点检测的精度。

A face alignment method based on residual hourglass network

【技术实现步骤摘要】
一种基于残差沙漏网络的人脸对齐方法
本专利技术属于计算机视觉
，涉及一种残差沙漏网络的人脸对齐方法，具体涉及数字图像的人脸识别领域中的一种基于新型残差沙漏网络人脸对齐方法。
技术介绍
人脸对齐又叫做人脸关键点检测，用来定位人脸的眼睛，鼻子，嘴巴，面部轮廓等关键点，人脸对齐能够帮助提供准确的、有特定语义的人脸形状信息，不管是在人脸识别还是人脸表情分析，性别年龄鉴定，三维人脸建模等领域都有着至关重要的作用。由于自然场景或者无约束条件下人脸表情、头部姿势夸张、光照条件的差异和部分遮挡的存在，人脸对齐问题仍然面临着巨大的挑战，因此一种高效、精确的人脸对齐算法，才能更好的满足我们的要求。近年来，随着深度学习框架广泛应用于人脸对齐领域，人类对人脸问题的研究取得了飞速的进展。深度学习的优势在于特征提取这一块尤为突出，深度学习的深层网络结构可以逐层对数据特征进行提取,使得提取到的特征更明显且更容易分类。最早将深度学习引入人脸对齐的算法DCNN(DeepConvolutionalNetwork)[文献1]，通过设计拥有三个层级的级联卷积神经网络，不仅改善初始不当导致陷入局部最优的问题，而且借助于CNN强大的特征提取能力，获得更为精准的关键点检测。相比于早期的基于最优的人脸对齐算法(ASM[文献2]、AAM[文献3]-[文献5]、CLM[文献6]-[文献7])，通过优化误差方程以达到人脸对齐的目的，求解非线性最优化问题本就相对复杂，中间维度过高还会使得求解代价增大，基于级联形状回归的人脸对齐算法[文献8]-[文献14]根据初始化形状逐步估计形状增量来不断逼近标准形状，对初始化形状要求较高，并且特征的提取比较繁琐，深度学习的方法显的更为简单高效。随着对卷积神经网络的认识和使用，有人提出了沙漏网络[文献15]来替代CNN提取特征，对于人脸对齐这种关联型任务，人脸各个部分，并不是在相同的featuremap上具有最好的识别精度。举例来说，眼睛可能在第3层的featuremap上容易识别，而嘴巴在第5层上更容易识别，所以相比传统的卷积神经网络只使用最后一层卷积作为目标特征，沙漏网络以其自下而上，自上而下的独特结构将网络低层次和高层次的特征都联合起来，使最后得到的特征更具体更有效，从而做到图像特征信息的最大化利用，但由于沙漏网络每一层采用的都是单一感受野来提取特征，缺乏对整体和局部关联信息的描述，面对光照、遮挡等复杂情形下的人脸关键点会难以定位。本专利技术的基于新型残差沙漏网络则是在沙漏网络基础上新增卷积分支并随沙漏网络层数相应调整卷积核尺度大小，增加了感受野，同时平衡了featuremap分辨率和感受野之间的关系，使网络既能提取到更多的细节信息，同时还保留了从局部到整体的结构化信息，增加了网络提取更多有效特征的能力。[文献1]SunY,WangX,TangX.DeepConvolutionalNetworkCascadeforFacialPointDetection[C]//ComputerVisionandPatternRecognition.IEEE,2013:3476-3483.[文献2]CootesTF,TaylorCJ,CooperDH,GrahamJ.Activeshapemodels-theirtrainingandapplication.Computervisionandimageunderstanding,1995,61(1):38-59.[文献3]SauerP,CootesTF,TaylorCJ.Accurateregressionproceduresforactiveappearancemodels.//ProceedingsoftheBritishMachineVisionConference.Dundee,Scotland,2011:681-685.[文献3]CootesTF,EdwardsGJ,TaylorCJ.Activeappearancemodels.IEEETransactionsonPatternAnalysisandMachineIntelligence,2001,23(6):581-585.[文献5]AsthanaA,ZafeiriouS,ChengS,PanticM.Robustdiscriminativeresponsemapfittingwithconstrainedlocalmodels.//IEEEConferenceonComputerVisionandPatternRecognition.Portland,USA,2013:3444-3451.[文献6]CristinacceD,CootesT.Featuredetectionandtrackingwithconstrainedlocalmodels.//ProceedingsoftheBritishMachineVisionConference.Edinburgh,UK,2006:929-938.[文献7]AsthanaA,ZafeiriouS,CHENGShi-yang,PanticM.IncrementalFaceAlignmentintheWild.//IEEEConferenceonComputerVisionandPatternRecognition.Columbus,USA,2014:1859-1867.[文献8]XiongXue-han,TorreFDL.Superviseddescentmethodanditsapplicationstofacealignment.//IEEEConferenceonComputerVisionandPatternRecognition.Portland,USA,2013:532-539.[文献9]CaoXu-dong,WeiYi-chen,WenFang,SunJian.Facealignmentbyexplicitshaperegression.InternationalJournalofComputerVision,2014,107(2):177-190.[文献10]Burgos-ArtizzuXP,PeronaP,DollarP.Robustfacelandmarkestimationunderocclusion.//IEEEInternationalConferenceonComputerVison.Sydney,Australia,2013:1513-1520.[文献11]RenShao-qing,CaoXu-dong,WeiYi-chen,SunJian.Facealignmentat3000fpsviaregressinglocalbinaryfeatures.//IEEEConferenceonComputerVisionandPatternRecognition.Columbus,USA,2014:1685-1692.[文献12]DollarP,WelinderP,PeronaP.本文档来自技高网...

【技术保护点】
1.一种基于残差沙漏网络的人脸对齐方法，其特征在于，包括以下步骤：/n步骤1：构建新型残差沙漏网络；/n所述新型残差沙漏网络包括新型残差模块和残差模块；所述新型残差模块是在残差模块的基础上新增一个卷积分支,新增卷积分支核尺度大小为k，其中k随沙漏网络当前层数hg_level变化；残差模块的输出为h(x)，新型残差模块的输出为h′(x)，则有：/nh(x)＝f(x)+x；/nh′(x)＝f(x)+g

【技术特征摘要】
1.一种基于残差沙漏网络的人脸对齐方法，其特征在于，包括以下步骤：
步骤1：构建新型残差沙漏网络；
所述新型残差沙漏网络包括新型残差模块和残差模块；所述新型残差模块是在残差模块的基础上新增一个卷积分支,新增卷积分支核尺度大小为k，其中k随沙漏网络当前层数hg_level变化；残差模块的输出为h(x)，新型残差模块的输出为h′(x)，则有：
h(x)＝f(x)+x；
h′(x)＝f(x)+gk(x)+x；
k＝hg_level*2+1；



式中，x为残差模块的输入，f(x)为将x经由三层卷积操作的到输出，gk(x)为新型残差模块中x在新型卷积分支核尺度为k的情况下得到的输出，hg_level为沙漏网络当前所在层，hg_levels为沙漏网络总层数，H(x)为沙漏网络最后输出；
步骤2：对输入图片经过堆叠新型残差沙漏网络得到预估人脸关键点热力图{H1,H2...,HN},其中，Hi表示第i个新型残差沙漏网络得到的预估人脸关键点热力图，1≤i≤N，N为堆叠的新型残差沙漏网络个数；
步骤3：对输入图片的真实人脸关键点结合二维高斯函数生成真实人脸关键点热力图
步骤4：将新型残差沙漏网络每个阶段的预估人脸关键点热力图Hi和真实人脸关键点热力图进行loss，得到Li,再对整个网络阶段得到的loss{L1,L2...,LN}取平均值得到最终的L；
步骤5：通过对网络训练得到训练模型，对输入图片经过训练模型得到预测的人脸关键点热力图H，将热力图H转化为预测人脸关键点坐标P；
步骤6：将这些人脸关键点在原图上绘制出来。


2.根据权利要求1所述的基于残差沙漏网络的人脸对齐方法，其特...

【专利技术属性】
技术研发人员：邵雄凯，阳邹，高榕，刘建舟，王春枝，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北;42