人脸关键点检测方法及装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种人脸关键点检测方法及装置、存储介质和电子设备，涉及图像识别技术领域。该人脸关键点检测方法包括：获取包含人脸的待检测图像，确定待检测图像的多通道特征图；将多通道的特征图转换成预定通道数量的特征图；针对预定通道数量的特征图中的每个特征图，采用与特征图对应的卷积核对特征图进行一次卷积操作；其中，卷积核与特征图的尺寸相同；基于各特征图的一次卷积操作的结果生成与待检测图像对应的特征向量；根据特征向量确定待检测图像上人脸的关键点坐标。本公开可以降低人脸关键点检测过程的运算复杂度。

Face Key Point Detection Method and Device, Storage Media and Electronic Equipment

【技术实现步骤摘要】
人脸关键点检测方法及装置、存储介质和电子设备
本公开涉及图像识别
，具体而言，涉及一种人脸关键点检测方法、人脸关键点检测装置、存储介质和电子设备。
技术介绍
人脸关键点检测也称为人脸关键点定位、人脸五官定位或人脸对齐，是指给定人脸图像，检测出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。人脸关键点检测技术是人脸装扮、美颜化妆、人脸特效、人脸AR(AugmentedReality，增强现实)等应用场景的基础技术。在传统的人脸关键点检测方法中，通过在脸部局部区域提取手工设计特征，再采用级联回归的方式确定出关键点坐标。这种方法由于手工特征区分能力不足，往往预测得到的人脸关键点精度较低，尤其在极端的人脸姿态条件下，预测精度较差。近年来，随着深度学习技术的发展，出现了一些基于深度学习的人脸关键点检测技术。例如，输入给定人脸图像，通过卷积神经网络回归出人脸关键点的坐标。又例如，输入给定人脸图像，通过卷积神经网络回归出人脸关键点对应的特征图，从特征图中确定出代表人脸关键点的位置。然而，目前的基于卷积神经网络的方法往往计算量过大，导致人脸关键点检测无法较好应用到低功耗设备上。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种人脸关键点检测方法、人脸关键点检测装置、存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的人脸关键点检测过程计算量大的问题。根据本公开的一个方面，提供一种人脸关键点检测方法，包括：获取包含人脸的待检测图像，确定待检测图像的多通道特征图；将多通道的特征图转换成预定通道数量的特征图；针对预定通道数量的特征图中的每个特征图，采用与特征图对应的卷积核对特征图进行一次卷积操作；基于各特征图的一次卷积操作的结果生成与待检测图像对应的特征向量；根据特征向量确定待检测图像上人脸的关键点坐标。根据本公开的一个方面，提供一种人脸关键点检测装置，包括特征图确定模块、特征图通道转换模块、全局深度卷积模块、特征向量生成模块和关键点确定模块。具体的，特征图确定模块用于获取包含人脸的待检测图像，确定待检测图像的多通道特征图；特征图通道转换模块用于将多通道的特征图转换成预定通道数量的特征图；全局深度卷积模块用于针对预定通道数量的特征图中的每个特征图，采用与特征图对应的卷积核对特征图进行一次卷积操作；特征向量生成模块用于基于各特征图的一次卷积操作的结果生成与待检测图像对应的特征向量；关键点确定模块用于根据特征向量确定待检测图像上人脸的关键点坐标。可选地，在进行一次卷积操作过程中，卷积核与特征图的尺寸相同。可选地，特征图确定模块包括下采样单元。具体的，下采样单元用于对待检测图像进行下采样处理，以确定出待检测图像的多通道特征图。可选地，下采样单元被配置为执行：采用一个或级联的多个卷积核对待检测图像进行卷积操作，以对待检测图像进行下采样。可选地，下采样单元包括第一下采样子单元和第二下采样子单元。具体的，第一下采样子单元用于采用一个或级联的多个卷积核对待检测图像进行卷积操作，以生成中间特征图；第二下采样子单元用于对中间特征图执行一组或多组降维卷积处理过程，以对待检测图像进行下采样。可选地，降维卷积处理过程包括：采用N个大小为a×a的卷积核对待进行所述降维卷积处理的特征图执行卷积操作，生成第一特征图；采用M个大小为b×b的卷积核对第一特征图执行卷积操作，生成第二特征图；采用M个大小为c×c的卷积核对第二特征图执行深度卷积操作，生成第三特征图；采用N个大小为d×d的卷积核对第三特征图执行卷积操作，生成第四特征图；将第一特征图与第四特征图逐通道相加，以得到降维卷积处理的结果；其中，a、b、c、d、N和M均为正整数，且N小于M。可选地，特征图通道转换模块包括特征图通道转换单元。具体的，特征图通道转换单元被配置为执行：根据多通道特征图的通道数量以及预定通道数量确定大小为1×1的卷积核的数量，作为目标数量；采用所述目标数量个大小为1×1的卷积核对多个通道的特征图执行步长为1的卷积操作，以确定出预定通道数量的特征图。可选地，上述各模块、各单元包含在训练后的卷积神经网络中，由该训练后的卷积神经网络执行上述各卷积操作。可选地，人脸关键点检测装置还包括网络训练模块。具体的，网络训练模型被配置为执行：获取图像样本，并将图像样本输入卷积神经网络，计算卷积神经网络的损失函数，使卷积神经网络的损失函数收敛，以确定出训练后的卷积神经网络。可选地，网络训练模块包括样本确定单元。具体的，样本确定单元被配置为执行：获取包含人脸的原始图像；将遮挡物施加于原始图像上，确定带有遮挡物的样本；标记带有遮挡物的样本的人脸关键点的标注信息；将标记有标注信息且带有遮挡物的样本作为图像样本。可选地，结合由下式表示的遮挡物损失函数Lossocclusion计算卷积神经网络的损失函数：其中，n表示人脸关键点数量；pi表示第i个关键点是否被遮挡的信息，例如，被遮挡则pi为1，未被遮挡则pi为0；xi表示卷积神经网络输出的特征。在本公开的一些实施例所提供的技术方案中，通过对待检测图像的预定通道数量的特征图中的每个特征图，采用与特征图对应的卷积核对特征图进行一次卷积操作，并利用卷积操作的结果生成与待检测图像对应的特征向量，基于特征向量确定人脸的关键点坐标。本公开示例性实施方式采用了深度卷积的方式，在确保了提取人脸关键点信息的情况下，可以减小确定关键点坐标的运算量。另外，由于本公开所述的人脸关键点检测方法计算量较小，因此，可以较好应用到低功耗设备上。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了可以应用本专利技术实施例的人脸关键点检测方法或人脸关键点检测装置的示例性系统架构的示意图；图2示出了适于用来实现本专利技术实施例的电子设备的计算机系统的结构示意图；图3示出了结合手工设计而确定人脸关键点技术的示意图；图4示出了一些利用卷积神经网络实现人脸关键点检测的技术的示意图；图5示意性示出了根据本公开的示例性实施方式的人脸关键点检测方法的流程图；图6示意性示出了根据本公开的示例性实施方式的卷积神经网络的结构图；图7示意性示出了根据本公开的示例性实施方式的卷积神经网络中反向残差单元的结构图；图8示意性示出了根据本公开的示例性实施方式的卷积神经网络中全局DW卷积的实现原理的示意图；图9示出了根据本公开的示例性实施方式的确定图像样本的示意图；图10示意性示出了根据本公开的示例性实施方式的对卷积神经网络进行训练的示意图；图11示意性示出了根据本公开的示例性实施方式的应用卷积神经网络检测人脸关键点的示意图；图12示意性示出了根据本公开的示例性实施方式的人脸关键点检测装置的方框图；图13示意性示出了根据本公开的示例性实施方式的特征图本文档来自技高网...

【技术保护点】
1.一种人脸关键点检测方法，其特征在于，包括：获取包含人脸的待检测图像，确定所述待检测图像的多通道特征图；将所述多通道特征图转换成预定通道数量的特征图；针对所述预定通道数量的特征图中的每个特征图，采用与所述特征图对应的卷积核对所述特征图进行一次卷积操作；基于各所述特征图的一次卷积操作的结果生成与所述待检测图像对应的特征向量；根据所述特征向量确定所述待检测图像上人脸的关键点坐标。

【技术特征摘要】
1.一种人脸关键点检测方法，其特征在于，包括：获取包含人脸的待检测图像，确定所述待检测图像的多通道特征图；将所述多通道特征图转换成预定通道数量的特征图；针对所述预定通道数量的特征图中的每个特征图，采用与所述特征图对应的卷积核对所述特征图进行一次卷积操作；基于各所述特征图的一次卷积操作的结果生成与所述待检测图像对应的特征向量；根据所述特征向量确定所述待检测图像上人脸的关键点坐标。2.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述卷积核与所述特征图的尺寸相同。3.根据权利要求2所述的人脸关键点检测方法，其特征在于，确定所述待检测图像的多通道特征图包括：对所述待检测图像进行下采样处理，确定出所述待检测图像的多通道特征图。4.根据权利要求3所述的人脸关键点检测方法，其特征在于，对所述待检测图像进行下采样处理包括：采用一个或级联的多个卷积核对所述待检测图像进行卷积操作，以对所述待检测图像进行下采样。5.根据权利要求3所述的人脸关键点检测方法，其特征在于，对所述待检测图像进行下采样处理包括：采用一个或级联的多个卷积核对所述待检测图像进行卷积操作，生成中间特征图；对所述中间特征图执行一组或多组降维卷积处理，以对所述待检测图像进行下采样。6.根据权利要求5所述的人脸关键点检测方法，其特征在于，所述降维卷积处理包括：采用N个大小为a×a的卷积核对待进行所述降维卷积处理的特征图执行卷积操作，生成第一特征图；采用M个大小为b×b的卷积核对所述第一特征图执行卷积操作，生成第二特征图；采用M个大小为c×c的卷积核对所述第二特征图执行深度卷积操作，生成第三特征图；采用N个大小为d×d的卷积核对所述第三特征图执行卷积操作，生成第四特征图；将所述第一特征图与所述第四特征图逐通道相加，得到所述降维卷积处理的结果；其中，a、b、c、d、N和M均为正整数，且N小于M。7.根据权利要求2所述的人脸关键点检测方法，其特征在于，将所述多通道特征图转换成预定通道数量的特征图包括：根据所述多通道特征图的通道数量以及预定通道数量确定大小为1×1的卷积核的数量，作为目标数量；采用所述目标数量个大小为1×1的卷积核对所...

【专利技术属性】
技术研发人员：王一同，季兴，周正，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44