人脸关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种人脸关键点检测方法、装置、电子设备及存储介质。所述人脸关键点检测方法包括：将人脸图片训练数据输入至第一残差网络得到第一特征图；将第一特征图输入至几何感知网络得到第一几何关系矩阵；将第一特征图输入至注意力模型得到第一加权特征图矩阵；根据第一几何关系矩阵与第一加权特征图矩阵得到第一输入数据；将第一输入数据输入至第一低秩学习网络，训练第一低秩学习网络预测人脸关键点，得到第二低秩学习网络；使用所述第一残差网络、所述几何感知网络、所述注意力模型及所述第二低秩学习网络预测人脸图片测试数据中的人脸关键点。本发明专利技术可以有效提取带有遮挡的人脸图片中的人脸关键点。有效提取带有遮挡的人脸图片中的人脸关键点。有效提取带有遮挡的人脸图片中的人脸关键点。

【技术实现步骤摘要】
人脸关键点检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能中的人脸识别
，具体涉及一种人脸关键点检测方法、装置、电子设备及存储介质。

技术介绍

[0002]现有技术中，人脸关键点检测主要依靠残差网络等神经网络模型，在处理有遮挡的人脸图像时不能很好的检测人脸关键点。

技术实现思路

[0003]鉴于以上内容，有必要提出一种人脸关键点检测方法、装置、电子设备及存储介质以实现对带有遮挡的人脸图像的人脸关键点快速提取。
[0004]本申请的第一方面提供一种人脸关键点检测方法，所述人脸关键点检测方法包括：
[0005]将人脸图片训练数据输入至第一残差网络，并经所述第一残差网络处理得到第一特征图，其中所述人脸图片训练数据包括有遮挡瑕疵的人脸图像，所述第一残差网络包括一个卷积层、一个最大池化层及由至少一个残差单元构成的残差计算模块，用于从人脸图像中获取人脸图像特征；
[0006]将所述第一特征图输入至几何感知网络，并经所述几何感知网络处理得到第一几何关系矩阵；
[0007]将所述第一特征图输入至注意力模型，并经所述注意力模型处理得到第一加权特征图矩阵；
[0008]根据所述第一几何关系矩阵与所述第一加权特征图矩阵得到第一输入数据；
[0009]将所述第一输入数据输入至第一低秩学习网络，训练所述第一低秩学习网络预测所述人脸图片训练数据中的人脸关键点，并得到训练完成的第二低秩学习网络；
[0010]将人脸图片测试数据输入至所述第一残差网络，并经过所述第一残差网络处理得到第二特征图，将所述第二特征图输入至所述几何感知网络，并经所述几何感知网络处理得到第二几何关系矩阵，将所述第二特征图输入至所述注意力模型，并经所述注意力模型处理得到第二加权特征图矩阵，根据所述第二几何关系矩阵与所述第二加权特征图矩阵得到第二输入数据；
[0011]将所述第二输入数据输入至所述第二低秩学习网络，所述第二低秩学习网络预测所述人脸图片测试数据中的人脸关键点；
[0012]输出所述人脸图片测试数据中的人脸关键点。
[0013]优选地，所述将人脸图片训练数据输入至第一残差网络，并经所述第一残差网络处理得到第一特征图包括：
[0014]将所述人脸图片训练数据输入所述第一残差网络中的所述卷积层，经所述卷积层计算得到第一计算结果；
[0015]将所述第一计算结果输入所述第一残差网络的所述最大池化层，经所述最大池化层计算得到第二计算结果；
[0016]将所述第二计算结果输入所述第一残差网络的所述残差计算模块，经所述残差计算模块计算得到所述第一特征图。
[0017]优选地，将所述第一特征图输入至几何感知网络，并经所述几何感知网络处理得到第一几何关系矩阵包括：
[0018]将所述第一特征图输入至所述几何感知网络中的第一卷积神经网络，经所述第一卷积神经网络处理得到第一矩阵，所述第一卷积神经网络用于获取人脸图像中人脸部件间的远距离几何关系；
[0019]将所述第一特征图输入至所述几何感知网络中的第二卷积神经网络，经所述第二卷积神经网络处理得到第二矩阵，所述第二卷积神经网络用于获取人脸图像中人脸部件间的局部几何关系；
[0020]计算所述第一矩阵和所述第二矩阵的外积得到所述第一几何关系矩阵。
[0021]优选地，所述将所述第一特征图输入至注意力模型，并经所述注意力模型处理得到第一加权特征图矩阵包括：
[0022]将所述第一特征图输入至所述注意力模型中的第二残差网络，并经所述第二残差网络处理得到特征向量，所述第二残差网络包括一个残差单元，用于进一步提取人脸图像的特征；
[0023]将所述第一特征图输入至所述注意力模型中的第三卷积神经网络，并经所述第三卷积神经网络处理得到单通道特征向量，所述第三卷积神经网络用于提取人脸图像中特征的权重；
[0024]使用sigmoid函数计算所述单通道特征向量，得到概率分布向量；
[0025]将所述特征向量和所述概率分布向量进行逐元素乘法计算得到所述第一加权特征图矩阵。
[0026]优选地，根据所述第一几何关系矩阵与所述第一加权特征图矩阵得到第一输入数据包括：
[0027]拼接所述第一几何关系矩阵与所述第一加权特征图矩阵，并得到所述第一输入数据。
[0028]优选地，将所述第一输入数据输入至第一低秩学习网络，训练所述第一低秩学习网络预测所述人脸图片训练数据中的人脸关键点，并得到训练完成的第二低秩学习网络包括：
[0029]将所述输入数据输入至所述第一低秩学习网络的全连接层；
[0030]以所述输入数据为所述第一低秩学习网络的输入，以所述人脸图片训练数据中的人脸关键点为输出，训练所述第一低秩学习网络预测所述人脸图片训练数据中的人脸关键点；
[0031]根据预设的损失函数优化所述第一低秩学习网络，得到训练完成的第二低秩学习网络，所述第二低秩学习网络可以预测人脸图片中的人脸关键点。
[0032]优选地，根据预设的损失函数优化所述第一低秩学习网络，得到训练完成的第二低秩学习网络包括：
[0033]根据公式优化所述第一低秩学习网络的全连接层的权重，得到所述训练完成的第二低秩学习网络，其中，N为所述人脸图片训练数据的样本数量，为所述第一低秩学习网络预测的人脸关键点，其中，W
T
为所述第一低秩学习网络的全连接层的权重矩阵的转置，M
T
为结构矩阵的转置，X为所述输入数据，S＝{S1，S2，...，S
L
}为所述人脸图片训练数据中的人脸关键点，L为所述人脸图片训练数据中的人脸关键点的数量，为的F范数的平方，β为结构矩阵的秩的正则化参数，Rank(M)为结构矩阵的秩。
[0034]本申请的第二方面提供一种人脸关键点检测装置，所述人脸关键点检测装置包括：
[0035]残差网络计算模块，用于将人脸图片训练数据输入至第一残差网络，并经所述第一残差网络处理得到第一特征图，其中所述人脸图片训练数据包括有遮挡瑕疵的人脸图像，所述第一残差网络包括一个卷积层、一个最大池化层及由至少一个残差单元构成的残差计算模块，用于从人脸图像中获取人脸图像特征；
[0036]几何感知网络计算模块，用于将所述第一特征图输入至几何感知网络，并经所述几何感知网络处理得到第一几何关系矩阵；
[0037]注意力模型计算模块，用于将所述第一特征图输入至注意力模型，并经所述注意力模型处理得到第一加权特征图矩阵；
[0038]拼接模块，用于根据所述第一几何关系矩阵与所述第一加权特征图矩阵得到第一输入数据；
[0039]低秩学习网络训练模块，将所述第一输入数据输入至第一低秩学习网络，训练所述第一低秩学习网络预测所述人脸图片训练数据中的人脸关键点，并得到训练完成的第二低秩学习网络；
[0040]测试输入构造模块，用于将人脸图片测试数据输入至所述第一残差网络，并经所述第一残差网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点检测方法，其特征在于，所述人脸关键点检测方法包括：将人脸图片训练数据输入至第一残差网络，并经所述第一残差网络处理得到第一特征图，其中所述人脸图片训练数据包括有遮挡瑕疵的人脸图像，所述第一残差网络包括一个卷积层、一个最大池化层及由至少一个残差单元构成的残差计算模块，用于从人脸图像中获取人脸图像特征；将所述第一特征图输入至几何感知网络，并经所述几何感知网络处理得到第一几何关系矩阵；将所述第一特征图输入至注意力模型，并经所述注意力模型处理得到第一加权特征图矩阵；根据所述第一几何关系矩阵与所述第一加权特征图矩阵得到第一输入数据；将所述第一输入数据输入至第一低秩学习网络，训练所述第一低秩学习网络预测所述人脸图片训练数据中的人脸关键点，并得到训练完成的第二低秩学习网络；将人脸图片测试数据输入至所述第一残差网络，并经过所述第一残差网络处理得到第二特征图，将所述第二特征图输入至所述几何感知网络，并经所述几何感知网络处理得到第二几何关系矩阵，将所述第二特征图输入至所述注意力模型，并经所述注意力模型处理得到第二加权特征图矩阵，根据所述第二几何关系矩阵与所述第二加权特征图矩阵得到第二输入数据；将所述第二输入数据输入至所述第二低秩学习网络，所述第二低秩学习网络预测所述人脸图片测试数据中的人脸关键点；输出所述人脸图片测试数据中的人脸关键点。2.如权利要求1所述的人脸关键点检测方法，其特征在于，所述将人脸图片训练数据输入至第一残差网络，并经所述第一残差网络处理得到第一特征图包括：将所述人脸图片训练数据输入所述第一残差网络中的所述卷积层，经所述卷积层计算得到第一计算结果；将所述第一计算结果输入所述第一残差网络的所述最大池化层，经所述最大池化层计算得到第二计算结果；将所述第二计算结果输入所述第一残差网络的所述残差计算模块，经所述残差计算模块计算得到所述第一特征图。3.如权利要求1所述的人脸关键点检测方法，其特征在于，将所述第一特征图输入至几何感知网络，并经所述几何感知网络处理得到第一几何关系矩阵包括：将所述第一特征图输入至所述几何感知网络中的第一卷积神经网络，经所述第一卷积神经网络处理得到第一矩阵，所述第一卷积神经网络用于获取人脸图像中人脸部件间的远距离几何关系；将所述第一特征图输入至所述几何感知网络中的第二卷积神经网络，经所述第二卷积神经网络处理得到第二矩阵，所述第二卷积神经网络用于获取人脸图像中人脸部件间的局部几何关系；计算所述第一矩阵和所述第二矩阵的外积得到所述第一几何关系矩阵。4.如权利要求1所述的人脸关键点检测方法，其特征在于，所述将所述第一特征图输入至注意力模型，并经所述注意力模型处理得到第一加权特征图矩阵包括：
将所述第一特征图输入至所述注意力模型中的第二残差网络，并经所述第二残差网络处理得到特征向量，所述第二残差网络包括一个残差单元，用于进一步提取人脸图像的特征；将所述第一特征图输入至所述注意力模型中的第三卷积神经网络，并经所述第三卷积神经网络处理得到单通道特征向量，所述第三卷积神经网络用于提取人脸图像中特征的权重；使用sigmoid函数计算所述单通道特征向量，得到概率分布向量；将所述特征向量和所述概率分布向量进行逐元素乘法计算得到所述第一加权特征图矩阵。5.如权利要求1所述的人脸关键点检测方法，其特征在于，根据所述第一几何关系矩阵与所述第一加权特征图矩阵得到第一输入数据包括：拼接所述第一几何关系矩阵与所述第一加权特征图矩阵，并...

【专利技术属性】
技术研发人员：陈嘉莉，周超勇，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：