视频人脸归类方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频人脸归类方法、装置、设备及存储介质。本申请应用于视频编辑技术领域，其包括：从与输入视频相对应的抽取帧集中选择排序第一的待检测视频帧作为当前待检测视频帧，并对其进行人脸图像检测；若存在，则针对每一个人脸包围框图通过预设人脸关键点定位算法计算出预设个数人脸关键点，并将其坐标映射回当前待检测视频帧中以对人脸图像进行人脸姿态及清晰度检测；若检测通过，则对人脸图像进行矫正及裁剪处理以输入预设神经网络提取人脸特征，并经过一系列处理得到当前待检测视频帧的人脸位置信息；循环执行直至检测完成为止，以得到输入视频的人脸位置信息。本申请实施例可提高视频人脸归类的效率及准确率。准确率。准确率。

【技术实现步骤摘要】
视频人脸归类方法、装置、设备及存储介质


[0001]本专利技术实施例涉及视频编辑
，尤其涉及一种视频人脸归类方法、装置、设备及存储介质。

技术介绍

[0002]现有的人脸归类技术大都是采用传统的聚类算法(如K
‑
means，Threshold clustering，Mean shift，DBSCAN，Rank
‑
order等)进行无监督的自动聚类，但由于视频信息丰富，即使是时间较短的视频所对应的视频帧数量也是较大的，这就是使得数据的计算量明显增大，耗时较多，人脸归类的效率较低，而且传统聚类算法还会导致人脸序号在聚类过程中发生变化，降低人脸归类的准确率。

技术实现思路

[0003]本专利技术实施例提供了一种视频人脸归类方法、装置、设备及存储介质，旨在解决现有视频人脸归类效率及准确率均较低的问题。
[0004]第一方面，本专利技术实施例提供了一种视频人脸归类方法，其包括：
[0005]从与输入视频相对应的抽取帧集中选择排序第一的待检测视频帧作为当前待检测视频帧，并对所述当前待检测视频帧进行人脸图像检测，其中，所述抽取帧集中包括多个待检测视频帧；
[0006]若所述当前待检测视频帧中存在人脸图像，则根据所述人脸图像生成至少一个人脸包围框图，针对每一个所述人脸包围框图通过预设人脸关键点定位算法计算出预设个数人脸关键点，并将所述预设个数人脸关键点的坐标映射回所述当前待检测视频帧中以得到预设个数目标人脸关键点；
[0007]根据所述预设个数目标人脸关键点及所述人脸包围框图分别对所述人脸图像进行人脸姿态及清晰度检测以得到人脸图像质量检测结果；
[0008]若所述人脸图像质量检测结果为检测通过，则根据所述预设个数目标人脸关键点对所述人脸图像进行矫正及裁剪处理以得到人脸裁剪图；
[0009]将所述人脸裁剪图输入预设神经网络以提取人脸特征，并根据预设标志通过人脸特征归类方法对所述人脸特征进行归类以得到人脸信息，将所述人脸信息中的人脸序号、与所述当前待检测视频帧相对应的帧号以及与所述人脸包围框图相对应的左上角坐标及右下角坐标进行保存以得到与所述前待检测视频帧相对应的人脸位置信息；
[0010]从所述抽取帧集中选择下一待检测视频帧作为当前待检测视频帧，并返回所述对所述当前待检测视频帧进行人脸图像检测的步骤，直至所述抽取帧集中的所有待检测视频帧检测完成为止，以得到与所述输入视频相对应的人脸位置信息。
[0011]进一步地，根据所述预设个数目标人脸关键点通过人脸姿态检测方法对所述人脸图像进行人脸姿态检测以得到第一人脸图像质量检测结果；若所述第一人脸图像质量检测结果为检测通过，则根据所述人脸包围框图通过清晰度检测方法对所述人脸图像进行清晰
度检测以得到第二人脸图像质量检测结果，并将所述第二人脸图像质量检测结果作为人脸图像质量检测结果。
[0012]进一步地，从所述预设个数目标人脸关键点中选取预设数目的目标人脸关键点，并根据所述预设数目的目标人脸关键点计算出俯仰姿态角、偏航姿态角以及横滚姿态角；若所述俯仰姿态角、所述偏航姿态角以及所述横滚姿态角分别在预设俯仰姿态角、预设偏航姿态角以及预设横滚姿态角的阈值区间内，则将第一人脸图像质量检测结果设置为检测通过。
[0013]进一步地，将所述人脸包围框图输入Laplacian算子以得到与所述人脸图像相对应的清晰度值；将所述清晰度值与预设清晰度值进行比较以得到第二人脸图像质量检测结果。
[0014]进一步地，将人脸图像的尺寸归一化至预设尺寸；根据所述预设个数目标人脸关键点计算出平面旋转矫正角、缩放系数以及旋转中心；根据所述预设尺寸、所述平面旋转矫正角、所述缩放系数以及所述旋转中心通过仿射变换对所述人脸图像进行矫正，并对矫正后的所述人脸图像进行裁剪以得到人脸裁剪图。
[0015]进一步地，从所述预设个数目标人脸关键点中选取出左瞳孔中心关键点、右瞳孔中心关键点、左嘴角关键点以及右嘴角关键点；计算所述左瞳孔中心关键点与所述右瞳孔中心关键点之间的中心点以得到两眼连线中心点；计算所述左嘴角关键点与所述右嘴角关键点之间的中心点以得到两嘴角连线中心点；根据所述两眼连线中心点及所述两嘴角连线中心点计算出平面旋转矫正角及缩放系数；将所述左瞳孔中心关键点、所述右瞳孔中心关键点、所述左嘴角关键点以及所述右嘴角关键点的中心点作为旋转中心。
[0016]进一步地，若预设标志为预设标志值，则构建与所述人脸特征相关的人脸信息，其中，所述人脸信息包括人脸序号，人脸数量及人脸特征中心；若预设标志不为预设标志值，则根据所述人脸特征中心构建Kd
‑
tree树，并将所述人脸特征输入所述Kd
‑
tree树进行搜索以查找到距离所述人脸特征最近的所述人脸特征中心作为目标人脸特征中心，将所述目标人脸特征中心与所述人脸特征之间的距离作为目标距离；若所述目标距离小于预设距离阈值，则对所述人脸特征赋予所述目标人脸特征中心所对应的所述人脸序号，并更新所述人脸序号对应的所述人脸特征中心；若所述目标距离大于预设距离阈值，则新增人脸序号，并根据新增的所述人脸序号及所述人脸特征构建新的所述人脸信息。
[0017]第二方面，本专利技术实施例还提供了一种视频人脸归类装置，其包括：
[0018]第一检测单元，用于从与输入视频相对应的抽取帧集中选择排序第一的待检测视频帧作为当前待检测视频帧，并对所述当前待检测视频帧进行人脸图像检测，其中，所述抽取帧集中包括多个待检测视频帧；
[0019]计算单元，用于若所述当前待检测视频帧中存在人脸图像，则根据所述人脸图像生成至少一个人脸包围框图，针对每一个所述人脸包围框图通过预设人脸关键点定位算法计算出预设个数人脸关键点，并将所述预设个数人脸关键点的坐标映射回所述当前待检测视频帧中以得到预设个数目标人脸关键点；
[0020]第二检测单元，用于根据所述预设个数目标人脸关键点及所述人脸包围框图分别对所述人脸图像进行人脸姿态及清晰度检测以得到人脸图像质量检测结果；
[0021]矫正裁剪单元，用于若所述人脸图像质量检测结果为检测通过，则根据所述预设
个数目标人脸关键点对所述人脸图像进行矫正及裁剪处理以得到人脸裁剪图；
[0022]归类保存单元，用于将所述人脸裁剪图输入预设神经网络以提取人脸特征，并根据预设标志通过人脸特征归类方法对所述人脸特征进行归类以得到人脸信息，将所述人脸信息中的人脸序号、与所述当前待检测视频帧相对应的帧号以及与所述人脸包围框图相对应的左上角坐标及右下角坐标进行保存以得到与所述前待检测视频帧相对应的人脸位置信息；
[0023]返回执行单元，用于从所述抽取帧集中选择下一待检测视频帧作为当前待检测视频帧，并返回所述对所述当前待检测视频帧进行人脸图像检测的步骤，直至所述抽取帧集中的所有待检测视频帧检测完成为止，以得到与所述输入视频相对应的人脸位置信息。
[0024]第三方面，本专利技术实施例还提供了一种计算机设备，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频人脸归类方法，其特征在于，包括：从与输入视频相对应的抽取帧集中选择排序第一的待检测视频帧作为当前待检测视频帧，并对所述当前待检测视频帧进行人脸图像检测，其中，所述抽取帧集中包括多个待检测视频帧；若所述当前待检测视频帧中存在人脸图像，则根据所述人脸图像生成至少一个人脸包围框图，针对每一个所述人脸包围框图通过预设人脸关键点定位算法计算出预设个数人脸关键点，并将所述预设个数人脸关键点的坐标映射回所述当前待检测视频帧中以得到预设个数目标人脸关键点；根据所述预设个数目标人脸关键点及所述人脸包围框图分别对所述人脸图像进行人脸姿态及清晰度检测以得到人脸图像质量检测结果；若所述人脸图像质量检测结果为检测通过，则根据所述预设个数目标人脸关键点对所述人脸图像进行矫正及裁剪处理以得到人脸裁剪图；将所述人脸裁剪图输入预设神经网络以提取人脸特征，并根据预设标志通过人脸特征归类方法对所述人脸特征进行归类以得到人脸信息，将所述人脸信息中的人脸序号、与所述当前待检测视频帧相对应的帧号以及与所述人脸包围框图相对应的左上角坐标及右下角坐标进行保存以得到与所述前待检测视频帧相对应的人脸位置信息；从所述抽取帧集中选择下一待检测视频帧作为当前待检测视频帧，并返回所述对所述当前待检测视频帧进行人脸图像检测的步骤，直至所述抽取帧集中的所有待检测视频帧检测完成为止，以得到与所述输入视频相对应的人脸位置信息。2.根据权利要求1所述的视频人脸归类方法，其特征在于，所述根据所述预设个数目标人脸关键点及所述人脸包围框图分别对所述人脸图像进行人脸姿态及清晰度检测以得到人脸图像质量检测结果，包括：根据所述预设个数目标人脸关键点通过人脸姿态检测方法对所述人脸图像进行人脸姿态检测以得到第一人脸图像质量检测结果；若所述第一人脸图像质量检测结果为检测通过，则根据所述人脸包围框图通过清晰度检测方法对所述人脸图像进行清晰度检测以得到第二人脸图像质量检测结果，并将所述第二人脸图像质量检测结果作为人脸图像质量检测结果。3.根据权利要求2所述的视频人脸归类方法，其特征在于，所述根据所述预设个数目标人脸关键点通过人脸姿态检测方法对所述人脸图像进行人脸姿态检测以得到第一人脸图像质量检测结果，包括：从所述预设个数目标人脸关键点中选取预设数目的目标人脸关键点，并根据所述预设数目的目标人脸关键点计算出俯仰姿态角、偏航姿态角以及横滚姿态角；若所述俯仰姿态角、所述偏航姿态角以及所述横滚姿态角分别在预设俯仰姿态角、预设偏航姿态角以及预设横滚姿态角的阈值区间内，则将第一人脸图像质量检测结果设置为检测通过。4.根据权利要求2所述的视频人脸归类方法，其特征在于，所述根据所述人脸包围框图通过清晰度检测方法对所述人脸图像进行清晰度检测以得到第二人脸图像质量检测结果，包括：将所述人脸包围框图输入Laplacian算子以得到与所述人脸图像相对应的清晰度值；
将所述清晰度值与预设清晰度值进行比较以得到第二人脸图像质量检测结果。5.根据权利要求1所述的视频人脸归类方法，其特征在于，所述根据所述预设个数目标人脸关键点对所述人脸图像进行矫正及裁剪处理以得到人脸裁剪图，包括：将人脸图像的尺寸归一化至预设尺寸；根据所述预设个数目标人脸关键点计算出平面旋转矫正角、缩放系数以及旋转中心；根据所述预设尺寸、所述平面旋转矫正角、所述缩放系数以及所述旋转中心通过仿射变换对所述人脸图像进行矫正，并对矫正后的所述人脸图像进行裁剪以得到人脸裁剪图。6.根据权利要求5所述的视频人脸归类方法，其特征在于，所述根据所述预设个数目标人脸关键点计算出平...

【专利技术属性】
技术研发人员：王博，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：