一种人脸追踪方法、系统、终端及存储介质技术方案

本发明专利技术公开了一种人脸追踪方法、系统、终端及存储介质，包括：对当前图像帧进行人脸检测，得到第一人脸检测框，并根据所述第一人脸检测框剪裁得到人脸区域；将所述人脸区域输入训练好的第一检测模型，通过所述第一检测模型输出带有置信度的人脸关键点；将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型，通过所述第二检测模型输出所述人脸关键点的坐标；将所述人脸关键点的坐标按照设定比例进行外扩，得到人脸关键点外扩框，并将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪。通过上述方法可以提高人脸追踪的精度，且运算速度更快。

【技术实现步骤摘要】
一种人脸追踪方法、系统、终端及存储介质
本专利技术涉及人脸追踪
，特别是涉及一种人脸追踪方法、系统、终端及存储介质。
技术介绍
人脸追踪即在检测到人脸的前提下，在后续帧中继续捕获人脸的位置及大小等信息。目前，人脸追踪技术已广泛应用于金融、安防、零售等多个领域，满足身份核验、人脸考勤、闸机通行等业务需求。以人脸考勤为例，目前人脸门禁考勤场景中使用人脸1:n识别算法，具体为，在每帧进行视频解帧之后分别进行人脸检测、人脸关键点检测、活体识别以及人脸识别操作。该算法的弊端在于，同一个人需要重复识别，会浪费大量算力。另外，同一个人站在镜头前的时候，由于受姿态、动作、互相遮挡、光照变化等影响会存在质量较差的帧，容易导致人脸识别错误。为了改进上述不足，通过在人脸检测之后加入一个人脸追踪模块，根据前后帧的人脸检测框之间的相对位置来判断哪些人脸属于同一个人，其识别流程如图1所示。但由于人脸检测模型需要对整个画面进行扫描，当画面分辨率比较高时，需要的算力会比较大，难以在门禁面板机等小型嵌入式设备上执行，否则容易引起跳帧等问题，降低识别能力，影响用户体验。
技术实现思路
本专利技术提供了一种人脸追踪方法、系统、终端及存储介质，能够在一定程度上解决现有技术中存在的不足。为解决上述技术问题，本专利技术采用的技术方案为：一种人脸追踪方法，包括：对当前图像帧进行人脸检测，得到第一人脸检测框，并根据所述第一人脸检测框剪裁得到人脸区域；将所述人脸区域输入训练好的第一检测模型，通过所述第一检测模型输出带有置信度的人脸关键点；将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型，通过所述第二检测模型输出所述人脸关键点的坐标；将所述人脸关键点的坐标按照设定比例进行外扩，得到人脸关键点外扩框，并将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪。本专利技术实施例采取的技术方案还包括：所述对当前图像帧进行人脸检测，得到第一人脸检测框包括：判断所述当前图像帧是否是强制检测帧；其中，所述强制检测帧为每间隔预设帧数后需要进行人脸检测的图像帧；如果是，则进行人脸检测，并对上一次人脸检测得到的人脸检测框进行更新，以得到第一人脸检测框；否则，无需进行人脸检测，并使用上一次人脸检测得到的人脸检测框作为第一人脸检测框。本专利技术实施例采取的技术方案还包括：所述第一检测模型的训练数据包括两种生成方式生成的人脸区域；第一种为：根据人脸图像的人脸检测框裁剪得到的人脸区域；第二种为：对人脸图像进行关键点标注，得到关键点外接矩形，将所述关键点外接矩形按照设定比例进行外扩后裁剪得到的人脸区域。本专利技术实施例采取的技术方案还包括：所述第一检测模型的训练过程为：将所述两种生成方式生成的人脸区域输入第一检测模型，所述第一检测模型通过卷积层、BN层、relu层和池化层对输入图像进行深度学习，并输出使用低分辨率的设定个数的通道的热图，所述热图表示每个人脸关键点在对应位置的概率，每个热图中概率最大的点的位置作为对应人脸关键点的预测坐标，最大概率值作为预测置信度。本专利技术实施例采取的技术方案还包括：所述将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型前还包括：判断所述人脸关键点的置信度是否大于设定阈值；若大于设定阈值，则判定所述人脸关键点为可信关键点，将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型。本专利技术实施例采取的技术方案还包括：所述将将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪还包括：判断所述人脸关键点外扩框与所述第一人脸检测框的交并比是否大于设定阈值；若大于预设阈值，认为人脸追踪成功，将所述人脸追踪成功的图像帧输入人脸质量评估模型进行人脸质量评分，并将质量分数高于设定阈值的图像帧与对应的人脸关键点一起放入人脸候选队列，用于下一帧视频图像的人脸追踪。本专利技术实施例采取的技术方案还包括：所述人脸质量评估模型包括人脸姿态模块、模糊检测模块、光照检测模块以及一个3层的融合回归模型，所述人脸姿态模块、模糊检测模块和光照检测模块分别对输入的图像帧进行人脸姿态、模糊程度和光照程度检测，得到所述图像帧的人脸姿态、模糊程度和光照程度的输出值，所述融合回归模型将所述图像帧的人脸姿态、模糊程度和光照程度的输出值进行融合，得到所述图像帧的质量分数。本专利技术实施例采取的另一技术方案为：一种人脸追踪系统，包括：人脸检测模块：用于对当前图像帧进行人脸检测，得到第一人脸检测框，并根据所述第一人脸检测框剪裁得到人脸区域；第一关键点检测模块：用于将所述人脸区域输入训练好的第一检测模型，通过所述第一检测模型输出带有置信度的人脸关键点；第二关键点检测模块：用于将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型，通过所述第二检测模型输出所述人脸关键点的坐标；关键点外扩模块：用于将所述人脸关键点的坐标按照设定比例进行外扩，得到人脸关键点外扩框，并将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪。本专利技术实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，所述存储器存储有用于实现上述的人脸追踪方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令以执行所述人脸追踪操作。本专利技术实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行上述的人脸追踪方法。本专利技术的有益效果是：本专利技术实施例的人脸追踪方法、系统、终端及存储介质通过使用人脸检测框剪裁得到的人脸区域和使用关键点外扩框剪裁得到的人脸区域为样本训练得到第一检测模型，并进行初步的人脸关键点识别；并以第一检测模型的输出训练一个不带置信度输出的第二检测模型，通过第二检测模型的输出对第一检测模型进行快速修正，从而得到更精确的人脸关键点，实现更高精度的人脸追踪。同时，由于检测模型基于人脸关键点进行人脸检测，不需要扫描整张图像，因此运算速度较快；并且通过人脸质量评估模型选出最优图像帧进行下一帧的人脸检测，无需在每一帧图像上做人脸检测，因此，加快了系统运行速度，改善用户体验。附图说明图1是现有人脸识别算法流程图；图2是本专利技术第一实施例的人脸追踪方法的流程示意图；图3为本专利技术实施例的第一检测模型结构示意图；图4是本专利技术实施例的第二检测模型结构示意图；图5是本专利技术第二实施例的人脸追踪方法的流程示意图；图6是本专利技术实施例的人脸质量评估模型训练过程示意图；图7是本专利技术实施例人脸追踪系统的结构示意图；图8是本专利技术实施例的本专利技术实施例的终端结构示意图；图9是本专利技术实施例的存储介质结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的本文档来自技高网...

【技术保护点】
1.一种人脸追踪方法，其特征在于，包括：/n对当前图像帧进行人脸检测，得到第一人脸检测框，并根据所述第一人脸检测框剪裁得到人脸区域；/n将所述人脸区域输入训练好的第一检测模型，通过所述第一检测模型输出带有置信度的人脸关键点；/n将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型，通过所述第二检测模型输出所述人脸关键点的坐标；/n将所述人脸关键点的坐标按照设定比例进行外扩，得到人脸关键点外扩框，并将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪。/n

【技术特征摘要】
1.一种人脸追踪方法，其特征在于，包括：
对当前图像帧进行人脸检测，得到第一人脸检测框，并根据所述第一人脸检测框剪裁得到人脸区域；
将所述人脸区域输入训练好的第一检测模型，通过所述第一检测模型输出带有置信度的人脸关键点；
将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型，通过所述第二检测模型输出所述人脸关键点的坐标；
将所述人脸关键点的坐标按照设定比例进行外扩，得到人脸关键点外扩框，并将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪。


2.根据权利要求1所述的人脸追踪方法，其特征在于，所述对当前图像帧进行人脸检测，得到第一人脸检测框包括：
判断所述当前图像帧是否是强制检测帧；其中，所述强制检测帧为每间隔预设帧数后需要进行人脸检测的图像帧；
如果是，则进行人脸检测，并对上一次人脸检测得到的人脸检测框进行更新，以得到第一人脸检测框；否则，无需进行人脸检测，并使用上一次人脸检测得到的人脸检测框作为第一人脸检测框。


3.根据权利要求1所述的人脸追踪方法，其特征在于，所述第一检测模型的训练数据包括两种生成方式生成的人脸区域，
第一种为：根据人脸图像的人脸检测框裁剪得到的人脸区域；
第二种为：对人脸图像进行关键点标注，得到关键点外接矩形，将所述关键点外接矩形按照设定比例进行外扩后裁剪得到的人脸区域。


4.根据权利要求3所述的人脸追踪方法，其特征在于，所述第一检测模型的训练过程为：
将所述两种生成方式生成的人脸区域输入第一检测模型，所述第一检测模型通过卷积层、BN层、relu层和池化层对输入图像进行深度学习，并输出使用低分辨率的设定个数的通道的热图，所述热图表示每个人脸关键点在对应位置的概率，每个热图中概率最大的点的位置作为对应人脸关键点的预测坐标，最大概率值作为预测置信度。


5.根据权利要求1所述的人脸追踪方法，其特征在于，所述将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型前还包括：
判断所述人脸关键点的置信度是否大于设定阈值；
若大于设定阈值，则判定所述人脸关键点为可信关键点，将所述人脸区域以及所述人脸关键点输入训...

【专利技术属性】
技术研发人员：张国辉，戴磊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44