一种利用视频数据进行人脸识别训练的方法技术

本发明专利技术提出一种利用视频数据进行人脸训练的方法，其基本思想是同一个人在视频中在空间和时间上都会以连续序列出现，且同一个人不可能在同一帧的其他位置出现，利用这个特点本发明专利技术自动从视频中挖掘出海量用于训练人脸模型的样本数据，从而实现持续不断地、自适应的人脸学习方法。

【技术实现步骤摘要】

本专利技术涉及人脸识别领域，更具体地，涉及一种利用视频数据进行人脸识别训练的方法。
技术介绍
人脸识别目前采用大量人工标注的训练样本去训练一个模型，使得模型能够挖掘出同一个人的不同照片与不同人的照片之间的差异特点。训练样本的标注目前依赖于手工完成，也就是找到大量的个体，对每个个体产生或寻找不同角度、光照下的照片。在操作层面，就是需要采集大量的人脸图片，对每张图片的个体进行标记，目前的人脸数据库一般达到几十万规模，采用这种方式非常耗时，人力成本非常高，且不具扩展性。
技术实现思路
本专利技术为克服人脸学习方法训练样本存在的获取成本高、标注困难的问题，，提供一种利用视频数据进行人脸识别训练的方法，具体为利用视频数据时间、空间和运动向量等特征进行人脸识别训练数据快速、自动获取的方法。为解决上述技术问题，本专利技术的技术方案如下：要获取海量的人脸学习数据，需要利用同一个人在视频中在空间和时间上都会以连续序列出现，且同一个人不可能在同一帧的其他位置出现这一基本原理。利用这个特点从视频中挖掘出海量的人脸数据。一种利用视频数据进行人脸识别训练的方法，具体步骤为：1)视频解码：视频可以看成是图片的集合表达形式，通过解码，获得每一帧的图片。2)人脸检测：将解码获得的图像进行人脸检测，并将每一帧图像中的人脸进行抽取，获得人脸图像块。3)样本挖掘：利用时空连续性、编码运动向量、服饰信息、已训练好的模型实现附近帧间同一人脸的定位以及同一帧中不同人脸的定位。4)人脸学习阶段：利用输入的挖掘样本训练人脸模型，并将模型的输出反馈到样本挖掘模块。一种利用视频数据进行人脸识别训练的系统包括：视频解码模块，人脸检测模块，样本挖掘模块，人脸模型学习模块等。总体过程为：(1)运行应用，用户上传视频文件。(2)启动视频解码，经过视频解码模块，将视频数据解码为一帧帧图像。(3)启动人脸检测，检测每一帧图像中的人脸信息并记录相关信息。(4)将人脸检测获得的人脸数据传入帧内检测，从而得到一组来自不同人脸的数据，同时做好标记。(5)将相邻帧的人脸数据传入帧间检测，根据视频帧间的信息，判断人脸数据是否来自同一个人，并做好标记。(6)由前两步自动标记生成的数据中，抽取两张来自同一个人和一张其他人的人脸数据，作为一个训练样本。多次抽取后将训练样本传入训练模型，训练人脸模型。利用前一步获得的人脸模型，重新检测视频中每一帧中的人脸，即重复第(3)步，并重复接下来步骤，直到获得设定的精度。上述第1)、2)步是常规的视频解码和人脸检测操作，第3)、4)步是本发明提出的利用视频数据进行人脸识别训练方法的两大创新点。第3)步是利用视频数据的特点获取训练样本，为本专利技术的核心之一，第4)则是利用获得的样本数据训练模型，再获得更高的精确度的情况下再次获取样本、训练模型，达到自适应的目的。附图说明图1是系统的整体流程图。图2是人脸自动标记流程图。图3是自适应、连续不断人脸学习流程图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1(一)总体功能架构本系统主要包括四个模块：视频解码模块，人脸检测模块，样本挖掘模块以及人脸学习模块。视频解码模块的主要功能是将输入的视频信息离散成一帧帧的图像。人脸检测模块则是检测视频解码后的图像中的人脸信息，作为首次人脸训练的样本。样本挖掘模块则是利用视频数据的特点，给人脸检测模块获得的人脸数据打上标签，确定哪些人脸图像块来自同一个人或者不同人。人脸学习模块的任务是利用样本挖掘后得到的带标签数据，训练得到人脸检测模型，同时将该模型重新应用于视频解码图像中人脸的检测。(二)实施流程参见图1，为本专利技术实施例的实现流程图，包括以下步骤：步骤1、程序启动，用户传入视频数据。步骤2、解码视频数据，将视频转换为一帧帧图像。步骤3、检测每一帧图像中的人脸，将人脸组合并且对人脸对打标签。步骤4、将打好标签的数据传入训练网络，训练模型。步骤5、用训练好的模型应用于人脸数据获取，判断是否满足精度要求，若是，程序结束，输出模型。若否，循环步骤3、4、5。(三)详细结构设计图2为本专利技术实施例的人脸自动标记流程图。图3是自适应、连续不断的人脸学习流程图。1、人脸自动标记在本实施例中，人脸自动标记模块主要包括：人脸来源比对、人脸特征检测、人脸特征比对等(1)人脸来源比对根据视频数据的特点，同一人不可能在同一帧中的其他位置出现。将来自同一帧的人脸数据对标记为不同人脸数据。如果人脸数据来自不同的视频帧，则进入人脸特征检测阶段。(2)人脸特征检测将来自不同帧的人脸数据传入程序，对每一个人脸数据进行特征提取，例如SIFT特征。由于视频帧与帧之间的变化量很少，因此，可以通过求每组人脸数据对特征之间的差值与阀值之间的关系来确定是否属于同一个人。2、自适应、连续不断的人脸学习在本实施例中，自适应、连续不断的人脸学习模块包括：人脸模型学习，准确度验证，自适应模型调整等。(1)人脸模型学习利用人脸自动标记模块获得的人脸正负样本数据，采用深度学习方法，例如：卷积神经网络，使用人脸识别算法，例如triplet-basedgradientdescentalgorithm。学习得到可用于区分不同人脸的模型。(2)准确度检测将测试数据传入学习得到的人脸模型，计算模型的误差。如果误差较小，说明模型满足要求，将模型输出，停止程序。如果误差不满足要求，则进入连续不断学习调整过程，直到精度满足要求。(3)自适应模型调整如果准确度没有达到要求，程序进入模型的自适应调整阶段。首先，是将获得的模型应用于来自不同帧的人脸块的检测，即用模型判断不同帧人脸数据是否来自同一人。其次，根据相邻帧的检测结果，逐步扩大不同帧之间的距离，例如从第7和第8帧两帧的数据到第7和第9帧的数据，逐步扩大对比帧之间的时间，以达到扩大同一人不同人脸数据之间的差距。本专利技术利用视频自动构造人脸训练样本，其核心点在于，利用同一时刻同一个人不可能出现在两个位置以及同一本文档来自技高网...

【技术保护点】
一种利用视频数据进行人脸识别训练的方法，具体步骤为：1)视频解码：将输入的视频信息离散成一帧帧的图像；2)人脸检测：将解码获得的图像进行人脸检测，并将每一帧图像中的人脸进行抽取，获得人脸图像块；3)样本挖掘：利用时空连续性、编码运动向量、服饰信息、已训练好的模型实现附近帧间同一人脸的定位以及同一帧中不同人脸的定位；4)人脸学习阶段：利用输入的挖掘样本训练人脸模型，并将模型的输出反馈到样本挖掘模块。

【技术特征摘要】
1.一种利用视频数据进行人脸识别训练的方法，具体步骤为：
1)视频解码：将输入的视频信息离散成一帧帧的图像；
2)人脸检测：将解码获得的图像进行人脸检测，并将每一帧图像中的人脸
进行抽取，获得人脸图像块；
3)...

【专利技术属性】
技术研发人员：丁圣勇，朝红阳，连凌淦，
申请(专利权)人：广东顺德中山大学卡内基梅隆大学国际联合研究院，中山大学，
类型：发明
国别省市：广东;44