一种基于时间特征的视频运动人物跟踪与身份识别方法技术

本发明专利技术涉及一种基于时间特征的视频运动人物跟踪与身份识别方法，属于视频图像处理技术领域，解决了现有方法对运动人物跟踪及身份识别不准确的问题。包括以下步骤：构建人物检测跟踪网络，并进行训练；人物检测跟踪网络用于提取人物的空间特征与时间特征，得到在时间维度一一对应的运动人物坐标与标识；将视频流连续序列帧输入到上述训练好的人物检测跟踪网络，检测视频中的运动人物，并根据人物坐标及其在不同帧中的匹配关系进行实时跟踪；对检测到的运动人物进行人脸识别，确定跟踪对象的身份。本发明专利技术利用视频连续帧提取人脸与人物空间‑时间特征，大大提升人脸识别的准确率及人物检测跟踪的准确率，从整体上实现精确的人物跟踪与人脸识别。

【技术实现步骤摘要】
一种基于时间特征的视频运动人物跟踪与身份识别方法
本专利技术涉及视频图像处理
，尤其涉及一种基于时间特征的视频运动人物跟踪与身份识别方法。
技术介绍
视频中的人物跟踪与识别指的是人物的身份识别(人脸识别)与人物跟踪。现有视频运动人物跟踪与技术通常采用先将视频进行分帧，在每帧图像中对图像进行人物检测与人脸识别，最终通过人物特征的相似程度进行跟踪的方法。具体的实现过程如下：获取视频帧，对视频帧之中的人物进行检测并给出矩形坐标；如果识别出人脸则优先以人脸特征将该人物与上下文联系，实现人物的身份识别以及跟踪，如果没有检测出人脸或者检测出人脸但是人脸由于运动拖影导致特征不明显，则在当前帧对人物和背景区域进行建模，在上一帧以及下一帧寻找与模型最相似的区域就是预测位置，实现人物跟踪，在后续帧中找到清晰人脸后对人物身份进行识别并将身份信息回溯历史跟踪人物。然而，这种基于不同帧人物特征相似度进行的人物跟踪技术在遇到外形变形、光照变化和背景相似干扰等问题时表现不佳。尤其对于视频中的处于运动状态的人物，由于人脸以及躯干瞬时位移较大会导致拖影，从而导致单帧人脸、躯干模糊；采用传统方式会导致人脸识别率下降，在可以使用人脸识别进行身份确认的时候不能进行准确地身份确认，导致人脸识别的失败。另外，当人物运动速度较快时由于产生运动模糊或人物尺寸变化经常导致人物丢失，既无法使用人物身份信息进行跟踪，也无法使用人物与背景区域特征进行跟踪，最终导致跟踪失败。
技术实现思路
鉴于上述的分析，本专利技术旨在提供一种基于时间特征的视频运动人物跟踪与识别方法，用以解决现有方法对运动人物跟踪及身份识别不准确的问题。本专利技术的目的主要是通过以下技术方案实现的：提供了一种基于时间特征的视频运动人物跟踪与身份识别方法，包括以下步骤：构建人物检测跟踪网络，并进行训练；所述人物检测跟踪网络用于提取人物的空间特征与时间特征，得到在时间维度一一对应的运动人物坐标与标识；将视频流连续序列帧输入到上述训练好的人物检测跟踪网络，检测视频中的运动人物，并根据人物坐标及其在不同帧中的匹配关系进行实时跟踪；对上述检测到的运动人物进行人脸识别，确定跟踪对象的身份。本专利技术有益效果如下：本专利技术利用视频连续帧提取人脸与人物的时间特征，提升人脸识别的准确率及人物检测与跟踪的准确率，从而在视频人物运动时由于运动拖影导致人脸模糊情况下仍能够实现精确的人物跟踪与人脸识别；在进行无身份人物跟踪及高准确率人脸识别(身份识别)基础上，进而通过身份回溯对历史定位的人物进行身份补充，实现完整的视频运动人物身份识别与跟踪。在上述方案的基础上，本专利技术还做了如下改进：进一步，所述人物检测跟踪网络，包括：人物空间特征提取网络，依次提取视频流连续序列帧中每帧图像中人物的空间特征进行人物检测，并输出每帧图像对应的特征图；人物时间特征提取网络，包括与所述视频流连续序列帧一一对应的多个隐藏层，所述隐藏层分别接收上述人物空间特征提取网络输出的对应帧图像的特征图，提取检测到的人物时间特征，得到该帧图像中运动人物的坐标，并对不同帧中同一人物进行唯一标识。进一步，所述进行人脸识别包括：构建人脸识别网络，并进行训练；根据人物检测跟踪网络的检测结果，确定视频流连续序列帧中跟踪对象的人脸区域并进行对齐处理；进行特征提取，得到包含上述人脸区域的空间特征与时间特征的特征向量，并与人脸特征数据库进行比对，确定所跟踪运动人物的身份。进一步，所述人脸识别网络包括：人脸特征提取网络，获取每帧图像中跟踪对象人脸区域的人脸空间特征向量，并输入到人脸特征修正网络；人脸特征修正网络，包括与视频流连续序列帧一一对应的隐藏层，所述隐藏层分别接收上述人脸特征提取网络输出的对应帧图像的特征向量，通过提取连续多帧的同一人脸特征向量的时间维度的特征，得到修正后的人脸特征向量；所述修正后的人脸特征向量包含有人脸空间特征与时间特征，通过与人脸特征数据库进行特征比对，确认人物的身份信息。进一步，对构建的人物检测跟踪网络进行训练，包括：获取一定数量运动人物视频图像并对图像中人物及其坐标进行标识，生成训练集；利用上述训练集分别对人物空间特征提取网络、人物时间特征提取网络进行训练，其中，对人物空间特征提取网络训练以能够识别出不同人物的坐标为基准；完成训练之后，将人物空间特征提取网络输出的特征图接入到人物时间特征提取网络。进一步，所述对人脸识别网络进行训练包括：获取一定数量运动人物的人脸视频图像并进行标注出正、负样本，生成训练集；对人脸特征提取网络进行训练；提取正样本、负样本的人脸特征向量，进行余弦相似度对比及损失值优化，正样本之间的余弦相似度接近1，负样本之间的余弦相似度接近-1；对人脸特征修正网络进行训练；对正样本、负样本修正后的特征向量使用余弦相似度进行比较及损失值优化，确保正样本之间的余弦相似度接近1，负样本之间的余弦相似度接近-1；所述正样本为同一人物不同图像中清晰人脸，所述负样本为不同人物人脸。进一步，所述人物空间特征提取网络包括多层标准残差网络的卷积层，每一卷积层进行人物检测并提取人物特征，并将最后一层卷积层输出的特征图输入到与帧图像相对应的人物时间特征提取网络隐藏层。进一步，所述人物时间特征提取网络，每层隐藏层同时将所述人物空间特征提取网络生成的对应帧图像的特征图与上一隐藏层的输出结果作为输入，通过LSTM记忆单元，使得该层隐藏层输出对应帧图像中运动人物坐标的同时，与上一隐藏层的输出结果进行匹配，对检测出的相同人物进行唯一标识，实现运动人物的实时跟踪。进一步，所述视频流连续序列帧，通过对视频文件进行抽帧或者对视频流进行片段截取将流片段转成序列帧的方式获取。进一步，所述视频流连续序列帧为连续固定时间间隔视频帧。本专利技术中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。附图说明附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。图1为本专利技术实施例中基于时间特征的视频运动人物跟踪与身份识别方法流程图；图2为本专利技术实施例中人物检测跟踪网络结构图；图3为本专利技术实施例中人物空间特征提取网络结构图；图4为本专利技术实施例中卷积神经网络结构图；图5为本专利技术实施例中人物时间特征提取网络结构图；图6为本专利技术实施例中人脸识别网络结构图；图7为本专利技术实施例中人脸特征提取网络结构图；图8为本专利技术实施例中人脸特征修正网络结构图。具体实施方式下面结合附图来具体描述本专利技术的优选实施例，其中，附图构成本申请一部分，并与本专利技术的实施例一起用于阐释本专利技术的原理，并非用于限定本专利技术的范围。本专利技术的一个具体实施例，公开了一种基于时间特征的视频运动人物跟踪与身份识别方法，如图1所示，包括以下步骤：步骤S1、构建人物检测跟踪网络，并进行训练；人物检测跟踪网络用于提取人物的空间特征与时间特征，得到在时间维度一一对应的运动人物坐标与标识；步骤S2、将视频流连续序列帧输入到上述训练好的人物检测跟踪网络，检测视频中的运动人物，并根据人物坐标及其在不同帧本文档来自技高网...

【技术保护点】
1.一种基于时间特征的视频运动人物跟踪与身份识别方法，其特征在于，包括以下步骤：构建人物检测跟踪网络，并进行训练；所述人物检测跟踪网络用于提取人物的空间特征与时间特征，得到在时间维度一一对应的运动人物坐标与标识；将视频流连续序列帧输入到上述训练好的人物检测跟踪网络，检测视频中的运动人物，并根据人物坐标及其在不同帧中的匹配关系进行实时跟踪；对上述检测到的运动人物进行人脸识别，确定跟踪对象的身份。

【技术特征摘要】
1.一种基于时间特征的视频运动人物跟踪与身份识别方法，其特征在于，包括以下步骤：构建人物检测跟踪网络，并进行训练；所述人物检测跟踪网络用于提取人物的空间特征与时间特征，得到在时间维度一一对应的运动人物坐标与标识；将视频流连续序列帧输入到上述训练好的人物检测跟踪网络，检测视频中的运动人物，并根据人物坐标及其在不同帧中的匹配关系进行实时跟踪；对上述检测到的运动人物进行人脸识别，确定跟踪对象的身份。2.根据权利要求1所述的方法，其特征在于，所述人物检测跟踪网络，包括：人物空间特征提取网络，依次提取视频流连续序列帧中每帧图像中人物的空间特征进行人物检测，并输出每帧图像对应的特征图；人物时间特征提取网络，包括与所述视频流连续序列帧一一对应的多个隐藏层，所述隐藏层分别接收上述人物空间特征提取网络输出的对应帧图像的特征图，提取检测到的人物时间特征，得到该帧图像中运动人物的坐标，并对不同帧中同一人物进行唯一标识。3.根据权利要求1或2所述的方法，其特征在于，所述进行人脸识别包括：构建人脸识别网络，并进行训练；根据人物检测跟踪网络的检测结果，确定视频流连续序列帧中跟踪对象的人脸区域并进行对齐处理；进行特征提取，得到包含上述人脸区域的空间特征与时间特征的特征向量，并与人脸特征数据库进行比对，确定所跟踪运动人物的身份。4.根据权利要求3所述的方法，其特征在于，所述人脸识别网络包括：人脸特征提取网络，获取每帧图像中跟踪对象人脸区域的人脸空间特征向量，并输入到人脸特征修正网络；人脸特征修正网络，包括与视频流连续序列帧一一对应的隐藏层，所述隐藏层分别接收上述人脸特征提取网络输出的对应帧图像的特征向量，通过提取连续多帧的同一人脸特征向量的时间维度的特征，得到修正后的人脸特征向量；所述修正后的人脸特征向量包含有人脸空间特征与时间特征，通过与人脸特征数据库进行特征比对，确认人物的身份信息。5.根据权利要求1或2所述的方法，其特征在于...

【专利技术属性】
技术研发人员：陈竑，彭建川，
申请(专利权)人：鹍骐科技北京股份有限公司，
类型：发明
国别省市：北京,11