智能银行视频监控中的多人脸跟踪方法技术

公开了一种用于智能银行视频监控的多人脸跟踪方法，包括：用人脸检测子系统在当前帧内扫描得到人脸位置并添加到检测链表；在初始帧数后，拷贝检测链表中的人脸到中间跟踪链表，启动多人脸跟踪器；在当前帧内初始化检测链表、中间跟踪链表、输出跟踪链表；如果两个跟踪链表非空且有元素与检测到人脸目标匹配，用检测的人脸信息更新跟踪链表中相应的人脸状态；再次扫描检测链表，如果有未匹配的人脸目标，判别为当前帧内新人脸，并加入到中间跟踪链表；扫描中间跟踪链表，若某人脸目标的持续帧数达到阈值，则将该人脸目标转移到输出跟踪链表；对于两个跟踪链表中未匹配上的人脸判为帧内失配；多人脸跟踪的结果取自输出跟踪链表中的人脸状态信息。

【技术实现步骤摘要】

本专利技术属于智能视频监控、人脸检测与先进的人机交互的
，具体涉及到一种。
技术介绍
人脸跟踪是人脸行为监控中的核心技术之一。它的目的就是把从人脸检测中已经分割出的人脸模式进行唯一的持续锁定，即不管场景内发生任何对于人脸表象的干扰如光照条件发生剧烈变化、人脸发生局部遮挡、人脸自身发生转动和朝向的变化等，跟踪方法都能保证在场景中持续出现的人脸目标的具有唯一的ID号。人脸跟踪作为视觉跟踪的一个特例，具有很多普遍和特殊的方面。譬如通常的视觉跟踪技术框架几乎可以直接应用在人脸跟踪上，而人脸模式具有在场景中表象变化突出的特点，很多特别针对人脸信息的特征提取方法和技术可以为人脸跟踪问题提供更加有效的解决方案。人脸跟踪从应用角度划分，可以分为对人脸上的特征点的跟踪和对整体人脸模式的跟踪。对特征点的跟踪主要是因为对五官上的特征点感兴趣，在实际中的应用通常是人机交互上的表情识别、唇读识别和倦怠检测等。在视频监控的应用中，通常是指对人脸整体模式的跟踪，从而为后续的行为分析和人脸识别提供必要的准备条件。人脸跟踪从技术层面划分，可以分为特征提取部分和基于特征的跟踪策略。(1)特征提取特征提取就是针对那些具有鲁棒性的、易于计算的特征向量，通过各种变换的方法，把人脸模式从像素空间变换到特征空间，然后在帧间对目标及其邻域范围内的伪目标进行分类判别，从而使被跟踪的人脸在时间持续期内保持其ID的唯一性。采用的人脸特征可以是基于人脸纹理的特征或是人脸的形状特征(比如通常会把人脸描述为具有尺度和朝向可控的椭圆模型)。随着时间的演进，人脸的特征模型进行不断的更新。(2)基于特征的跟踪策略跟踪策略分为对单人脸的策略和对多人脸的策略，其中单人脸的跟踪策略描述为当人脸表象发生变化(尺度，朝向，旋转，表情)时的可靠跟踪，不发生目标漂移现象。当场景中先后出现多张人脸时，原先跟踪的目标人脸始终能够被锁定而不发生ID的变更。这里强调的是跟踪的鲁棒性。多人脸的跟踪策略实际上可看作单人脸跟踪的增强版。跟踪策略描述为当场景中有多张人脸的交互和出现、消失时，跟踪系统始终正确标识和记录各个目标的ID。这里强调的是跟踪的协作性。
技术实现思路
本专利技术的技术解决问题是克服现有技术的不足，提供一种可靠的、实时的。本专利技术的技术解决方案是这种，包括以下步骤(1)采用人脸检测子系统在当前帧内进行全局或局部扫描，得到检测出的各个人脸的位置，并把它们添加到检测链表中；(2)在初始化帧数达到设定阈值后，检测链表中的人脸被拷贝到中间跟踪链表中， 初始化多人脸跟踪器，启动跟踪过程；(3)在当前帧的跟踪进程中，初始化检测链表、中间跟踪链表、输出跟踪链表，即把各个人脸的匹配标志位设置为假；(4)在中间跟踪链表或输出跟踪链表为非空的情形下，如果检测到的人脸与这两个跟踪链表中的某个人脸相匹配，则首先把对应人脸在链表中的匹配标志位设置为真，然后用检测人脸的信息作为观测值更新和演化该跟踪链表中的相应人脸的状态；(5)在当前帧内扫描检测链表中的人脸目标，如果某个人脸目标没有任何一个跟踪链表中的人脸目标与之匹配，则认为是在当前帧内出现的新人脸，将其加入到中间跟踪链表中；(6)扫描中间跟踪链表中的各个人脸目标，如果某个人脸目标的持续帧数达到设定阈值，则将该人脸目标转移到输出跟踪链表中；(7)如果中间跟踪链表和输出跟踪链表中的某个确定的人脸目标在当前帧内没有捕获到对应的人脸观测数据，则认为此人脸目标在当前帧内失配，转到处理帧内失配的流程如果失配的人脸目标原来在中间跟踪链表中，则认为此目标为暂态噪声，从中间跟踪链表中删除；如果失配的人脸目标在原来的输出跟踪链表中，则用该人脸目标在前一帧的先验预测状态作为当前帧的观测值；(8)根据输出跟踪链表中记录的各个人脸目标的状态信息得到当前帧的多人脸跟S示结果。本专利技术采用人脸检测子系统和多人脸跟踪器这两个子系统之间的协作来实现跟踪，人脸检测子系统采用一个离线AdaBoost学习的方法提取最优区分特征，产生一系列由弱分类器线性组合而成的强分类器，然后再根据期望的检测正确率构造层叠分类器，实现对基本正面端正人脸模式的检测，多人脸跟踪器通过把多个目标(包括确认的人脸和候选的人脸)放入不同的链表进行记录和管理，实现在整个跟踪过程中人脸目标之间的对应匹配，并且对链表进行动态维护，因此实现了可靠的、实时的智能银行视频监控中的多人脸跟S示ο附图说明图1为根据本专利技术的方法中的核心算法功能；图2为根据本专利技术的多人脸跟踪器的信息控制流；图3为一种典型的帧内失配的情形，表示在两张人脸发生局部遮挡的时刻t2之前，由于检测子系统漏检，第一张人脸丢失观测而造成失配，在失配阶段，跟踪器用该人脸目标在前一帧的先验预测状态信息作为在当前帧的观测值进行持续跟踪；图4为视频回放的片段对人脸进行检测和跟踪时的效果图；图5为实际摄像头对人脸进行检测和跟踪时的效果图。具体实施方式这种，包括以下步骤(1)采用人脸检测子系统在当前帧内进行全局或局部扫描，得到检测出的各个人脸的位置，并把它们添加到检测链表中；(2)在初始化帧数达到设定阈值后，检测链表中的人脸被拷贝到中间跟踪链表中， 初始化多人脸跟踪器，启动跟踪过程；(3)在当前帧的跟踪进程中，初始化检测链表、中间跟踪链表、输出跟踪链表，即把各个人脸的匹配标志位设置为假；(4)在中间跟踪链表或输出跟踪链表为非空的情形下，如果检测到的人脸与这两个跟踪链表中的某个人脸相匹配，则首先把对应人脸在链表中的匹配标志位设置为真，然后用检测人脸的信息作为观测值更新和演化该跟踪链表中的相应人脸的状态；(5)扫描检测链表中的人脸目标，如果某个人脸目标在当前帧内没有跟踪链表中的人脸与之匹配，则认为是在当前帧内出现的新人脸，将其加入到中间跟踪链表中；(6)扫描中间跟踪链表中的人脸目标，如果某个人脸目标的持续帧数达到设定阈值，则将该人脸目标转移到输出跟踪链表中；(7)如果中间跟踪链表和输出跟踪链表中某个特定的人脸目标在当前帧内没有与之匹配的人脸观测数据，则认为此人脸目标在当前帧内失配，转到处理帧内失配的流程如果失配的人脸目标处于中间跟踪链表中，则认为此目标为暂态噪声，从中间跟踪链表中删除；如果失配的人脸目标处于输出跟踪链表中，则用该人脸目标在前一帧的先验预测状态信息作为当前帧的观测值；(8)根据输出跟踪链表中记录的各个人脸目标的状态信息得到当前帧的多人脸跟S示结果。优选地，人脸目标之间的匹配采用了位置、运动速度和尺度特征来对人脸对进行相似度的度量，并保持该跟踪器对相应人脸的持续跟踪。优选地，在步骤(1)的人脸检测子系统中采用了基于AdaBoost学习算法得到的级联分类器，在每帧中获取人脸目标的观测位置；在步骤(1)的人脸检测范围的切换基于当前的跟踪链表中是否有失配的人脸。优选地，对于已经存在于跟踪器中的人脸目标，用当前帧中匹配上的人脸的信息作为观测值输入跟踪器，得到预测估计的后验概率值。优选地，在中间跟踪链表和输出跟踪链表中，对于单个人脸目标的跟踪采用基于 Kalman滤波预测的算法实现对后验概率值的估计；并且为了便于在定点处理器上运行时保证数值稳定性，采用了用平方根滤波的形式替代传统的Kalman滤波。图4为视频回放的片段对人脸进行检测和跟踪时的效果图；图5为实际摄像头对人脸进本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：杨慧松，孙尚白，孙昕，
申请(专利权)人：北京汉邦高科数字技术股份有限公司，
类型：发明
国别省市：