实时的从视频中跟踪多个人脸的方法技术

一种实时的从视频中跟踪多个人脸的方法，采用人脸检测模块对当前帧进行扫描以及人脸检测，确定出所有人脸的位置；对当前视频帧中每一个新检测到的人脸，将其添加到跟踪对象列表中，并对其进行跟踪初始化；如果跟踪对象列表中的人脸在当前帧中被检测到，则将跟踪对象列表改人脸的信息用当前帧中的人脸信息进行更新；如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，则切换到人脸跟踪模块，用跟踪的方式对其保持定位。本发明专利技术在某些视频帧中未能检测到被跟踪的人脸、或人脸运动停止、或人脸作非线形运动、或摄像机运动、或人脸左右旋转９０度以上、或人脸被部分遮挡时，本方法所提供的人脸跟踪仍能快速稳定地进行。

【技术实现步骤摘要】

本专利技术涉及智能视频监控、人脸识别、与数字娱乐
，特别涉及一种可靠、及。
技术介绍
在日常生活中，人的脸部特征给我们提供了大量丰富的信息。从视频中检测多个人脸的技术由于其在身份验证、档案管理和可视化通讯等方面的巨大应用前景，备受研究者关注，成为一个非常活跃的研究领域。目前视频序列中实时鲁棒的人脸检测还是一个相当困难的工作，其中所面临的问题可以归结为(参见Yang M-H，Ahuja N，Kriegman D.A survey onfacedetectionmethods.http://vision.ai.uiuc.edu/mhyang/papers/survey.ps.gz.)(1)图像中是否存在人脸这是人脸检测不同于其它有关人脸研究工作的地方，即如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图像。(2)检测不同表现形式的人脸人脸可能以不同视角出现在图像中，也可能被某些物体遮挡，造成某些用于检测而需提取的人脸特征不可见。(3)图像中存在着噪声由于成像时亮度、对比度等因素的影响使图像不清晰，人脸与背景区别不大，给检测带来一定的难度。视频序列中的人脸跟踪是另一个非常有意义的研究课题，在智能视频监控、安全预警、人脸识别和数字娱乐、交互游戏等方面有着广阔的应用前景。现有的人脸跟踪技术分为两大类。第一类基于静态图像的人脸检测(参见K.Toyama，“Prolegomena for Robust Face Tracking”，MSRTechnical Report，MSR-TR-98-65，November 1998；P.Viola and M.Jones，“Rapid Object Detection Using a Boosted Cascade of Simple Features”，InProceedings of the IEEE Conference on Computer Vision and PatternRecognition，Dec.2001；H.A.Rowley，S.Baluja，and T.Kanade，“NeuralNetwork-Based Face Detection”，IEEE Transactions on Pattern Analysis andMachine Intelligence，Volume.20，no.1，pages23-28，Jan.1998；)；在视频中的每一帧作人脸检测后，把单帧人脸检测结果简单连接起来作为人脸跟踪结果；其缺点是，当人脸偏向一边时，人脸跟踪会由于人脸检测不到而造成丢失。另一类为运动检测后判断运动范围内是否为人脸(参见Mei Han；Wei Xu；Hai Tao；Yihong Gong，An algorithm for multiple objecttrajectory tracking，Proceedings of Computer Vision and Pattern Recognition，Volume 1，27 June-2 July，2004，Page(s)I-864-I-871)；其缺点是，首先它还有赖于对运动范围内是否为人脸的判断，其本质问题仍然是人脸检测，另外当人脸无运动时，检测不到运动，从而无法跟踪人脸。这两大方法准确度和连贯性都较差。
技术实现思路
本专利技术目的在于提供一种可靠、实时快速的从视频中检测和跟踪多个人脸方法。为了实现上述目的，一种，包括步骤a.采用人脸检测模块对当前帧进行扫描以及人脸检测，确定出所有人脸的位置；b.对当前视频帧中每一个新检测到的人脸，将其添加到跟踪对象列表中，并对其进行跟踪初始化；c.如果跟踪对象列表中的人脸在当前帧中被检测到，则将跟踪对象列表改人脸的信息用当前帧中的人脸信息进行更新；d.如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，则切换到人脸跟踪模块，用跟踪的方式对其保持定位。本专利技术的人脸跟踪稳定、快速、流畅；即使在某些视频帧中未能检测到被跟踪的人脸、或人脸运动停止、或人脸作非线形运动、或摄像机运动、或人脸左右旋转90度以上、或人脸被部分遮挡时，本方法所提供的人脸跟踪仍能快速稳定地进行。附图说明图1为人脸检测和跟踪的基本流程示意图；图1为系统在人脸检测和跟踪之间自动切换的说明图；图3为主动摄像机对人脸进行检测和跟踪的效果图；图4为在影视片段中对人脸进行检测和跟踪的效果图。具体实施例方式本专利技术采用两个交互的软件模块，第一个模块负责多姿态人脸检测，主要采用基于贯续前向搜索(SFS)和贯续后向搜索(SBS)的boosting学习方法提取特征和设计分类器。在该模块中，先采集一定数量的样本图像，包括人脸和非人脸两大类，每张样本图像都有相应的类别标记。针对这些样本，系统采用离线boosting学习的方法提取最优区分特征，产生一些弱分类器。为了将获得的弱分类器组合成强分类器，我们采用基于贯续前向搜索(SFS)结合贯续后向搜索(SBS)的方法寻找最优的弱分类器线性组合，得到了性能相当优异的强分类器。系统的第二个模块负责物体跟踪，主要采用基于自适应主颜色选取的均值漂移(mean-shift)算法，根据目标对象和模型对象之间的颜色分布的最优匹配来实现当前帧中跟踪对象的准确定位；这两个模块通过一个转换机制进行切换，何时用哪个模块的最佳方案是由该转换机制决定，具体工作原理如下对于当前输入帧，人脸检测模块寻找出所有可能的人脸，用于更新或者初始化跟踪模块中的跟踪器。对于新检测出的人脸，我们将之存储到系统跟踪对象列表中，创建相应的跟踪器，并计算该人脸图像区域及其附近背景的颜色分布，以用于初始化跟踪器。对于系统中已经处于跟踪中的人脸，当前对应检测到的人脸将用于更新跟踪器的模式信息(主要是位置，尺度和颜色分布)。如果已经被跟踪的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，我们利用存储的模式信息来对该人脸进行定位跟踪。在跟踪的过程中，我们采用主导特征选择的方法来提高均值漂移跟踪算法的有效性。主导特征选择包括两部分特征空间创建和特征在线特征选取。考虑到摄像机的运动和复杂场景，我们采用RGB颜色空间作为特征空间。为了使目标前景区域和局部背景区域的特征差异尽量大，以提高均值漂移算法的准确性，我们定义出前景/背景主颜色分布特征。具体描述如下先建立RGB直方图，包括N＝Nr·Ng·Nb个色度级别.设人脸跟踪对象的原始直方图为qtqt＝{qt(1)，...，qt(n)}，n＝1，...，N (1)其中Σn=1Nqt(n)=1]]>设当前跟踪对象局部背景区域的原始直方图为qbqb＝{qb(1)，...，qb(n)}，n＝1，...，N (2)其中Σn=1Nqb(n)=1]]>则前景对象的主颜色分布特征qdk可以表示为 利用该分布特征，结合传统的均值漂移算法，可以显著提高前景跟踪的鲁棒性。为了防止误跟踪的发生，对于一个跟踪器，如果连续若干帧没有检测到人脸，则认为该跟踪器已经失效，对应的人脸将从系统跟踪对象列表中删除。这个专利技术使得人脸跟踪即使在其中一个模块的输出不可靠或无输出时，系统仍能快速稳定地进行，以下结合附图和具体的实施例对本专利技术作进本文档来自技高网...

【技术保护点】
一种实时的从视频中跟踪多个人脸的方法，包括步骤：ａ．采用人脸检测模块对当前帧进行扫描以及人脸检测，确定出所有人脸的位置；ｂ．对当前视频帧中每一个新检测到的人脸，将其添加到跟踪对象列表中，并对其进行跟踪初始化；ｃ．如果 跟踪对象列表中的人脸在当前帧中被检测到，则将跟踪对象列表改人脸的信息用当前帧中的人脸信息进行更新；ｄ．如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，则切换到人脸跟踪模块，用跟踪的方式对其保持定位。

【技术特征摘要】

【专利技术属性】
技术研发人员：李子青，杨涛，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11[中国|北京]