特定被摄体跟踪方法和装置以及特征部跟踪方法和装置制造方法及图纸

本发明专利技术提供了基于特征部检测的特定被摄体跟踪方法和装置以及特征部跟踪方法和装置。基于特征部检测的特定被摄体跟踪方法使用粒子滤波器对视频序列的多帧图像逐帧地以子窗口划分进行计算处理，以确定特定被摄体的位置和大小，所述特征部是特定被摄体的一部分，其特征在于，所述粒子滤波器的观测模型包括特征部观测模型，该特征部观测模型用于确定图像被子窗口划分出的子图像是特征部的似然度。

【技术实现步骤摘要】

本专利技术涉及基于特征部检测的特定被摄体的跟踪方法和装置，以及特征部跟踪方法和装置。更具体地，本专利技术涉及基于人脸检测的头部跟踪方法和装置，以及人脸跟踪方法和装置。
技术介绍
物体(如人脸、头部、其他人体部位、汽车、行人等)跟踪是计算机视觉领域普遍关注的研究课题，而头部跟踪作为其子问题之一，应用前景尤其广阔，在视觉监视、人体运动分析、摄像机自动对焦、智能导播和人机交互中都发挥着重要作用。由于跟踪问题本身的复杂性，在计算机视觉领域，存在着大量的文献从各种角度研究各种不同形式的跟踪问题。不仅应用环境千变万化，跟踪对象各不相同，而且由于实际应用系统的需要和视频跟踪问题本质上的复杂性，不同的研究工作会对问题做出不同的假设、提出不同的目标。人脸、头部跟踪也是如此。已有的人脸、头部跟踪方法根据其视觉线索的特定化程度大致可以分为两类，一类主要使用色彩、角点、边缘、背景差分等比较通用的视觉线索(文献)，另一类则采用比较精细且复杂的几何及纹理模型(文献)。前一类方法事实上可以用于人脸/头部之外的绝大多数其他跟踪目标，虽然这些视觉线索的通用性使这类方法对目标和场景的变化有比较好的适应性，但是由于缺乏对特定跟踪目标的知识，在比较差的跟踪环境中往往缺乏对目标和背景噪声的区分力。第二类方法主要用于人脸跟踪或者脸部特征点的跟踪。它们一般要求跟踪目标比较清晰，不包含大小、位姿、光照，以及背景的剧烈变化。相对于跟踪问题，检测问题与之长期处于相对独立的位置。其部分原因在于，一方面，跟踪面对的是视频序列，一旦被跟踪目标初始化以后，有大量的帧间相似性信息可以利用，而并不要求对人脸这个特殊的模式有所理解；相对而言，人脸检测问题就要复杂得多，其利用的特征都是经过对大量样本的学习得到的，用于检测的分类器也相当复杂。另一方面，跟踪问题一般要求实时性，即对速度的要求比较高，因此检测一般只作为跟踪过程的初始化。而且，特别的，对于头部跟踪问题，必然要求人脸检测器是覆盖多视角的。尽管人脸检测问题已被研究多年(文献()，但是满足上述要求的检测器却问世不久。继2001年P.Viola和M.Jones提出了基于Haar型特征和AdaBoost算法的层叠分类器方法(文献)并将其应用于正面人脸检测，达到了实时效果，其后出现了一大批关于人脸检测的研究(包括一些高速的多视角人脸检测系统(文献))。这些进展使得将人脸检测用于视频成为可能。将检测器应用于跟踪问题的尝试目前还很少(文献)。其中文献采用的方法和本文将要探讨的方法差异较大(先采用背景差分的方法在每一帧图像中检测出行人，然后通过图搜索的方式建立已检测目标之间的时序关系从而实现跟踪)，其他两篇文献从不同角度尝试了将检测程序引入基于粒子滤波器的跟踪算法，其中文献将检测器作为观测模型实现人脸跟踪，而文献用检测结果作来预测目标状态，实现对人体的跟踪。文献是与本专利技术的方法比较接近的一篇文献，但是文献使用文献的检测器进行人脸跟踪，其主要缺陷在于处理速度比较慢(26s每帧(352×288像素))。
技术实现思路
因而，本专利技术鉴于现有技术的上述问题而提出，用以克服上述现有技术的一个或更多个缺点，并提供至少一种有益的选择。具体地，本专利技术的一个目的在于，提供一种基于特征部(如人脸)检测的特定被摄体(如头部)跟踪方法和装置，用于从视频序列中确定目标特定被摄体的位置和大小，并且要适应尽可能多的场景和目标变化，以应用于摄像和摄影设备的自动对焦等。为了获得鲁棒的跟踪性能，本专利技术将特征部检测器融入跟踪过程中。本专利技术的另一目的在于，提供一种特征部(如人脸)跟踪方法和装置，用于从视频序列中确定目标特征部的位置和大小，并且要适应尽可能多的场景和目标变化，以应用于摄像和摄影设备的自动对焦等。为了实现本专利技术的目的，根据本专利技术的一个方面，提供了一种基于特征部检测的特定被摄体跟踪方法，其使用粒子滤波器对视频序列的多帧图像逐帧地以子窗口划分进行计算处理，以确定特定被摄体的位置和大小，所述特征部是特定被摄体的一部分，其特征在于，所述粒子滤波器的观测模型包括特征部观测模型，该特征部观测模型用于确定图像被子窗口划分出的子图像是特征部的似然度。为了实现本专利技术的目的，根据本专利技术的又一方面，提供了一种基于特征部检测的特定被摄体跟踪装置，其使用粒子滤波器对视频序列的多帧图像逐帧地以子窗口划分进行计算处理，以确定特定被摄体的位置和大小，所述特征部是特定被摄体的一部分，其特征在于，所述粒子滤波器的观测模型包括特征部观测模型，该特征部观测模型用于确定图像被子窗口划分出的子图像是特征部的似然度。为了实现本专利技术的目的，根据本专利技术的另一方面，提供了一种特征部跟踪方法，其使用粒子滤波器对视频序列的多帧图像逐帧地以子窗口划分进行计算处理，以确定特征部的位置和大小，其特征在于，所述粒子滤波器的观测模型包括特征部观测模型，该特征部观测模型用于确定图像被子窗口划分出的子图像是特征部的似然度。为了实现本专利技术的目的，根据本专利技术的再一方面，提供了一种特征部跟踪装置，其使用粒子滤波器对视频序列的多帧图像逐帧地以子窗口划分进行计算处理，以确定特定被摄体的位置和大小，所述特征部是特定被摄体的一部分，其特征在于，所述粒子滤波器的观测模型包括特征部观测模型，该特征部观测模型用于确定图像被子窗口划分出的子图像是特征部的似然度。附图说明图1是示出人脸状态量的图；图2示出了使用层分类器来获得置信度的过程；图3示出了样本分别为正例和反例的分布图；图4示出了样本为正例和反例的先验概率之比；图5是示出头部状态量的图；图6是示出头部的梯度信息的图；图7是色彩观测模型的彩色直方图；图8是色彩观测模型输出的似然度图；图9是不同姿态下的头部彩色直方图；图10示出了不同姿态下头部轮廓和人脸的关系；图11示出了根据本专利技术实施例的基于人脸检测的头部跟踪过程的流程图；图12示出了各种测试视频的跟踪结果示例；图13示出了本专利技术方法与传统方法的测试结果对比；图14示出了根据本专利技术实施例的人脸跟踪过程的流程图；图15示出了根据本专利技术一个实施例的基于人脸检测的头部跟踪装置的示意框图；图16示出了根据本专利技术另一实施例的基于人脸检测的头部跟踪装置的示意框图；图17示出了根据本专利技术又一实施例的基于人脸检测的头部跟踪装置的示意框图；以及图18示出了根据本专利技术一个实施例的人脸跟踪装置的示意框图。具体实施例方式下面，参照附图，分别以人脸和头部作为具体的检测和跟踪对象，对本专利技术的优选实施例进行详细说明。1、跟踪方法的一般原理所谓头部跟踪是指，针对输入的图像序列，通过在每一帧图像中得到头部的状态(大小和位置)及其与上一帧中的头部状态的对应关系，确定图像序列中的头部的运动轨迹的过程。在本专利技术所采用的算法中，用一个加权样本集来描述目标状态可能的分布。每个样本对应一个特定大小和位置的图像子窗口，其权重代表这个子窗口是目标头部的概率(权重越大，这个子窗口越有可能是目标)，通过人脸检测器和其他视觉线索给出。每输入一帧图像时，首先根据一定运动预测模型改变上一帧的样本的位置和大小(起到预测当前目标状态的作用)；然后利用当前帧的图像信息，对每个新样本子窗口进行分析(使用人脸检测器和色彩、梯度等线索)，得到它是目标头部的概率，更新样本权重；最后利用新的样本权重对每个样本本文档来自技高网...

【技术保护点】
一种基于特征部检测的特定被摄体跟踪方法，其使用粒子滤波器对视频序列的多帧图像逐帧地以子窗口划分进行计算处理，以确定特定被摄体的位置和大小，所述特征部是特定被摄体的一部分，　　　　其特征在于，所述粒子滤波器的观测模型包括特征部观测模型，该特征部观测模型用于确定图像被子窗口划分出的子图像是特征部的似然度。

【技术特征摘要】

【专利技术属性】
技术研发人员：艾海舟，李源，黄畅，劳世红，
申请(专利权)人：欧姆龙株式会社，清华大学，
类型：发明
国别省市：JP[日本]