人脸跟踪设备和方法技术

本发明专利技术提供一种人脸跟踪设备和方法，所述人脸跟踪设备包括：图像采集单元，用于接收视频图像，并将接收的视频图像中的当前帧图像输出到预测单元；预测单元，用于基于由人脸拟合单元得出的前一帧图像中人脸的二维特性和三维特性，预测出由图像采集单元输出的当前帧图像中人脸的关键点的二维位置，并将预测的关键点的二维位置输出到人脸拟合单元；以及人脸拟合单元，用于在一个或多个约束条件下，基于由预测单元预测的关键点的二维位置来拟合预定的人脸二维模型和三维模型，从而得到人脸的二维特性和三维特性。

【技术实现步骤摘要】

本专利技术涉及视频图像中的对象跟踪技术，尤其涉及一种用于在视频图像中持续跟踪人脸的二维(2D)特性和三维(3D)特性的设备和方法。
技术介绍
随着信息处理技术(特别是视频图像技术)的发展，越来越多的系统和设备需要从视频图像中对某种特定的对象(例如，人脸)进行跟踪识别。例如，在很多摄像监视系统中，往往需要对连续的视频图像中的人脸进行跟踪，从而实现对现场情况的识别和分析。另夕卜，由于跟踪到的人脸的二维信息和三维信息可指示出人物的表情或姿态，因此，在一些人机交互的系统中，可从连续跟踪到的人脸特性识别出用户的某种情绪，该情绪可对应于用户输入的操作指示，从而实现更加友好和智能的交互操作。此外，跟踪到的人脸特性还可被用于进行面部动画生成、焦点检测和自动监控等。为了实现对人脸的跟踪，现有技术中往往需要利用结构光投影仪器、变化方向的频闪光源、粘贴标识等额外手段来为被跟踪人脸添加易于辨识的空间信息，而后在视频中捕捉此类信息以实现跟踪分析。例如，在第200610085748号中国专利申请《基于结构光的人脸定位的方法》中，就利用了结构光产生装置对人脸主动投射，用视频系统中的图像摄取装置来提取结构光条纹，由此确定人脸的中心位置。上述方式前期准备时间长，且要求用户进行一定的配合，这使得应用的场所受到限制(例如，上述方式不适用于普通的家用设备，也不适用于在监控系统中跟踪随机出现的人脸)。此外，现有技术中普遍采用的另一种方式以图像特征(例如，颜色、灰度直方图、边缘形状等)作为跟踪依据，使用一定的搜索策略在图像中定位人脸或人脸器官的位置。例如，在第200910080962号中国专利申请《一种识别定位人脸器官的方法、装置和视频处理芯片》中，利用灰度统计模型对被识别图像中的人脸器官进行初步定位，用人脸边缘信息搜索方法确定并调整下巴上的轮廓点，将被识别图像的颜色空间由红绿蓝模式转换为色相饱和模式，用色度值搜索方法确定并调整嘴唇上的轮廓点，基于被识别图像中人脸器官的轮廓点，确定人脸器官的位置。上述方式的缺点是对光照、姿态变换的适应性较差，计算复杂且不适用于对全局的跟踪。此外，现有技术中还存在基于人脸模型来进行人脸图像定位的方法。例如，在第200910143325号中国专利申请《一种二维人脸图像定位的方法》中，通过利用预设的数据库建立二维人脸形状模型和二维人脸局部纹理模型，实现对二维人脸图像进行精确定位。然而，上述方式不能得出关于三维位置或姿态的信息，而且对数据库之外的样本处理能力较弱，不适用于表情或姿态变化幅度较大的情况。综上所述，可以看出，在现有技术中，为了在视频图像中实现对人脸的跟踪，往往需要额外的设备(例如，结构光投影仪器)或者附加在人脸的粘贴标识，这使得跟踪设备的成本增加，且需要构建非常复杂的跟踪系统，限制了人脸跟踪的应用环境。另外，为了实现对人脸的精确跟踪，往往需要进行大量的计算，而复杂的计算将导致无法满足实时跟踪的需要。此外，目前的跟踪方法多偏重于获取人脸的二维特性，往往无法同时有效地得到相应的三维特性，这使得对跟踪结果的应用受到一定的限制，即，无法同时有效地获得人脸的二维特性和三维特性。而且，当跟踪的人脸较为陌生，S卩，输入人脸与训练库中的人脸之间的差距较大时，现有的跟踪方法往往无法在变化角度大、表情强烈或不对称、光照不均匀、背景复杂或运动速度很快的情况下获得有效的跟踪结果。
技术实现思路
本专利技术的目的在于提供一种，在所述中，首先对视频图像中的人脸部分进行预测，基于预测的结果在一个或多个约束条件下拟合预定的人脸二维模型和三维模型，从而得到跟踪的人脸的二维特性和三维特性。根据本专利技术的示例性实施例，提供一种用于在视频图像中跟踪人脸的设备，所述 设备包括图像采集单元，用于接收视频图像，并将接收的视频图像中的当前帧图像输出到预测单元；预测单元，用于基于由人脸拟合单元得出的前一帧图像中人脸的二维特性和三维特性，预测出由图像采集单元输出的当前帧图像中人脸的关键点的二维位置，并将预测的关键点的二维位置输出到人脸拟合单元；以及人脸拟合单元，用于在一个或多个约束条件下，基于由预测单元预测的关键点的二维位置来拟合预定的人脸二维模型和三维模型，从而得到人脸的二维特性和三维特性。二维特性包括二维形状，三维特性包括三维结构。人脸拟合单元以预测单元所预测出的关键点作为初始值，在一个或多个约束条件下，拟合预定的人脸二维模型和三维模型。预测单元在从图像采集单元输出的当前帧图像中提取人脸区域的特征点，将提取的特征点与前一帧图像的特征点进行匹配，基于由人脸拟合单元得到的前一帧图像中人脸的关键点的二维位置和三维结构，计算出前一帧图像中人脸的三维姿态，基于提取的前一帧图像中的特征点的二维位置、由人脸拟合单元得到的前一帧图像中人脸的关键点的三维结构以及前一帧图像中人脸的三维姿态，计算出三维结构上所述特征点的位置，基于当前帧图像中的人脸的匹配的特征点的二维位置以及三维结构上所述特征点的位置，计算出当前帧图像中人脸的三维姿态，基于由人脸拟合单元得到的前一帧图像中人脸的关键点的三维结构以及计算出的当前帧图像中人脸的三维姿态，计算出当前帧图像中人脸的关键点的二维位置，并将所述关键点的二维位置输出到人脸拟合单元。对于第一帧图像，预测单元使用人脸检测方法来直接估计关键点的二维位置，作为预测的关键点的二维位置。预测单元在从图像采集单元输出的当前帧图像中提取人脸区域的特征点时，将判断是否为特征点的门限值设置为根据实际情况变化的自适应门限值。预测单元将提取的特征点与前一帧图像的特征点进行匹配时，通过使用RANSAC方法并设置距离门限来去除异常配对。人脸拟合单元在包括二维外观约束条件和三维结构约束条件的多个约束条件下，基于由预测单元预测的关键点的二维位置来拟合预定的人脸二维模型和三维模型。人脸拟合单元还在以下约束条件的至少一个下来拟合预定的人脸二维模型和三维模型二维形变约束条件、特征点约束条件、肤色约束条件、个性纹理约束条件。二维形状表示为S(p，q) = T(S(p)，q)，其中，S(p)表示二维柔性形状 = 5ο+ΣΜ，S0表示二维模型中的平均形状，Si表示二维模型中的一系列形状基S1, IS2, S3,...,每一个形状基表不二维形状的一种变化方式，P = 为二维柔性形状参数，其表示各个形状基的变化强度，q= 表示二维刚性形状参数，其中，Q1和q2表示人脸的二维形状在平面内的位移，q3和q4表示人脸的二维形状在平面内的旋转和缩放，T表示基于上述位移、旋转和缩放对二维形状的刚性形变。三维结构表示为_S(p,q、= i{S(p\q),其中，S(p)表示三维柔性结构·S(p) = S0 +J^pl S1，&表示三维模型中的平均结构，$表示三维模型中的一系列结构基SvS2fS3,...,每一个结构基表示三维结构的一种变化方式，P = LopjP2,&，...]为三维柔性结构参数，其表示各个结构基的变化强度，9=[nmcg表示三维刚性结构参数设置，其中，0X，0y，Oz表示人脸的三维结构在空间中绕X轴、y轴和Z轴旋转的角度，ΘΧ，0y, θζ表示人脸的三维结构在空间内的平移，T表示基于上述旋转和平移对三维结构的刚性形变。人脸拟合单元将二维形变约束条件设置为I IpI本文档来自技高网...

【技术保护点】
一种用于在视频图像中跟踪人脸的设备，所述设备包括：图像采集单元，用于接收视频图像，并将接收的视频图像中的当前帧图像输出到预测单元；预测单元，用于基于由人脸拟合单元得出的前一帧图像中人脸的二维特性和三维特性，预测出由图像采集单元输出的当前帧图像中人脸的关键点的二维位置，并将预测的关键点的二维位置输出到人脸拟合单元；以及人脸拟合单元，用于在一个或多个约束条件下，基于由预测单元预测的关键点的二维位置来拟合预定的人脸二维模型和三维模型，从而得到人脸的二维特性和三维特性。

【技术特征摘要】

【专利技术属性】
技术研发人员：沈晓璐，冯雪涛，金亭培，张辉，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：