基于四个特征点的头部动作测定方法技术

根据面部特征数据来进行头部动作测定的线性方法，该方法包括以下步骤：获取第一幅面部图像，并且在该第一幅图像中检测头部；在上述的第一幅面部图像中检测四个点Ｐ的位置，这四个点为ｐ＝｛ｐ↓［１］，ｐ↓［２］，ｐ↓［３］，ｐ↓［４］｝，并且ｐ↓［ｋ］＝（ｘ↓［ｋ］，ｙ↓［ｋ］）；获取第二幅面部图像，并且在该第二幅图像中检测头部；在第二幅面部图像中检测四个点Ｐ’的位置，这四个点为Ｐ’＝｛ｐ↓［１］’，ｐ↓［２］’，ｐ↓［３］’，ｐ↓［４］’｝，并且ｐ↓［ｋ］’＝（ｘ↓［ｋ］’，ｙ↓［ｋ］’）；利用点Ｐ和Ｐ’来确定头部的动作，该动作由旋转矩阵Ｒ和平移矢量Ｔ表示。头部动作测定受一个方程（ｆｏｒｍｕｌａ（Ⅰ））控制，而公式（Ⅱ）则分别代表照相机的旋转和平移。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及基于面部图像的位置(例如眼睛和嘴角)来进行头部动作测定的系统和方法，更具体地说，本专利技术涉及一种基于四个(4)面部特征点来进行头部动作测定的线性方法。作为一个特别的例子，附加说明了一种基于四个面部特征点来进行头部姿态测定的算法。头部姿态识别是一个人机交互中的重要研究领域，已经提出许多头部姿态识别的方法。这些方法中的大多数都是利用某些面部特征来对面部建模。例如，大多数现有的方法都采用六个面部特征点，包括瞳孔、鼻孔和唇角来对面部建模，然而其他方法，正如在Z.Liu和Z.Zhang的题为“通过利用物理属性的健壮的头部动作计算(RobustHead Motion Computation by Taking Advantage of PhysicalProperties)”的文章中所提出的那样，运用了五个面部特征点包括眼睛和嘴角以及鼻尖，上述文章发表在人类动作专题学术讨论会会议论文集中，73-80页，奥斯汀，2000年12月(Proc.Workshop on HumanMotion，pp.73-80，Austin，December 2000)。在Zhang的文章中，通过非线性优化，头部动作可以由五个特征点测定。事实上，现有的用于面部姿态测定的算法都是非线性的。迫切需要提供一种面部姿态测定的线性算法，并且与非线性解决方案相比要求较低的计算量。更加迫切地需要提供一种面部姿态测定的线性算法，并且仅仅依赖于四个特征点，例如眼睛和嘴角。因此，本专利技术的一个目标是提供一种头部动作测定的线性算法。本专利技术的进一步目标是提供一个头部动作测定的使用四个面部特征点的线性算法。本专利技术的另一个目标是提供一种基于头部动作测定算法的头部姿态测定的算法。按照本专利技术的原理，提供了一种基于面部特征数据来进行头部动作测定的线性方法，该方法包括以下步骤获取第一幅面部图像并且在该第一幅图像中检测头部；在上述的第一幅面部图像中检测出四个点P的位置，这四个点为P＝{p1，p2，p3，p4}，并且pk＝(xk，yk)；获取第二幅面部图像并且在该第二幅图像中检测头部；在第二幅面部图像中检测出四个点P’的位置，这四个点为P＝{p1’，p2’，p3’，p4’}，并且pk’＝(xk’，yk’)；并且利用点P和P’测定头部的动作，该动作由旋转矩阵R和平移矢量T表示出来。头部动作测定由一个等式控制Pi’＝RPi+T，其中R=r1Tr2Tr3T=rij3×3]]>而且T＝T分别代表照相机的旋转和平移，头部姿态测定是头部动作测定的一个特例。有利的是，基于四个特征点的头部姿态测定算法可以被用于化身控制应用、视频聊天以及面部识别应用。在这里公开的本专利技术的细节将借助下面所列出的附图进行描述。在这些附图中附附图说明图1描述了一个典型头部的典型特征点的布局。附图2描述给出了本专利技术的头部姿态测定算法的基础的面部几何图形10。按照本专利技术的原理，本专利技术提供了基于眼睛和嘴角的图像位置来测定头部动作的线性方法。更具体地说，本专利技术提供了当以一个正视图作为参考位置时，基于四点匹配的测定头部动作的方法，并以头部姿态测定作为一个特例。本方法优于现有的其他方法，那些现有的其他方法或者需要更多的匹配点(至少七个)，或者是非线性的而且需要至少五个面部特征匹配。一般来说，头部动作测定的方法如下第一步是获取第一幅图像I1并且在I1中检测头部。然后在I1中检测对应于眼睛和嘴的外角的点P，即P＝{p1，p2，p3，p4}，其中pk＝(xk，yk)表示出一个点的图像坐标。然后获取第二幅图像I2并且在I2中检测头部。然后在I2中检测对应于眼睛和嘴的外角的点P’，即，P＝{p1’，p2’，p3’，p4’}，其中pk’＝(xk’，yk’)。基于P和P’，下一步就涉及到确定头部的动作，该动作由一个旋转矩阵R和一个平移矢量T表示出来。可以理解，一旦动作参数R和T被计算出来，所有匹配点的三维结构也可以被计算出来。然而，结构和平移之间仅存在一个固定比例，因此如果T的量值被固定了，那么结构只能被唯一地测定。如果在三维中一个点的深度被确定了，那么T也将被唯一地测定。正如上面所提到的那样，头部姿态测定算法是头部动作测定算法的一个特例，由两种方法可以实现头部姿态测定1)交互型，它需要一幅参考图像；2)近似型，它利用一个普通(平均生物统计学的)头部的几何学信息，也被称为普通头部模型(GHM)。对于交互型算法，需要进行下述步骤1)在使用这个系统之前，使用者需要在一个预先确定的参考位置面向照相机。按照上述的步骤获取参考眼睛和嘴角P0。2)当获取了一个新的图像以后，按照上述算法所述的剩余步骤检测出眼睛和嘴角，并且测定头部动作。3)头部旋转矩阵对应于头部姿态矩阵。近似型算法并不需要与使用者之间的交互，但是它假定对于所有使用者而言某些生物统计学信息是可得到的和确定的。例如，附图1中描述了近似型算法，它包括表示典型头部19的典型特征点在照相机坐标系20(表示为Cxyz系统)中的布局。在附图1中，点P1和P3分别代表了普通头部模型19中的眼睛和嘴角。如附图1所示，很容易理解对于正视图而言，这些点P1和P3有不同的深度(分别对应Z1和Z3)。假设角度τ已知，并且在所有可能的人类头部上使用平均值。这并不是一个确切的值，但是精确地计算出这个斜度(倾斜)角是非常困难的，因为即使是同一个人在被要求直视照相机时，也会在重复试验中不同程度地歪斜头部。对于确定的角度τ，将基于仅仅一幅头部图像来唯一地测定头部姿态，这一点将在下文中更详细地加以解释。为了描述的目的，假定一台照相机或者数字图像捕获装置已经在不同位置获取了一个头部模型的两幅图像。让点p1，p2，p3和p4表示第一幅图像中的眼睛(点p1，p2)和嘴角(点p3，p4)的图像坐标，让点p1’，p2’，p3’和p4’表示第二幅图像中的眼睛和嘴角的图像坐标。已知这些特征点的坐标，那么任务就是确定在第一幅和第二幅两幅图像间的头部动作(由旋转和平移表示)。通常，该算法按下述步骤进行1)使用面部约束，计算两幅图中特征点的三维(3-D)坐标，2)已知特征点的三维位置，计算动作参数(旋转矩阵R和平移矩阵T)。下面将要描述本算法中计算特征点的三维坐标的步骤。正如在附图2中的面部几何图形10所表示的那样，点p1，p2，p3，p4和p1’，p2’，p3’，p4’的特征分别表示出在首两幅图像中眼睛和嘴角的三维坐标。对于附图2中所示的面部几何图形，假设下面的性质1)连接点p1，p2的线段12平行于连接点p3，p4的线段15，即p1p2//p3p4；2)连接点p1，p2的线段12垂直于连接点p5，p6的线段(其中p5，p6分别是线段p1p2和p3p4的中点)。在数值上，性质1和性质2可以分别根据下面的方程(1)和方程(2)写出x2-x1x4-x3=Y2-Y1Y4-Y3=Z2-Z1Z4-Z3----(1)]]>((P1+P2)-(P3+P4))·(P2-P1)＝0(2)Pi＝T表示一个图像点Pi的三维坐标。图像和任意一点Pk的三维坐标之间的关系由下述公知的投影方程给出。xk=XkZk,yk=YkZk----(3)]]>由于众所周知，单目图像系列的结构复原仅按照一个比例执行，一个本文档来自技高网...

【技术保护点】
一种根据面部特征数据执行头部动作测定的线性方法，该方法包括如下步骤：－获取第一幅面部图像，并在上述第一幅图像中检测头部；检测上述的第一幅面部图像（１０）的四个点Ｐ的位置，其中Ｐ＝｛ｐ↓［１］，ｐ↓［２］，ｐ↓［３］，ｐ↓［４］｝，并 且ｐ↓［ｋ］＝（ｘ↓［ｋ］，ｙ↓［ｋ］）；－获取第二幅面部图像，并且在上述第二幅图像中检测头部；－检测上述第二幅面部图像的四个点Ｐ’的位置，其中Ｐ’＝｛ｐ↓［１］’，ｐ↓［２］’，ｐ↓［３］’，ｐ↓［４］’｝，并且ｐ↓［ｋ］ ’＝（ｘ↓［ｋ］’，ｙ↓［ｋ］’）；并且，－利用上述点Ｐ和Ｐ’来确定头部的动作，该动作由旋转矩阵Ｒ和平移矢量Ｔ表示。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M特拉科维，V菲尔洛明，SVR古特塔，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]