本发明专利技术公开了一种基于运动捕捉数据的人脸表情重定向和动画算法。通过建立一个基于测地距的径向基函数人脸表情的重定向模型，实现了从运动捕捉数据空间到目标人脸模型运动空间的转换，在转换的过程中考虑了人脸网格的结构，着重解决了使用径向基函数进行空间转换过程中全局性问题。在人脸表情动画阶段，利用了空间转换的结果，使用基于测地距径向基函数的人脸变形模型，对运动数据进行插值，获取整个模型的变形结果。本发明专利技术可将同一个捕捉序列应用到不同的人脸模型，模型转换比较容易，同时针对不同的捕捉序列也可用于同一个目标模型，实现了运动捕捉数据的重用，同时也具有较强的动画真实感。
【技术实现步骤摘要】
本专利技术涉及，属于图像处理
技术介绍
近年来，随着动漫产业、三维游戏及三维影视制作等领域的发展，计算机人脸表情动画技术得到了广泛的关注。人脸表情动画主要研究如何在计算机中真实地模拟人脸表情变化。面部表情是人们之间信息交流的ー种方式，通过表情的变化也可以判断出人们的感情状态。在数字娱乐领域，特别是 在影视和游戏制作中，人脸表情动画发挥着举足轻重的作用。此外，在视频会议、计算机辅助教学、虚拟现实、人机交互界面设计及心理学等领域，人脸表情动画的相关研究和应用也越来越吸引人们的注意。因此，提高人脸表情动画制作的效率，增强动画的真实感，降低动画制作的成本，对于推动整个数字娱乐产业的发展，促进国家文化产业的进步和国民经济增长具有现实意义。人脸是ー个生理结构及其精细的组织，复杂的肌肉收缩可以产生细微的表情变化。同时，人们很容易感知到不自然的表情。这样，要制作真实感的人脸表情动画常常需要技术娴熟的专业动画制作人员花费大量的时间。运动捕捉技木通过粘贴在表演者体表或面部的标记点来记录其相应位置的运动信息，这些运动信息可以被用于驱动其他的计算机合成的虚拟模型产生类似的动作或者表情变化。基于运动捕捉的人脸表情动画通过重用表演者的表情运动数据，使其他的虚拟模型产生真实感的表情。数据的重用节约了动画制作的成本,而且数据是来自真实的表情运动,也增加了动画的真实感。为了使计算机合成的虚拟模型利用捕捉的表情运动数据产生表情，需要解决两个方面的问题首先，由于捕捉模型和最終的目标动画模型不是同一个模型，相应的表情运动也不属于同一个坐标空间，为了使目标模型产生相似的表情，需要对原始的运动空间进行转换，即将原始表情重定向到目标模型，实现从原始人脸模型的运动空间到目标人脸模型的运动空间的转换。很多学者就该问题也提出了许多解决办法，其中比较常用的是径向基函数(Radical basis functions,径向基函数)方法。径向基函数方法是ー种全局的插值方法，但是人脸是ー个具有开放区域的特殊结构，特别是在眼睛和嘴部区域，运动存在不连续的情况。这样，在使用全局的径向基函数方法将原始模型的运动重定向到目标模型时，忽略了人脸特殊的网格结构，使得求解出的目标模型的运动产生错误，利用这样的运动信息驱动目标人脸必然使模型的运动失真，产生不自然的表情。其次，使用运动捕捉技术得到的只是原始人脸模型上稀疏的标记点的运动信息，通过重定向方法得到是目标人脸模型上相应标记点的运动情況，而计算机合成的目标人脸模型上至少有上千个顶点，如何利用少量的标记点运动变形整个人脸模型产生表情动画是ー个重要的问题。不少学者也提出了各种动画方案，其中，基于物理模型的方法，通过建立一个人脸的仿生模型，利用动力学方程使得人脸模型产生动画，但是由于人脸结构的复杂性，该方法的建模难度比较大，并且很难实现表情的重定向。形状融合方法，将人脸表情看作是关键表情的加权和，只要找到关键表情和表情融合的权重就可使目标ホ旲型广生表情动画。这种方法可以产生真实的人脸动画，但是需要大量的表情来构建关键表情，而且动画的质量依赖于融合权重的求解。此外，使用径向基函数方法对标记点进行插值求解其余顶点的运动也比较常见，径向基函数方法的优点是运算量比较小，能够满足实时动画的效率要求。径向基函数方法通过标记点和顶点之间的关联求解顶点运动，这种关联是通过它们之间的欧式距离来反应的，一般距离越小，顶点受到标记点的影响就越大。但是，在实际的人脸表情运动中，并不是所有顶点都是这样，特别是在嘴唇张开时，上下嘴唇上的运动是没有关联的。这样，仅仅根据欧式距建立 的这种关联是不正确的，最終得到的动画质量也难以保证。
技术实现思路
为了克服上述的不足，本专利技术的目的在于提供Equation Chapter ISection I，该方法通过使用基于测地距的径向基函数方法，着重解决人脸表情重定向过程中的空间转换问题和动画过程中的变形问题，从而有效避免了动画过程中的失真情况，并且该方法相对简单，计算量较小，可以有效地保证动画的效率。本专利技术采取的技术方案如下第一歩首帧运动捕捉数据的预处理，其包括以下3个步骤步骤I :导入ー个表情运动捕捉序列，提取首帧运动捕捉序列，对首帧序列中的标记点位置进行三角剖分，形成一个首帧序列的三角网格；步骤2 :根据人脸的语义特征，在首帧序列的三角网格中，去除眼睛及嘴部区域的伪关联；步骤3 :依据去除伪关联后的首帧序列的三角网格中标记点之间的关联，求解标记点之间的测地距；第二步构建表情运动重定向模型；建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，其可以表示如下m, = Σ wZザ(I I Pf — P0J I Igeo ) + iIiP0i ),所述ズ是首巾贞运动捕捉序列中的标记点的空间坐标(X^ypZi);所述Xi, Yi和Zi的単位均为毫米；Ilズ-パIU是首帧序列中两个标记点之间的测地距，所述测地距单位是毫米％是待求的权值系数；n是标记点的个数，所述η是ー个整数，根据初始设置的标记点个数其值为60 是目标人脸模型上第i个标记点的空间坐标(Xi^pZi);所述Xi，Yi和Zi的単位均为毫米，I彡i，j彡n;g(/)是ー个多项式，其是ー个仿射变换，在求解公式 η =2>,#(|| pf -p] IU) + 9(ズ)组成的线性系统时，同时计算该多项式项权利要求1.，其特征在于 第一歩首帧运动捕捉数据的预处理，其包括以下3个步骤 步骤I :导入一个表情运动摘捉序列，提取首巾贞运动摘捉序列，对首巾贞序列中的标记点位置进行三角剖分，形成一个首帧序列的三角网格； 步骤2:根据人脸的语义特征，在首帧序列的三角网格中，去除眼睛及嘴部区域的伪关联； 步骤3 :依据去除伪关联后的首帧序列的三角网格中标记点之间的关联，求解标记点之间的测地距； 第二步构建表情运动重定向模型； 建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，其可以表示如下全文摘要本专利技术公开了一种基于运动捕捉数据的人脸表情重定向和动画算法。通过建立一个基于测地距的径向基函数人脸表情的重定向模型，实现了从运动捕捉数据空间到目标人脸模型运动空间的转换，在转换的过程中考虑了人脸网格的结构，着重解决了使用径向基函数进行空间转换过程中全局性问题。在人脸表情动画阶段，利用了空间转换的结果，使用基于测地距径向基函数的人脸变形模型，对运动数据进行插值，获取整个模型的变形结果。本专利技术可将同一个捕捉序列应用到不同的人脸模型，模型转换比较容易，同时针对不同的捕捉序列也可用于同一个目标模型，实现了运动捕捉数据的重用，同时也具有较强的动画真实感。文档编号G06T13/40GK102855652SQ20121028473公开日2013年1月2日 申请日期2012年8月10日 优先权日2012年8月10日专利技术者魏小鹏, 张强, 李蓓蓓 申请人:大连大学本文档来自技高网...
【技术保护点】
基于测地距的径向基函数人脸表情重定向与动画方法，其特征在于：第一步：首帧运动捕捉数据的预处理，其包括以下3个步骤：步骤1：导入一个表情运动捕捉序列，提取首帧运动捕捉序列，对首帧序列中的标记点位置进行三角剖分，形成一个首帧序列的三角网格；步骤2：根据人脸的语义特征，在首帧序列的三角网格中，去除眼睛及嘴部区域的伪关联；步骤3：依据去除伪关联后的首帧序列的三角网格中标记点之间的关联，求解标记点之间的测地距；第二步：构建表情运动重定向模型;建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，其可以表示如下所述是首帧运动捕捉序列中的标记点的空间坐标(xi,yi,zi)；所述xi，yi和zi的单位均为毫米；是首帧序列中两个标记点之间的测地距，所述测地距单位是毫米；wj是待求的权值系数；n是标记点的个数，所述n是一个整数，根据初始设置的标记点个数其值为60；是目标人脸模型上第i个标记点的空间坐标(xi,yi,zi)；所述xi，yi和zi的单位均为毫米，1≤i,j≤n；是一个多项式，其是一个仿射变换，在求解公式组成的线性系统时，同时计算该多项式项：若将上述线性系统写成如下矩阵形式：M=Φ·W,所述M∈Rn+3，3是目标人脸模型上标记点的空间位置矩阵，Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵，所述权值矩阵W通过公式下式求出,W=Φ？1M,通过上述权值矩阵的求解公式，得到了首帧序列标记点与目标人脸模型上标记点之间的映射关系,对于第k帧捕捉序列,将公式M＝Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度，即帧长度；从而可以求得当前帧目标人脸模型上标记点的位置矩阵M；第三步：基于测地距的径向基函数目标人脸表情动画模型，其有以下几个步骤：步骤1：在目标人脸模型上搜索与每个标记点空间上最匹配的顶点，由于目标模型上的标记点是依据原始人脸模型上标记点的位置手动设定的，它与目标人脸模型上的顶点没有直接的关联，在求解目标人脸模型上标记点与顶点之间的测地距之前，要保证所有标记点与顶点在同一个网格上,并且顶点与面片之间的关系已经建立；步骤2：预计算目标人脸模型上顶点和标记点之间的测地距是目标人脸模型上第i个顶点的空间坐标(xi,yi,zi)，所述xi，yi和zi的单位均为毫米；m′j是目标人脸模型上与第j个标记点最匹配的顶点的空间坐标(xj,yj,zj),所述xj,yj和zj的单位均为毫米；为了保证动画的效率,可以进一步预计算目标人 脸模型上标记点和顶点之间的径向函数信息并且所述r为经验值,r=0.375；所述目标人脸模型上标记点之间的径向基函数信息可先行计算，以便于实时求解每一帧的径向基权值矩阵,这里标记点之间的距离是欧式距离；步骤3：针对每一帧的运动数据,在目标人脸模型标记点和当前帧标记点的位移之间构建一个径向基函数训练模型,求解出每一帧的径向基权值矩阵W=Φ？1M,Φ使用步骤2中预计算标记点之间的径向基函数以减少实时运算的消耗,M为每一帧目标人脸模型上标记点的位移矩阵，这里的位移是第二步求解出的当前帧标记点的空间位置与目标人脸模型标记点的空间位置的差值；步骤4：利用下面的公式建立一个变形模型所述是第k帧运动序列中第i个顶点的位移,该位移用一个三维坐标表示,其中和的单位都是毫米，是步骤2中预计算的目标人脸模型标记点和顶点之间的径向函数信息,是根据步骤3求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数；步骤5：利用下面的公式求出每一帧目标人脸模型上每个顶点的位置vi=vik+vi0,所述是目标人脸模型上第i个顶点在初始状态,即静止时的空间位置；是步骤4求得的第k帧运动序列中第i个顶点的位移,vi就是第k帧运动序列中第i个顶点的空间位置；对于一个运动捕捉序列,重复步骤3到步骤5,即可求 出目标人脸模型上每一帧每个顶点的位置,实时更新每个顶点的空间坐标位置就可产生人脸表情动画。FDA00001997793800011.jpg,FDA00001997793800012.jpg,FDA00001997793800013.jpg,FDA00001997793800014.jpg,FDA00001997793800015.jpg,FDA00001997793800016.jpg,FDA00001997793800021.jpg,FDA00001997793800022.jpg,FDA00001997793800023.jpg,FDA00001997793800024.jpg,FDA00001997793800025.jpg,FD...
【技术特征摘要】
【专利技术属性】
技术研发人员：魏小鹏，张强，李蓓蓓，
申请(专利权)人：大连大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。