发音器官的网格动画生成方法技术

本发明专利技术提供了一种发音器官动画生成方法，包括：发音器官运动关键点的定义，各发音器官的中矢状面的二维网格的生成，发音器官纹理贴图，基于薄板样条的网格运动计算。本发明专利技术由发音器官运动关键点的位置，推算出发音器官中矢状面的形状，进而可以由发音器官运动关键点的运动，直接得到整个发音器官在中矢状面的运动情况，其优势在于简化的发音器官运动的描述参数，降低了发音器官动画制作的难度。

【技术实现步骤摘要】
发音器官的网格动画生成方法
本专利技术涉及发音器官运动重现技术，尤其涉及一种发音器官的网格动画生成方法。
技术介绍
发音器官运动重现是发音器官建模和发音机理研究的重要内容，发音器官的网格动画生成方法简化了发音器官的运动描述的复杂度，因而提供了一种可实现的基于关键点运动数据的发音器官运动重建方法。它能够通过从人身上采集而来或者通过机理分析获得的发音器官运动关键点的运动情况重建出整个发音器官的协同运动情况，其成果对于发音机理的研究，发音器官发声障碍的诊断和治疗以及人机交互领域有重要意义。目前已有的发音器官运动重现技术中，一种是基于影像学的方法，通过从人体采集的影像学数据，如光学图像，核磁共振影像，X光影像，超声成像等，得到特定人的发音器官形状及运动情况，该方法成本很高，由影像获得完整的发音器官模型及其运动过程需要经过复杂的计算，且获得的人体发音器官形状和运动情况针对特定人；另一种方法是通过对发音器官建立生物物理模型，通过对发音器官的器官构造尤其是肌肉结构，分析发音时器官的受力情况，进而重建出发音器官的运动，使用该方法对解剖学和生物力学的理论水平要求很高，且计算量较大，不适合一般应用。
技术实现思路
(一)要解决的技术问题为解决上述的一个或多个问题，本专利技术提供了一种发音器官网格动画生成方法。(二)技术方案根据本专利技术的一个方面，提供了一种发音器官网格动画生成方法，包括发音器官运动关键点的定义，各发音器官中矢状面的二维网格的生成，发音器官纹理贴图，基于薄板样条的网格运动计算。其中，在发音器官运动关键点的定义步骤中，根据发音器官动画的需要，在人体的唇和舌头上指定了运动关键点；在发音器官中矢状面的二维网格生成步骤中，以发音器官运动关键点为部分网格点，同时根据发音器官的形状，补充其他的网格点，并利用进行三角划分得到能够描述发音器官在中矢状面的形状和运动的网格；基于薄板样条的网格运动的计算是利用薄板样条方法，由运动关键点的运动情况计算出所有网格点的运动情况，进而得到整个发音器官网格的运动；在发音器官纹理贴图步骤中，将发音器官中矢状面的纹理映射在建立好的二维网格上。(三)有益效果从上述技术方案可以看出，本专利技术发音器官网格动画生成方法具有以下有益效果：(1)本专利技术发音器官网格动画生成方法是通过发音器官关键点的运动直接驱动发音器官网格模型运动的方法，在网格模型建立好之后，除关键点运动数据之外不需要其他数据的辅助，而能够直接得到完整的运动情况；(2)本专利技术发音器官网格动画生成方法，具有模型复杂度低，计算量小的优点，它能够实现实时的网格动画生成。附图说明图1为本专利技术实施例发音器官网格动画生成方法示意图；图2为本专利技术实施例发音器官网格动画生成方法发音器官关键点定义示意图；图3为本专利技术实施例发音器官网格动画生成方法中舌中矢状面的二维网格示意图；图4为本专利技术实施例发音器官网格动画生成方法中上唇中矢状面的二维网格示意图；图5为本专利技术实施例发音器官网格动画生成方法中下唇中矢状面的二维网格示意图；图6为本专利技术实施例发音器官网格动画生成方法中下颌中矢状面的二维网格示意图；图7为本专利技术实施例发音器官网格动画生成方法中软腭中矢状面的二维网格示意图；图8为本专利技术实施例发音器官网格动画生成方法中基于薄板样条的网格运动控制方法的示意图；图9为本专利技术实施例发音器官网格动画生成方法中发音器官纹理贴图的示意图；图10为本专利技术实施例发音器官网格动画生成方法中发音器官纹理贴图在运动中的示意图；【主要元件符号说明】五角星点-发音器官运动关键点方形点-发音器官刚体运动网格点圆形点-发音器官非刚体运动网格点具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属
中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是在可接受的误差容限或设计约束内近似于相应的值。本专利技术发音器官二维网格动画生成技术中，可由预先定义的一组发音器官运动关键点的运动情况，得到整个发音器官中矢状面网格模型的运动。在本专利技术的一个示例性实施例中，提供了一个发音器官网格动画生成方法，如图1所示，其中首先根据发音器官关键点的定义，由医学影像或通过发音机理分析得到的发音器官运动信息中，得到发音器官关键点的运动，根据发音器官关键点的运动，使用基于薄板样条的映射方法计算出发音器官网格的其他网格点的运动情况，再根据三角划分，将发音器官中矢状面的贴图映射在三角网格模型上，得到完整的发音器官中矢状面的运动动画。以下分别对本实施例发音器官网格动画生成方法的各个步骤进行详细说明。(步骤1：获取发音器官关键点的运动状况)步骤1.1：发音器官关键点的确立发音器官运动关键点共有7个，由人为指定，其位置如图2中的五角星标记所示，所有的发音器官运动关键点位于人头的中矢状面，其中，舌部具有三个关键点，分别是点1、点2、点3，点1位于舌尖，第二位于舌面上舌尖后2-3cm处，点3位于舌面上舌尖后5-7cm处；唇部有两个关键点，分别是点4、点5，点4位于上唇际线处，点5位于下唇际线处；下巴上有一个关键点，即点6，位于下巴向前突起处，软腭处有一个关键点，即点7，位于软腭表面悬雍垂向上1cm左右处。这7个关键点的运动在包含了绝大部分发音器官运动信息的同时，还能够被医学影像设备或三维运送捕捉设备记录。其位置随着不同人的发音器官形状和大小会有些微差别。步骤1.2：获取发音器官关键点的运动状况预先由医学影像或通过发音机理分析而得到发音器官运动信息，建立发音器官运动关键点在静止时及进行发音运动时的运动状况的数据库，通过对照数据库而得出发音器官运动关键点的运动状况。(步骤2：发音器官二维网格的生成)步骤2.1：插补网格点的确定多个插补网格点位于舌部、唇部、下巴及软腭上，对于唇部、下巴及软腭，各个插补网格点以相近的距离均匀的分布于上述各个器官的边缘，并尽量使得插补点位于对于表面弯曲程度较大处，对于舌部，除均匀的分布在舌部表面之外，还接近均匀的分布在舌部的内部组织上。插补网格点包括刚体运动网格点和非刚体运动网格点，其中刚体运动网格点如图3到图8中方形标记所示，非刚体运动网格点如图3到图8中圆点标记所示。图3到图8中所示的刚体运动网格点是刚体运动网格点的最少情况，即至少需包含这些点以满足动画需要，对于一些对动画精细度要求较高的场合，可沿着各个器官边缘在这些刚体运动网格点之间插入更多的刚体运动网格点。图4到图8中，位于上唇的两个点、下唇的两个点以及软腭处的四个点是相应器官非刚体运动网格点的最少情况，即至少需包含这些非刚体运动网格点。对于对动画精度要求较高的场合，可沿着各个器官边缘在这些点与临近的网格点之间插入更多的非刚体运动网格点。图3和图8中，位于舌部的非刚体运动网格点，是舌部的一个一般表示，舌表面的非刚体运动网格点呈均匀分布(需隔开运动关键点)，其间隔的大小需根据精度需要确定但一般不少于9个，舌内部划分为一个三层结构，在中心定义一个非刚体运动网格点(该中心点的位置要求并不严格，可由表面所有本文档来自技高网...

【技术保护点】
一种发音器官的网格动画生成方法，包括：发音器官运动关键点定义步骤，在人体的包括发音器官和面部在内的中矢状面上针对多个发音器官指定多个发音器官运动关键点；运动状况确定步骤，在人体进行特定发音运动时，通过对照表示发音器官运动关键点在静止时及进行发音运动时的运动状况的数据库而得出多个所述发音器官运动关键点的运动状况；二维网格生成步骤，以多个所述发音器官运动关键点为一部分网格点，同时根据各个所述发音器官的形状，为该发音器官补充相应的插补网格点，从而以由多个所述发音器官运动关键点和所述插补网格点构成的所有网格点为基础，在中矢状面对各所述发音器官进行三角划分，得到用于描述各所述发音器官在中矢状面的形状的三角网格模型；网格运动计算步骤，根据所述运动状况确定步骤中得到的多个所述发音器官运动关键点的运动状况，基于所述二维网格生成步骤中所得到的所述三角网格模型来计算所有网格点的运动状况，进而得到各个发音器官的三角网格模型的网格运动状况；以及发音器官纹理贴图步骤，按照各发音器官在中矢状面的图片能根据网格的运动而发生相应的形变的方式将该图片的纹理映射到通过所述二维网格生成步骤而得到的三角网格模型上；以及动画重建步骤，根据在所述网格运动计算步骤中得到的各个所述发音器官的所述三角网格模型的网格运动状况，对进行纹理贴图后的各所述发音器官的运动动画进行重建。...

【技术特征摘要】
1.一种发音器官的网格动画生成方法，包括：发音器官运动关键点定义步骤，在人体的包括发音器官和面部在内的中矢状面上针对多个发音器官指定多个发音器官运动关键点；运动状况确定步骤，在人体进行特定发音运动时，通过对照表示发音器官运动关键点在静止时及进行发音运动时的运动状况的数据库而得出多个所述发音器官运动关键点的运动状况；二维网格生成步骤，以多个所述发音器官运动关键点为一部分网格点，同时根据各个所述发音器官的形状，为该发音器官补充相应的插补网格点，从而以由多个所述发音器官运动关键点和所述插补网格点构成的所有网格点为基础，在中矢状面对各所述发音器官进行三角划分，得到用于描述各所述发音器官在中矢状面的形状的三角网格模型；网格运动计算步骤，根据所述运动状况确定步骤中得到的多个所述发音器官运动关键点的运动状况，基于所述二维网格生成步骤中所得到的所述三角网格模型来计算所有网格点的运动状况，进而得到各个发音器官的三角网格模型的网格运动状况；以及发音器官纹理贴图步骤，按照各发音器官在中矢状面的图片能根据网格的运动而发生相应的形变的方式将该图片的纹理映射到通过所述二维网格生成步骤而得到的三角网格模型上；以及动画重建步骤，根据在所述网格运动计算步骤中得到的各个所述发音器官的所述三角网格模型的网格运动状况，对进行纹理贴图后的各所述发音器官的运动动画进行重建。2.根据权利要求1所述的发音器官的网格动画生成方法，其中，多个所述发音器官运动关键点位于舌部、唇部、下巴及软腭上，多个插补网格点位于舌部、唇部、下巴及软腭上，对于唇部、下巴及软腭，各个插补网格点以相近的距离均匀地分布于上述各个发音器官的边缘。3.根据权利要求2所述的发音器官的网格动画生成方法，其中，对于所述舌部，所述多个插补网格点除均匀地分布在所述舌部表面之外，还大致均匀地分布在舌部的内部组织上。4.根据权利要求1所述的...

【专利技术属性】
技术研发人员：陶建华，杨明浩，李昊，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11