一种动画处理方法和系统技术方案

本说明书实施例提供一种动画处理方法和系统，该方法包括获取预采集样本，预采集样本包括至少一段包含真实人脸数据的音视频；基于预采集样本，确定人脸模型的驱动参数；基于驱动参数驱动人脸模型，得到合成人脸动画。得到合成人脸动画。得到合成人脸动画。

【技术实现步骤摘要】
一种动画处理方法和系统


[0001]本说明书涉及计算机
，尤其涉及一种动画处理方法和系统。

技术介绍

[0002]基于音频驱动的三维人脸动画技术是人脸表情动画的实现方式中的研究热点，采用神经网络相关的技术，该方法的输入是音频信息，通过提取音频中的特征信息，来预测面部形变。在一些动画生成系统中，一个模块可以对原始语音提取特征并进行情感分类，另一个模块负责对内容特征进行提取，主要用以生成口型信息，合成时利用获得的情感标签和口型特征预测人脸动画参数，但是，带有噪声的情感语音会影响模型对于全局声学特征的提取，导致模型自动提取的情感可能产生错误，进而导致动画建模口型与声音无法吻合等问题。此外，在制作动画过程中，视频帧易存在异常，导致不同帧之间存在无法拟合、过渡不自然、个别缺陷等情况，影响用户观感。
[0003]为解决噪声对情感提取造成影响的问题，CN113393832A提供一种基于全局情感编码的虚拟人动画合成方法，该申请通过噪声编码器引入噪声影响，可以提升对实际环境噪声以及静音段弱噪声的抗噪性，但并没有涉及动画异常动作的校正
[0004]因此提供一种动画处理方法和系统，有助于制作动画过程中口型和语音同步以及动画的异常动作校正。

技术实现思路

[0005]本说明书实施例之一提供一种动画处理方法，所述方法由处理器执行，包括：获取预采集样本，所述预采集样本包括至少一段包含真实人脸数据的音视频；基于所述预采集样本，确定人脸模型的驱动参数；基于所述驱动参数驱动所述人脸模型，得到合成人脸动画。
>[0006]本说明书实施例之一提供一种动画处理系统，所述系统包括：获取模块，用于获取预采集样本，所述预采集样本包括至少一段包含真实人脸数据的音视频；确定模块，用于基于所述预采集样本，确定人脸模型的驱动参数；驱动模块，用于基于所述驱动参数驱动所述人脸模型，得到合成人脸动画。
[0007]本说明书实施例之一提供一种动画处理装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现上述实施例中任一项所述的动画处理方法。
[0008]本说明书实施例之一提供一种计算机可读存储介质，存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述实施例中任一项所述的动画处理方法。
附图说明
[0009]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进
行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
[0010]图1是本说明书一些实施例所示的动画处理方法的示例性流程图；
[0011]图2是根据本说明书一些实施例所示的编码参数确定模型的示例性示意图；
[0012]图3是根据本说明书一些实施例所示的确定人脸模型的驱动参数的示例性示意图；
[0013]图4是根据本说明书一些实施例所示的异常帧检测及修正的示例性流程图。
具体实施方式
[0014]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0015]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0016]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0017]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0018]本说明书实施例公开了一种动画处理系统。在一些实施例中，动画处理系统可以包括获取模块、确定模块以及驱动模块。在一些实施例中，动画处理系统可以集成在处理器中。
[0019]在一些实施例中，获取模块用于获取预采集样本，所述预采集样本包括至少一段包含真实人脸数据的音视频。
[0020]在一些实施例中，确定模块用于基于预采集样本，确定人脸模型的驱动参数。
[0021]在一些实施例中，确定模块可以用于从预采集样本中提取语音数据以及视频数据；基于语音数据，确定第一编码参数序列；基于视频数据，确定第二编码参数序列；基于第一编码参数序列以及第二编码参数序列，确定人脸模型的所述驱动参数。
[0022]在一些实施例中，确定模块可以基于第一编码参数序列与第二编码参数序列中每一帧对应的编码参数的比对结果，确定目标编码参数序列及其每一帧对应的编码参数的融合特征，融合特征包括编码参数为融合参数或非融合参数；基于目标编码参数序列中每一帧编码参数的融合特征，确定驱动参数。
[0023]在一些实施例中，驱动模块用于基于驱动参数驱动人脸模型，得到合成人脸动画。
[0024]在一些实施例中，动画处理系统可以包括修正模块。在一些实施例中，修正模块可以用于获取合成人脸动画中至少一个时间点的人脸动画合成帧；判断至少一个时间点的人脸动画合成帧是否存在异常；响应于存在至少一个异常帧，对合成人脸动画进行修正。
[0025]需要注意的是，以上对于动画处理系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。然而，这些修正和改变仍在本说明书的范围之内。
[0026]图1是根据本说明书一些实施例所示的动画处理方法的示例性流程图。
[0027]在一些实施例中，流程100可以由处理器执行。如图1所示，流程100包括下述步骤：
[0028]步骤110，获取预采集样本。
[0029]预采集样本是指预先采集的用于获取人脸模型的驱动参数的数据。例如，预采集样本包含视频、图片序列等。
[0030]在一些实施例中，预采集样本可以包括至少一段包含真实人脸数据的音视频。
[0031]音视频是指包括音频信息与视频信息的数据文件。真实人脸数据的音视频是指包含真实的人脸对应的视频信息、真实的人声音对应的音频信息的数据文件。例如，真实人脸数据的音视频可以包括录制人员说出任何语种的句子并伴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动画处理方法，所述方法由处理器执行，包括：获取预采集样本，所述预采集样本包括至少一段包含真实人脸数据的音视频；基于所述预采集样本，确定人脸模型的驱动参数；基于所述驱动参数驱动所述人脸模型，得到合成人脸动画。2.根据权利要求1所述的方法，其特征在于，所述基于所述预采集样本，确定人脸模型的驱动参数包括：从所述预采集样本中提取语音数据以及视频数据；基于所述语音数据，确定第一编码参数序列；基于所述视频数据，确定第二编码参数序列；基于所述第一编码参数序列以及所述第二编码参数序列，确定所述人脸模型的所述驱动参数。3.根据权利要求2所述的方法，其特征在于，基于所述第一编码参数序列以及所述第二编码参数序列，确定所述人脸模型的所述驱动参数包括：基于第一编码参数序列与第二编码参数序列中每一帧对应的编码参数的比对结果，确定目标编码参数序列及其每一帧对应的编码参数的融合特征，所述融合特征包括编码参数为融合参数或非融合参数；基于目标编码参数序列中每一帧编码参数的融合特征，确定所述驱动参数。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述合成人脸动画中至少一个时间点的人脸动画合成帧；判断所述至少一个时间点的所述人脸动画合成帧是否存在异常；响应于存在至少一个异常帧，对所述合成人脸动画进行修正。5.一种动画处理系统，所述系统包括：获取模块，用于获取预采集样本，所述预采集样本包括至少一段包含真实人脸数据的音视频；确定模块，用于基于所述预采集样本，确定人脸模型的驱动参数；驱动模块，用于基于所述...

【专利技术属性】
技术研发人员：翟彬彬，
申请(专利权)人：苏州超次元网络科技有限公司，
类型：发明
国别省市：