【技术实现步骤摘要】
本专利技术涉及知识图谱、图像处理，特别是涉及一种三维人脸动画自动生成方法、装置、介质及产品。
技术介绍
1、尽管当前的面部化身生成方法在追求真实和情感丰富的数字表示时面临诸多技术挑战。传统方法多基于固定的3d形态模型或简单的表情参数化方法，虽然能够生成基本的面部形态和表情变化，但在细腻的情感表现和动态捕捉方面表现不佳。由于这些方法缺乏对面部肌肉复杂运动的精确模拟，生成的化身通常显得僵硬、不自然，无法与人类表达的丰富情感相匹配。
2、尤其是在面部表情的细微差异捕捉方面，现有技术存在显著不足。例如，虽然某些方法能够生成微笑或大笑的面部表情，但它们往往无法区分这些表情中不同强度和情感层次的差异。一个微笑和一个灿烂的笑容虽然都传达了开心的情感，但其背后涉及到不同的面部肌肉参与程度和动态变化。无法准确捕捉这些细微差别，会导致化身在表达复杂情感时显得不真实，从而影响用户的沉浸感和交互体验。
3、此外，现有方法在面部化身的唇部同步和面部表情的一致性方面也存在挑战。驱动视频中的唇部运动和表情之间往往存在时间上的差异和不匹配，导致生成的化身无法与实际视频中的面部表情同步。这种不一致性不仅削弱了化身的表现力，还破坏了用户与化身之间的情感共鸣，降低了数字化身的整体可信度。
4、更进一步的挑战在于如何在面部化身生成过程中保持个体身份特征的独特性。随着面部表情和情感的变化，保持化身与原始个体身份特征的一致性变得越来越困难。现有方法常常在生成不同表情时失去了对身份特征的精确把控，导致生成的化身无法准确反映个体的真实外貌和
5、因此，如何突破这些技术瓶颈，开发出能够精准捕捉人类面部表情动态、维持个体身份一致性、并实现高质量唇部同步的面部化身生成方法，成为当前研究领域的一个重要课题。通过解决这些问题，可以大大提升虚拟现实、游戏和在线通信中面部化身的真实性和表现力，进而增强用户体验，推动相关技术的发展。
技术实现思路
1、本专利技术的目的是提供一种三维人脸动画自动生成方法、装置、介质及产品，能够解决现有技术在面部化身生成领域中的局限性，实现高度逼真且具有丰富情感表达的数字化人类面部化身。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种三维人脸动画自动生成方法，所述方法包括：
4、获取所述待生成人脸动画图像的情感标签，并应用语言模型将所述情感标签转换为文本描述，应用提示适配器模块将所述情感标签转换为情感特征；所述提示适配器模块包括clip模型和多层感知器；
5、根据所述待生成人脸动画图像的先验知识，应用面部编码器获取所述待生成人脸动画图像的面部特征；
6、获取所述待生成人脸动画图像的面部几何数据，并将所述文本描述、所述情感特征、所述面部特征和所述面部几何数据进行融合，得到所述待生成人脸动画图像的面部数字化身；
7、应用点云操作技术对所述面部数字化身进行调整，并对调整后的所述面部数字化身进行渲染，得到所述待生成人脸动画图像的最终数字化身。
8、可选地，应用语言模型将所述情感标签转换为文本描述，表示为：
9、demotion＝fchatgpt(e)；
10、其中，e为情感标签；demotion为文本描述；fchatgpt应用语言模型chatgpt进行的数据处理过程。
11、可选地，应用提示适配器模块将所述情感标签转换为情感特征，表示为：
12、demotion＝mlp(pij)；
13、(vi,pij)＝(gclip(ei),hclip(vi,cj))；
14、其中，demotion为情感特征；mlp为多层感知机；vi为第i个情感标签ei映射的嵌入向量；pij为第i个情感标签ei对应的第j个详细文本提示；gclip为clip模型中将情感标签ei映射为嵌入向量的映射函数；hclip为clip模型中使用嵌入向量vi和上下文向量cj生成详细文本提示的语言生成函数；cj为生成详细文本提示时使用的上下文向量。
15、可选地，根据所述待生成人脸动画图像的先验知识，应用面部编码器获取所述待生成人脸动画图像的面部特征，具体包括：
16、通过flame模型获取所述待生成人脸动画图像的标准面部特征；所述标准面部特征包括姿态和表情；
17、应用所述面部编码器对所述标准面部特征进行编码，得到所述待生成人脸动画图像的面部特征。
18、可选地，应用所述面部编码器对所述标准面部特征进行编码，表示为：
19、ginitial＝faceencoder(β,α)；
20、其中，ginitial为所述待生成人脸动画图像的面部特征faceencoder为面部编码器；α为表情参数；β为姿态参数。
21、可选地，将所述文本描述、所述情感特征、所述面部特征和所述面部几何数据进行融合，表示为：
22、
23、其中，为所述待生成人脸动画图像的面部数字化身；为输入线性层mod的面部特征；ginitial为所述面部几何数据；demotion为所述文本描述和所述情感特征。
24、可选地，应用点云操作技术对所述面部数字化身进行调整，具体包括：
25、p′＝deformrender(p,e,demotion)；
26、其中，p为所述面部数字化身的初始点云；p′为调整后的所述面部数字化身；e为情感标签；demotion为所述文本描述和所述情感特征；deformrender为对点云进行渲染。
27、一种计算机装置，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述任一项所述的三维人脸动画自动生成方法。
28、一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述的三维人脸动画自动生成方法。
29、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项所述的三维人脸动画自动生成方法。
30、根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
31、本专利技术公开了一种三维人脸动画自动生成方法、装置、介质及产品，明采用点云数据及分层文本提示知识增强，通过分层结构捕捉并表达情感，从广义类别到细微变化，生成具有高度表现力和真实性的数字人类表示；将大型语言模型与最先进的神经网络架构结合，解析并翻译文本提示为对应的面部表情、唇部运动模式及个体身份特征，确保生成的化身在广泛情感范围内保持独特身份，提供高度真实且一致的表现。通过广泛的比较评估，在生成细腻、真实且个性化的面部动画方面表现出显著优越性，开创了面部化身生成的新标准，为更具沉浸感和互动性的虚拟体验铺平了道路。
本文档来自技高网...【技术保护点】
1.一种三维人脸动画自动生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，应用语言模型将所述情感标签转换为文本描述，表示为：
3.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，应用提示适配器模块将所述情感标签转换为情感特征，表示为：
4.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，根据所述待生成人脸动画图像的先验知识，应用面部编码器获取所述待生成人脸动画图像的面部特征，具体包括：
5.根据权利要求4所述的三维人脸动画自动生成方法，其特征在于，应用所述面部编码器对所述标准面部特征进行编码，表示为：
6.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，将所述文本描述、所述情感特征、所述面部特征和所述面部几何数据进行融合，表示为：
7.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，应用点云操作技术对所述面部数字化身进行调整，具体包括：
8.一种计算机装置，包括：存储器、处理器以存储在存储器上并可在处理器上运
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述三维人脸动画自动生成方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述三维人脸动画自动生成方法。
...【技术特征摘要】
1.一种三维人脸动画自动生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，应用语言模型将所述情感标签转换为文本描述，表示为：
3.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，应用提示适配器模块将所述情感标签转换为情感特征，表示为：
4.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，根据所述待生成人脸动画图像的先验知识，应用面部编码器获取所述待生成人脸动画图像的面部特征，具体包括：
5.根据权利要求4所述的三维人脸动画自动生成方法，其特征在于，应用所述面部编码器对所述标准面部特征进行编码，表示为：
6.根据权利要求1所述的三维人脸动画自动生成方法，其特征在于，将所述文...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。