System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数字人面部资产生成方法、装置、电子设备及存储介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>鹏城实验室专利>正文

数字人面部资产生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41278685 阅读:19 留言:0更新日期:2024-05-11 09:30
本申请实施例提出的数字人面部资产生成方法、装置、电子设备及存储介质,首先,从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;然后,将至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;接下来,获取从特征图像中选取的第一目标图像;此外,获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数和第一目标图像得到第二目标图像;调整参数包括结构特征参数和面容特征参数;最后,基于第二目标图像,生成多个视角下的面部视角图像,并根据面部视角图像进行三维构建,得到数字人面部资产;能够降低数字人面部资产获取的技术门槛,提高个性化生成数字人面部资产的可控性和生成效率。

【技术实现步骤摘要】

本申请涉及图像处理,尤其涉及数字人面部资产生成方法、装置、电子设备及存储介质


技术介绍

1、数字人作为一种基于真实人类外貌、动作、表情和行为的高逼真虚拟化身,无论是作为用户的化身或人工智能的代理,都能够为用户提供真实、自然的交互。伴随虚拟现实(vr)、混合现实(mr)以及元宇宙的发展,用户对于个性化三维构建的数字人有了更高的追求。而在数字人的个性化三维构建中,其核心是脸部的三维构建。

2、在相关技术中,数字人三维脸部的个性化生成是在通用的三维面部模型上进行调节以个性化地生成目标三维脸部。但是这种个性化生成方法每调节一个参数实质上就需要进行相应的三维建模,而为了满足用户的个性化需求,通常需要进行多次调节,因此花费较大的时间成本和运算成本,以造成生成效率较低。


技术实现思路

1、本申请实施例的提供了一种数字人面部资产生成方法、装置、电子设备及存储介质,能够提高个性化生成数字人三维脸部的生成效率。

2、为实现上述目的,本申请实施例的第一方面提出了一种数字人面部资产生成方法,所述方法包括:

3、从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;

4、将所述至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;

5、获取从所述特征图像中选取的第一目标图像;

6、获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像;所述调整参数包括结构特征参数和面容特征参数;

7、基于所述第二目标图像,生成多个视角下的面部视角图像,并根据所述面部视角图像进行三维构建,得到数字人面部资产。

8、在一些实施例,所述面容特征参数包括面容颜色参数和面容形状参数;所述获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像,包括:

9、获取结构修改数据,并从所述结构修改数据中得到结构特征点的移动位置,基于所述移动位置得到所述结构特征点的结构修改参数;所述结构修改参数用于对所述第一目标图像的第一区域进行结构调节;

10、获取针对面容颜色进行修改的面容颜色参数,并从所述面容颜色参数中得到颜色修改范围和颜色属性;所述面容颜色参数用于根据所述颜色属性对所述第一目标图像的所述颜色修改范围进行颜色调节;

11、获取针对面容形状进行修改的面容形状参数;所述面容形状参数用于对所述第一目标图像的第二区域进行形状调节;

12、从所述结构修改参数、所述面容颜色参数和所述面容形状参数中选取至少一个目标修改参数,基于所述目标修改参数对所述第一目标图像进行调节,得到所述第二目标图像。

13、在一些实施例,所述根据所述面部视角图像进行三维构建,得到数字人面部资产,包括:

14、从每个所述面部视角图像中提取所述结构特征点和轮廓线信息;

15、利用所述结构特征点和所述轮廓线信息进行曲面重建,生成初始面部三维模型;

16、获取预设表情模式,并根据所述预设表情模式和所述初始面部三维模型生成多个目标面部三维模型;

17、基于所述面容特征参数获取面部纹理数据,并将所述面部纹理数据映射到所述目标面部三维模型中,得到所述数字人面部资产。

18、在一些实施例,所述脸部特征包括:特征名称、特征值和特征权重;所述从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征,包括:

19、从所述脸部描述信息中获取预先设定的所述特征名称的所述特征值和所述特征权重;

20、若所述脸部描述信息中不包括所述特征名称,则将默认特征值作为所述特征名称的所述特征值,将默认特征权重作为所述特征名称的所述特征权重;

21、将所述特征名称、对应的所述特征值和所述特征权重作为所述脸部特征。

22、在一些实施例,所述获取从所述特征图像中选取的第一目标图像,包括:

23、响应于重新生成请求,利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成,得到至少一张更新特征图像;

24、从所述更新特征图像中选取所述第一目标图像。

25、在一些实施例,所述重新生成请求包括:重新生成指令和指示指令;所述响应于重新生成请求,利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成,得到至少一张更新特征图像,包括:

26、根据所述指示指令得到特征调节范围;

27、在所述特征调节范围内,调节所述脸部特征的所述特征值和/或所述特征权重,得到更新脸部特征;

28、根据所述脸部特征和所述更新脸部特征得到调节脸部特征;

29、利用所述调节脸部特征在所述图像生成模型中进行图像生成,得到所述更新特征图像。

30、在一些实施例,所述获取对所述第一目标图像进行参数调整的至少一个调整参数,包括:

31、获取由历史面部资产确定的特征偏好数据;

32、基于所述特征偏好数据得到所述结构特征参数和所述面容特征参数。

33、为实现上述目的,本申请实施例的第二方面提出了一种数字人面部资产生成装置,所述装置包括:

34、特征获取模块,用于从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;

35、特征图像生成模块,用于将所述至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;

36、图像获取模块,用于获取从所述特征图像中选取的第一目标图像;

37、参数调整模块,用于获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像;所述调整参数包括结构特征参数和面容特征参数;

38、资产生成模块,用于基于所述第二目标图像,生成多个视角下的面部视角图像,并根据所述面部视角图像进行三维构建,得到数字人面部资产。

39、为实现上述目的,本申请实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的数字人面部资产生成方法。

40、为实现上述目的,本申请实施例的第四方面提出了一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的数字人面部资产生成方法。

41、本申请实施例提出的数字人面部资产生成方法、装置、电子设备及存储介质,该方法通过首先,从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;然后,将至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;接下来,获取从特征图像中选取的第一目标图像;此外,获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数和第一目标图像得到第二目标图像;调整参数包括结构特征参数本文档来自技高网...

【技术保护点】

1.一种数字人面部资产生成方法,其特征在于,包括:

2.根据权利要求1所述的数字人面部资产生成方法,其特征在于,所述面容特征参数包括面容颜色参数和面容形状参数;所述获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像,包括:

3.根据权利要求2所述的数字人面部资产生成方法,其特征在于,所述根据所述面部视角图像进行三维构建,得到数字人面部资产,包括:

4.根据权利要求1所述的数字人面部资产生成方法,其特征在于,所述脸部特征包括:特征名称、特征值和特征权重;所述从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征,包括:

5.根据权利要求4所述的数字人面部资产生成方法,其特征在于,所述获取从所述特征图像中选取的第一目标图像,包括:

6.根据权利要求5所述的数字人面部资产生成方法,其特征在于,所述重新生成请求包括:重新生成指令和指示指令;所述响应于重新生成请求,利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成,得到至少一张更新特征图像,包括:

7.根据权利要求2所述的数字人面部资产生成方法,其特征在于,所述获取对所述第一目标图像进行参数调整的至少一个调整参数,包括:

8.一种数字人面部资产生成装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的数字人面部资产生成方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数字人面部资产生成方法。

...

【技术特征摘要】

1.一种数字人面部资产生成方法,其特征在于,包括:

2.根据权利要求1所述的数字人面部资产生成方法,其特征在于,所述面容特征参数包括面容颜色参数和面容形状参数;所述获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像,包括:

3.根据权利要求2所述的数字人面部资产生成方法,其特征在于,所述根据所述面部视角图像进行三维构建,得到数字人面部资产,包括:

4.根据权利要求1所述的数字人面部资产生成方法,其特征在于,所述脸部特征包括:特征名称、特征值和特征权重;所述从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征,包括:

5.根据权利要求4所述的数字人面部资产生成方法,其特征在于,所述获取从所述特征图像中选取的第一目标图像,包括:

6.根据权利要...

【专利技术属性】
技术研发人员:骆乐郭洁翁冬冬
申请(专利权)人:鹏城实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1