System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 人脸建模方法、装置、电子设备和存储介质制造方法及图纸_技高网

人脸建模方法、装置、电子设备和存储介质制造方法及图纸

技术编号:41213294 阅读:4 留言:0更新日期:2024-05-09 23:36
本发明专利技术提供一种人脸建模方法、装置、电子设备和存储介质,其中方法包括:获取人脸点云,以及初始人脸网格,初始人脸网格基于全局主成分分析建模得到;基于初始人脸网格,对人脸点云进行全局拟合,得到第一人脸网格;基于第一人脸网格,对各人脸区域进行局部主成分分析建模,得到各人脸区域的初始区域网格;基于各人脸区域的初始区域网格,对人脸点云进行各人脸区域的局部拟合,得到第二人脸网格。本发明专利技术提供的方法、装置、电子设备和存储介质,结合全局和局部主成分分析进行三维人脸建模,以降低第二人脸网格与人脸点云之间的误差,降低基于第二人脸网格包裹人脸点云时的网格形变,由此大大降低建模师需要花费的修复时间,提高了人脸建模效率。

【技术实现步骤摘要】

本专利技术涉及三维建模,尤其涉及一种人脸建模方法、装置、电子设备和存储介质


技术介绍

1、随着人工智能技术的发展,三维(three dimensional,3d)人脸模型在诸多场景得以应用。

2、传统的三维人脸建模包括三维点重建、构建三角网、纹理映射等步骤,其中在三角网构建时,需要应用三角网格包裹人脸点云。由于包裹前后的网格形状变化很大,导致布线差异大,难以满足布线规范,需要建模师花费大量时间进行修复,直接影响了人脸建模效率。


技术实现思路

1、本专利技术提供一种人脸建模方法、装置、电子设备和存储介质,用以解决现有技术中三维人脸建模耗时长的缺陷。

2、本专利技术提供一种人脸建模方法,包括:

3、获取人脸点云,以及初始人脸网格,所述初始人脸网格基于全局主成分分析建模得到;

4、基于所述初始人脸网格,对所述人脸点云进行全局拟合,得到第一人脸网格;

5、基于所述第一人脸网格,对各人脸区域进行局部主成分分析建模,得到各人脸区域的初始区域网格;

6、基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格。

7、根据本专利技术提供的一种人脸建模方法,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,包括:

8、基于所述各人脸区域的初始区域网格的网格点,以及所述初始区域网格的网格点在所述人脸点云中的最近邻点,确定所述局部拟合的约束值,基于所述局部拟合的约束值调整各初始区域网格所对应局部主成分分析模型的参数,直至满足拟合收敛条件,得到所述第二人脸网格。

9、根据本专利技术提供的一种人脸建模方法,所述基于所述各人脸区域的初始区域网格的网格点,以及所述初始区域网格的网格点在所述人脸点云中的最近邻点,确定所述局部拟合的约束值,包括:

10、基于所述网格点与所述最近邻点之间的距离,确定拟合距离约束值;

11、基于所述网格点在所述局部主成分分析模型的参数调整前后的平滑性差异,确定拟合平滑约束值;

12、基于所述拟合距离约束值和所述拟合平滑约束值,确定所述局部拟合的约束值。

13、根据本专利技术提供的一种人脸建模方法,所述基于所述网格点与所述最近邻点之间的距离,确定拟合距离约束值,包括:

14、基于所述网格点中的顶点与所述最近邻点之间的距离,确定第一距离约束值;

15、基于所述网格点中的人脸特征点与所述人脸点云中的人脸特征点之间的距离,确定第二距离约束值;

16、基于所述第一距离约束值和所述第二距离约束值,确定所述拟合距离约束值。

17、根据本专利技术提供的一种人脸建模方法,所述基于所述网格点在所述局部主成分分析模型的参数调整前后的平滑性差异,确定拟合平滑约束值,包括:

18、基于所述网格点在所述局部主成分分析模型的参数调整前的位置,确定所述网格点的第一平滑度;

19、基于所述网格点在所述局部主成分分析模型的参数调整后的位置,确定所述网格点的第二平滑度;

20、基于所述网格点的第二平滑度与所述第一平滑度之间的差值,确定所述拟合平滑约束值。

21、根据本专利技术提供的一种人脸建模方法,所述基于所述拟合距离约束值和所述拟合平滑约束值,确定所述局部拟合的约束值,包括:

22、基于交界网格点在各人脸区域的初始区域网格中位置的一致性,确定交界约束值,所述交界网格点为在所述初始区域网格的交界处的网格点;

23、基于所述各初始区域网格所对应局部主成分分析模型的参数间的差异,确定参数约束值;

24、基于区域中轴网格点与坐标轴之间的位置关系,确定区域中轴线约束值,所述区域中轴网格点为所述初始区域网格中处于人脸中轴线上的网格点;

25、基于所述交界约束值、所述参数约束值、所述区域中轴线约束值中的至少一种,以及所述距离约束值和所述拟合平滑约束值,确定所述局部拟合的约束值。

26、根据本专利技术提供的一种人脸建模方法,在所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,之前还包括:

27、基于所述人脸点云的脖子姿态模型,对所述各人脸区域的初始区域网格进行姿态矫正,得到姿态矫正后的初始区域网格,所述姿态矫正后的初始区域网格用于局部拟合。

28、根据本专利技术提供的一种人脸建模方法,所述脖子姿态模型的确定步骤包括:

29、基于所述第一人脸网格中的脖子点,对所述人脸点云中的脖子点云进行拟合,得到拟合所需的脖子姿态模型。

30、根据本专利技术提供的一种人脸建模方法,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,包括:

31、基于所述各人脸区域的初始区域网格,对与所述第一人脸网格位姿对齐的人脸点云进行各人脸区域的局部拟合,得到第二人脸网格;

32、所述与所述第一人脸网格位姿对齐的人脸点云是基于所述全局拟合得到的。

33、根据本专利技术提供的一种人脸建模方法,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,之后还包括:

34、对所述第二人脸网格和所述人脸点云进行配准,得到第三人脸网格。

35、根据本专利技术提供的一种人脸建模方法,所述对所述第二人脸网格和所述人脸点云进行配准,得到第三人脸网格,包括:

36、基于所述第二人脸网格的网格点,以及所述第二人脸网格的网格点在所述人脸点云中的最近邻点,确定配准约束值,基于所述配准约束值调整所述第二人脸网格中网格点的位置,直至满足配准收敛条件,得到所述第三人脸网格。

37、根据本专利技术提供的一种人脸建模方法,所述基于所述第二人脸网格的网格点,以及所述第二人脸网格的网格点在所述人脸点云中的最近邻点,确定配准约束值,包括:

38、基于所述网格点与所述最近邻点之间的距离,确定配准距离约束值;

39、基于所述网格点在位置调整前后的平滑性差异,确定配准平滑约束值;

40、基于所述配准距离约束值和所述配准平滑约束值,确定所述配准约束值。

41、根据本专利技术提供的一种人脸建模方法,所述基于所述配准距离约束值和所述配准平滑约束值,确定所述配准约束值,包括:

42、基于在所述第二人脸网格中的网格点的位置调整前后,所述第二人脸网格中的每个面的变换关系,确定刚性形变约束值;

43、基于所述网格点中的上下唇顶点所构成的边在位置调整前后的差异,确定闭嘴约束值;

44、基于第二中轴网格点与坐标轴之间的位置关系,确定第二中轴线约束值,所述第二中轴网格点为所述第二人脸网格中处于人脸中轴线上的网格点;

45、基于所述刚性形变约束值、所述闭嘴约束值、所述第二中轴线约束值中本文档来自技高网...

【技术保护点】

1.一种人脸建模方法,其特征在于,包括:

2.根据权利要求1所述的人脸建模方法,其特征在于,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,包括:

3.根据权利要求2所述的人脸建模方法,其特征在于,所述基于所述各人脸区域的初始区域网格的网格点,以及所述初始区域网格的网格点在所述人脸点云中的最近邻点,确定所述局部拟合的约束值,包括:

4.根据权利要求3所述的人脸建模方法,其特征在于,所述基于所述网格点与所述最近邻点之间的距离,确定拟合距离约束值,包括:

5.根据权利要求3所述的人脸建模方法,其特征在于,所述基于所述网格点在所述局部主成分分析模型的参数调整前后的平滑性差异,确定拟合平滑约束值,包括:

6.根据权利要求3所述的人脸建模方法,其特征在于,所述基于所述拟合距离约束值和所述拟合平滑约束值,确定所述局部拟合的约束值,包括:

7.根据权利要求1所述的人脸建模方法,其特征在于,在所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,之前还包括:

8.根据权利要求7所述的人脸建模方法,其特征在于,所述脖子姿态模型的确定步骤包括:

9.根据权利要求1所述的人脸建模方法,其特征在于,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,包括:

10.根据权利要求1所述的人脸建模方法,其特征在于,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,之后还包括:

11.根据权利要求10所述的人脸建模方法,其特征在于,所述对所述第二人脸网格和所述人脸点云进行配准,得到第三人脸网格,包括:

12.根据权利要求11所述的人脸建模方法,其特征在于,所述基于所述第二人脸网格的网格点,以及所述第二人脸网格的网格点在所述人脸点云中的最近邻点,确定配准约束值,包括:

13.根据权利要求12所述的人脸建模方法,其特征在于,所述基于所述配准距离约束值和所述配准平滑约束值,确定所述配准约束值,包括:

14.根据权利要求10所述的人脸建模方法,其特征在于,所述对所述第二人脸网格和所述人脸点云进行配准,得到第三人脸网格,包括:

15.一种人脸建模装置,其特征在于,包括:

16.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至14任一项所述人脸建模方法。

17.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至14任一项所述人脸建模方法。

18.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被至少一个处理器执行时实现权利要求1至14任一项所述人脸建模方法。

...

【技术特征摘要】

1.一种人脸建模方法,其特征在于,包括:

2.根据权利要求1所述的人脸建模方法,其特征在于,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,包括:

3.根据权利要求2所述的人脸建模方法,其特征在于,所述基于所述各人脸区域的初始区域网格的网格点,以及所述初始区域网格的网格点在所述人脸点云中的最近邻点,确定所述局部拟合的约束值,包括:

4.根据权利要求3所述的人脸建模方法,其特征在于,所述基于所述网格点与所述最近邻点之间的距离,确定拟合距离约束值,包括:

5.根据权利要求3所述的人脸建模方法,其特征在于,所述基于所述网格点在所述局部主成分分析模型的参数调整前后的平滑性差异,确定拟合平滑约束值,包括:

6.根据权利要求3所述的人脸建模方法,其特征在于,所述基于所述拟合距离约束值和所述拟合平滑约束值,确定所述局部拟合的约束值,包括:

7.根据权利要求1所述的人脸建模方法,其特征在于,在所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,之前还包括:

8.根据权利要求7所述的人脸建模方法,其特征在于,所述脖子姿态模型的确定步骤包括:

9.根据权利要求1所述的人脸建模方法,其特征在于,所述基于所述各人脸区域的初始区域网格,对所述人脸点云进行各人脸区域的局部拟合,得到第二人脸网格,包括:

10.根据权利要求...

【专利技术属性】
技术研发人员:邹倩芳金师豪柴金祥
申请(专利权)人:魔珐上海信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1