System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种图像处理方法、装置、计算机设备及存储介质制造方法及图纸_技高网

一种图像处理方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:43482068 阅读:7 留言:0更新日期:2024-11-29 16:54
本公开提供了一种图像处理方法、装置、计算机设备及存储介质,其中,该方法包括:获取包含第一人脸的人脸视频、标准人脸三维模型、以及目标人脸三维模型;所述目标人脸三维模型是基于目标变形效果对所述标准人脸三维模型进行变形后得到的三维模型;针对所述人脸视频中的每帧人脸图像,基于所述每帧人脸图像在所述人脸视频中的位置、所述人脸视频中包括的人脸图像的数量、所述标准人脸三维模型、以及所述目标人脸三维模型,确定对所述每帧人脸图像中的第一人脸进行变形的变形程度信息;基于所述变形程度信息,对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像。

【技术实现步骤摘要】

本公开涉及计算机视觉,具体而言,涉及一种图像处理方法、装置、计算机设备及存储介质


技术介绍

1、随着图像处理技术的发展,在一些游戏、社交、以及短视频平台等等应用中,用户可以选择自身喜好的目标特效,对真实人脸图像进行变形处理。例如在短视频平台中,用户可以选择目标特效对视频中的人脸图像进行变形处理得到目标变形效果,目标变形效果例如可以是针对人脸图像中的人脸的整体或局部进行放大、缩小、旋转、或位移等。当前的人脸变形存在变形效果较差的问题。


技术实现思路

1、本公开实施例至少提供一种图像处理方法、装置、计算机设备及存储介质。

2、第一方面,本公开实施例提供了一种图像处理方法,包括:

3、获取包含第一人脸的人脸视频、标准人脸三维模型、以及目标人脸三维模型;所述目标人脸三维模型是基于目标变形效果对所述标准人脸三维模型进行变形后得到的三维模型;

4、针对所述人脸视频中的每帧人脸图像,基于所述每帧人脸图像在所述人脸视频中的位置、所述人脸视频中包括的人脸图像的数量、所述标准人脸三维模型、以及所述目标人脸三维模型,确定对所述每帧人脸图像中的第一人脸进行变形的变形程度信息;

5、基于所述变形程度信息,对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像。

6、这样,利用人脸视频中各帧人脸图像在人脸视频中的位置,确定将人脸视频中的目标人脸变换至具有和目标人脸三维模型相同变形效果的动态变化过程中,每帧人脸图像对应的变形程度信息,然后利用变形程度信息,对人脸视频中的每帧人脸图像进行变形处理,得到一个由多帧目标变形图像组成的人脸特效视频,该特效视频能够精细的体现基于目标变形效果对人脸图像进行变形处理的变化过程,变形过程流畅、自然,具有更好的变形效果。

7、一种可选的实施方式中,所述获取包含第一人脸的人脸视频,包括:

8、响应于触发基于所述目标变形效果将所述第一人脸变形为第二人脸,获取包含所述第一人脸的原始视频;

9、基于预设的图像数量信息,从所述原始视频中截取所述人脸视频。

10、这样,利用预设的图像数量信息,可以从原始视频中包括的多帧图像中,截取出符合预设的图像数量信息对应的图像数量,将这些图像作为包含第一人脸的人脸视频,实现了从任意符合条件的原始视频中,应用本方法对人脸视频进行处理,增加了应用本方法的适用性。

11、一种可选的实施方式中,所述基于所述每帧人脸图像在所述人脸视频中的位置、所述人脸视频中包括的人脸图像的数量、所述标准人脸三维模型、以及所述目标人脸三维模型,确定对所述每帧人脸图像中的第一人脸进行变形的变形程度信息,包括:

12、对所述每帧人脸图像进行三维人脸重建,得到重建人脸三维模型;

13、确定所述重建人脸三维模型相对于所述标准人脸三维模型的第一变形程度信息;以及,确定所述目标人脸三维模型相对于所述标准人脸三维模型的第二变形程度信息;

14、基于所述第一变形程度信息、所述第二变形程度信息、所述每帧人脸图像在所述人脸视频对应的人脸图像序列中的位置、所述人脸图像序列中包括的人脸图像的数量,确定所述每帧人脸图像中的第一人脸进行变形的变形程度信息。

15、这样,通过第一变形程度信息,确定重建人脸三维模型与标准人脸三维模型的差异度,通过第二变形程度信息,确定目标变形效果,再根据人脸视频中的每帧人脸图在人脸图像序列中的位置,确定人脸视频的每帧人脸图像的变形程度信息,实现了针对人脸视频中的每帧人脸图像的精细化调整,使变形效果更加流畅、自然,提升变形效果。

16、一种可选的实施方式中,所述重建人脸三维模型包括:多个第一顶点、以及多个所述第一顶点分别在与所述每帧人脸图像对应的相机坐标系下的第一位置信息;所述标准人脸三维模型包括:与所述多个第一顶点分别对应的第二顶点、以及所述第二顶点分别在模型坐标系下的第二位置信息;

17、所述确定所述重建人脸三维模型相对于所述标准人脸三维模型的第一变形程度信息,包括:

18、将多个所述第一顶点分别在相机坐标系下的第一位置信息转换为在所述模型坐标系下的第三位置信息;

19、基于多个所述第一顶点分别对应的第三位置信息、和多个所述第二顶点分别对应的第二位置信息,确定多个所述第一顶点分别对应的位移量;

20、基于多个所述第一顶点分别对应的位移量,构成所述第一变形程度信息。

21、这样,通过坐标系的转换,实现了两种模型在相同坐标系下进行计算,进而根据第一顶点相对于第二顶点的位移量,得到第一变形程度信息。

22、一种可选的实施方式中,所述基于所述变形程度信息,对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像,包括:

23、基于所述变形程度信息、和所述标准人脸三维模型,生成与所述每帧人脸图像对应的变形人脸三维模型;

24、基于所述变形人脸三维模型对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像。

25、这样,通过对每帧人脸图像对应的变形人脸三维模型进行第一人脸变形处理,可以精细的体现人脸特效的变化过程,使得变型效果更加细腻,自然。

26、一种可选的实施方式中,所述基于所述变形人脸三维模型对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像,包括:

27、将所述变形人脸三维模型从模型坐标系下,转换至与所述重建人脸三维模型对应的相机坐标系下,得到所述变形人脸三维模型中的多个第三顶点分别在所述相机坐标系下的第四位置信息;

28、基于所述第四位置信息,将多个所述第三顶点分别投影至所述每帧人脸图像中,得到与所述多个第三顶点分别对应的投影点在所述每帧人脸图像中的位置;

29、基于多个第三顶点分别对应的投影点在所述每帧人脸图像中的位置、以及与多个第三顶点分别对应的第一顶点在所述每帧人脸图像中对应的像素点的位置,确定所述每帧人脸图像中各像素点的位移信息;

30、基于所述位移信息对所述每帧人脸图像中各个像素点进行位置调整,得到所述每帧人脸图像对应的目标变形图像。

31、这样,利用位移信息,可以实现对原有人脸图像的像素点的位置进行调整,得到符合当前帧人脸图像对应的目标变形图像。

32、一种可选的实施方式中,所述基于所述变形人脸三维模型对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像包括:

33、将所述变形人脸三维模型从模型坐标系下,转换至与所述重建人脸三维模型对应的相机坐标系下,得到转换人脸三维模型;

34、利用所述每帧人脸图像对所述转换人脸三维模型进行渲染,得到所述目标变形图像。

35、这样,通过坐标系的转换,可以利用人脸图像的像素值对转换人脸三维模型进行渲染,使得目标变形图像本文档来自技高网...

【技术保护点】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取包含第一人脸的人脸视频,包括:

3.根据权利要求1或所述的方法,其特征在于,所述基于所述每帧人脸图像在所述人脸视频中的位置、所述人脸视频中包括的人脸图像的数量、所述标准人脸三维模型、以及所述目标人脸三维模型,确定对所述每帧人脸图像中的第一人脸进行变形的变形程度信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述重建人脸三维模型包括:多个第一顶点、以及多个所述第一顶点分别在与所述每帧人脸图像对应的相机坐标系下的第一位置信息;所述标准人脸三维模型包括:与所述多个第一顶点分别对应的第二顶点、以及所述第二顶点分别在模型坐标系下的第二位置信息;

5.根据权利要求1-4任一所述的方法,其特征在于,所述基于所述变形程度信息,对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述变形人脸三维模型对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像,包括:

7.根据权利要求5所述的方法,其特征在于,所述基于所述变形人脸三维模型对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像包括:

8.根据权利要求7所述的方法,其特征在于,利用所述每帧人脸图像对所述转换人脸三维模型进行渲染,得到所述目标变形图像,包括:

9.根据权利要求7或8所述的方法,其特征在于,还包括:获取与所述目标人脸三维模型对应的特效贴图;

10.根据权利要求9所述的方法,其特征在于,所述利用所述每帧人脸图像和所述特效贴图,对所述转换人脸三维模型进行渲染,得到所述目标变形图像,包括:

11.根据权利要求10所述的方法,其特征在于,基于所述每帧人脸图像在所述人脸视频中的位置、以及所述人脸视频中包括的人脸图像的数量,将所述每帧人脸图像和所述特效贴图进行融合处理,得到目标效果贴图,包括:

12.一种图像处理设备,其特征在于,包括:

13.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至11任一项所述的图像处理方法的步骤。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至11任意一项所述的图像处理方法的步骤。

...

【技术特征摘要】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取包含第一人脸的人脸视频,包括:

3.根据权利要求1或所述的方法,其特征在于,所述基于所述每帧人脸图像在所述人脸视频中的位置、所述人脸视频中包括的人脸图像的数量、所述标准人脸三维模型、以及所述目标人脸三维模型,确定对所述每帧人脸图像中的第一人脸进行变形的变形程度信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述重建人脸三维模型包括:多个第一顶点、以及多个所述第一顶点分别在与所述每帧人脸图像对应的相机坐标系下的第一位置信息;所述标准人脸三维模型包括:与所述多个第一顶点分别对应的第二顶点、以及所述第二顶点分别在模型坐标系下的第二位置信息;

5.根据权利要求1-4任一所述的方法,其特征在于,所述基于所述变形程度信息,对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述变形人脸三维模型对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图像对应的目标变形图像,包括:

7.根据权利要求5所述的方法,其特征在于,所述基于所述变形人脸三维模型对所述每帧人脸图像中的第一人脸进行变形处理,得到所述每帧人脸图...

【专利技术属性】
技术研发人员:陶然杨瑞健赵代平
申请(专利权)人:北京大甜绵白糖科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1