一种动作迁移模型设计方法、装置、存储介质和程序产品制造方法及图纸

技术编号：44957000 阅读：5 留言：0更新日期：2025-04-12 01:27

本发明专利技术提供一种动作迁移模型设计方法、装置、存储介质和程序产品，涉及计算机视觉技术领域。其中，动作迁移模型设计方法包括：训练掩图提取模型；获取两张人体图像，一张为原始图像I，另一张为驱动图像T；从原始图像中提取原始肢体掩图和原始肢体图像；从驱动图像中提取驱动肢体掩图；依据所述驱动肢体掩图，对原始肢体掩图及原始肢体图像进行变换，得到目标肢体掩图和目标肢体图像；使用动作生成模块生成目标人体图像；使用背景生成模块生成目标背景图像；使用合成模块生成最终图像。本发明专利技术提高了动作迁移图像生成的整体精确性和图像质量，避免了相关生成瑕疵和错误的出现。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及计算机视觉，尤其涉及一种动作迁移模型设计方法、装置、存储介质和程序产品。

技术介绍

1、动作迁移技术通过原始图像和驱动图像来生成一张新的图像，让原始图像中的人物做出驱动图像中人物的动作。该技术常用在虚拟现实和增强现实领域，以增强图像的表现力。

2、传统的动作迁移技术基于图像关键点进行操作。如2021年12月31日公布的中国专利cn113870314a、2022年02月15日公布的中国专利cn114049652a，均是通过检测原始图像、驱动图像的关键点，再以二者关键点的对比关系为基础进行图像变换，最终得到动作迁移图像。

3、上述现有技术中，人体的关键点通常需要经过大量数据训练获得，其稳定性和精确度均不理想。故基于关键点的动作迁移技术通常会有误差，并且无法覆盖整个人体，导致生成的图像精确性较低，质量不高，容易出现生成瑕疵和错误。

技术实现思路

1、针对现有技术存在的不足，本专利技术提出一种动作迁移方法、装置、存储介质和程序产品，提取人体的各个肢体掩图，并对其进行模糊处理，再通过计算获得相应的肢体图像，在此基础上完成动作迁移任务，提高了生成图像的整体精确性和图像质量，避免了相关生成瑕疵和错误的出现。

2、第一方面，本专利技术提供一种动作迁移模型设计方法，包括以下步骤：

3、训练掩图提取模型；

4、获取两张人体图像，一张为原始图像i，另一张为驱动图像t；

5、从原始图像中提取原始肢体掩图和原始肢体图像；</p>

6、从驱动图像中提取驱动肢体掩图；

7、依据所述驱动肢体掩图，对原始肢体掩图及原始肢体图像进行变换，得到目标肢体掩图和目标肢体图像；

8、使用动作生成模块生成目标人体图像；

9、使用背景生成模块生成目标背景图像；

10、使用合成模块生成最终图像。

11、作为本专利技术的进一步改进，所述获取两张人体图像，一张为原始图像i，另一张为驱动图像t，包括：

12、获得的原始图像i为人物图像，且其中仅包含一人；

13、获得的驱动图像t为人物图像，且其中仅包含一人。

14、作为本专利技术的进一步改进，所述从原始图像中提取原始肢体掩图和原始肢体图像，包括：

15、使用所述掩图提取模型，从所述原始图像i中提取人物肢体掩图，再进行模糊处理，得到原始肢体掩图mi1,mi2…min；

16、使用原始肢体掩图与所述原始图像进行计算，得到原始肢体图像。

17、作为本专利技术的进一步改进，所述从驱动图像中提取驱动肢体掩图，包括：

18、通过所述掩图提取模型，从所述驱动图像中提取人物肢体掩图，再进行模糊处理，得到驱动肢体掩图mt1,mt2…mtn，其中，对于i＝1,2,…,n，mii与mti对应相同的肢体部位；

19、作为本专利技术的进一步改进，所述模糊处理，包括：

20、通过高斯模糊对掩图的边缘区域进行模糊；

21、高斯核的尺寸通过自定义获得，高斯核的数值通过高斯分布得到。

22、作为本专利技术的进一步改进，所述依据所述驱动肢体掩图，对原始肢体掩图及原始肢体图像进行变换，得到目标肢体掩图和目标肢体图像，包括：

23、选定图像基准；

24、根据所述图像基准与驱动肢体掩图mt1的位移、旋转关系，确定mt1对应的动作驱动参数q(0,1)；

25、根据驱动肢体掩图mti与mtj的位移、旋转关系，确定动作驱动参数q(i,j),其中i＝1,2,…,n；j＝2,3,…,n，针对每一个参数q(i,j)中的i与j，mti与mtj为连接关系；

26、根据所述图像基准与动作驱动参数q(0,1)，对原始肢体掩图mi1进行变换，得到目标肢体掩图mf1；

27、根据所述目标肢体掩图mfi及相应的动作驱动参数q(i,j)，对原始肢体掩图mij进行变换，得到目标肢体掩图mfj，其中i＝1,2,…,n；j＝2,3,…,n；

28、原始肢体图像与相应的原始肢体掩图作相同的变换，得到目标肢体图像。

29、作为本专利技术的进一步改进，所述使用动作生成模块生成目标人体图像，包括：

30、将目标肢体掩图和目标肢体图像进行初步拼接；

31、将初步拼接结果输入深度神经网络模型，进行深度拼接，得到目标人体图像。

32、作为本专利技术的进一步改进，所述使用背景生成模块生成目标背景图像，包括：

33、使用原始图像及各原始肢体掩图进行计算，得到去除原始肢体图像的原始背景图像；

34、将原始背景图输入深度神经网络模型进行修复，得到目标背景图像。

35、作为本专利技术的进一步改进，所述使用合成模块生成最终图像，包括：

36、将所述目标人体图像和所述目标背景图像进行初步拼接；

37、将初步拼接结果输入深度神经网络模型进行合成，得到最终图像。

38、第二方面，本专利技术提供一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面所述方法的步骤。

39、第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

40、第四方面，本专利技术提供一种计算机程序产品，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

41、与现有技术相比，本专利技术的有益效果在于：

42、本专利技术提出一种利用高斯模糊和深度学习的动作迁移方法、装置、存储介质和程序产品，提取人体的各个肢体掩图，并对其进行模糊处理，再通过计算获得相应的肢体图像，在此基础上完成动作迁移任务，提高了生成图像的整体精确性和图像质量，避免了相关生成瑕疵和错误的出现。

本文档来自技高网...

【技术保护点】

1.一种动作迁移模型设计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述获取两张人体图像，一张为原始图像I，另一张为驱动图像T，包括：

3.根据权利要求1所述的方法，其特征在于，所述从原始图像中提取原始肢体掩图和原始肢体图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述从驱动图像中提取驱动肢体掩图，包括：

5.根据权利要求3或4所述的方法，其特征在于，所述模糊处理，包括：

6.根据权利要求1所述的方法，其特征在于，所述依据所述驱动肢体掩图，对原始肢体掩图及原始肢体图像进行变换，得到目标肢体掩图和目标肢体图像，包括：

7.根据权利要求1所述的方法，其特征在于，所述使用动作生成模块生成目标人体图像，包括：

8.根据权利要求1所述的方法，其特征在于，所述使用背景生成模块生成目标背景图像，包括：

9.根据权利要求1所述的方法，其特征在于，所述使用合成模块生成最终图像，包括：

10.一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-9中的任一项所述方法的步骤。

12.一种计算机程序产品，其特征在于，该计算机程序被处理器执行时实现权利要求1-9中的任一项所述方法的步骤。

...

【技术特征摘要】

1.一种动作迁移模型设计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述获取两张人体图像，一张为原始图像i，另一张为驱动图像t，包括：

3.根据权利要求1所述的方法，其特征在于，所述从原始图像中提取原始肢体掩图和原始肢体图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述从驱动图像中提取驱动肢体掩图，包括：

5.根据权利要求3或4所述的方法，其特征在于，所述模糊处理，包括：

7.根据权利要求1所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：虞钉钉，徐清，曹培，沈旭立，罗粤清，周邦健，
申请(专利权)人：华院计算技术上海股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人