三维虚拟动作的生成方法、装置、电子设备和车辆制造方法及图纸

技术编号:35054888 阅读:18 留言:0更新日期:2022-09-28 11:00
本发明专利技术涉及计算机技术领域,提供了一种三维虚拟动作的生成方法、装置、电子设备和车辆,三维虚拟动作的生成方法包括:获取单个摄像头采集的视频文件,所述视频文件中包含人体的动作信息;采用关键点算法对所述视频文件进行处理,得到所述动作信息中二维骨骼关键点的时序坐标序列;采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列;将所述三维骨骼关键点的时序坐标序列输入预先构建的三维虚拟形象模型,得到与所述动作信息对应的三维虚拟动作。应用在三维虚拟动作构建过程中,达到通过视频中人体的动作信息生成三维虚拟动作的目的。的。的。

【技术实现步骤摘要】
三维虚拟动作的生成方法、装置、电子设备和车辆


[0001]本专利技术涉及计算机
,特别涉及一种三维虚拟动作的生成方法、装置、电子设备和车辆。

技术介绍

[0002]三维(3D)虚拟形象越来越多的出现在了人们的日常生活中,通过制作,三维虚拟形象能够展示打招呼等一些固定动作,增加人机间的互动。
[0003]现有的方案在三维虚拟形象的制作过程中,每一次要生成新的动作,都需要人工手动调整模型动作,通过将动作分解成连续的坐标点,记录一系列坐标点来改变位置,生成新的动作。
[0004]然而,在目前方案中,三维虚拟形象的动作制作需要通过手工调整坐标点,生成的动作和现实环境中真人的动作差异较大,比较机械化,动作不流畅、不自然,从而影响交互体验。

技术实现思路

[0005]有鉴于此,本专利技术旨在提出一种三维虚拟动作的生成方法、装置、电子设备和车辆,以解决现有技术制作的三维虚拟动作不流畅、不自然的问题。
[0006]为达到上述目的,本专利技术的技术方案是这样实现的:
[0007]一种三维虚拟动作的生成方法,包括:
[0008]获取单个摄像头采集的视频文件,所述视频文件中包含人体的动作信息;
[0009]采用关键点算法对所述视频文件进行处理,得到所述动作信息中二维骨骼关键点的时序序列;
[0010]采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列;
[0011]将所述三维骨骼关键点的时序坐标序列输入预先构建的三维虚拟形象模型,得到与所述动作信息对应的三维虚拟动作。
[0012]可选的,所述采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列之前,还包括:
[0013]采用数据增强算法对所述二维骨骼关键点的时序坐标序列进行处理,得到二维骨骼关键点扩展序列和三维骨骼关键点扩展序列;
[0014]利用所述二维骨骼关键点扩展序列和所述三维骨骼关键点扩展序列对所述视频姿态三维算法进行训练。
[0015]可选的,所述采用数据增强算法对所述二维骨骼关键点的时序坐标序列进行处理,得到二维骨骼关键点扩展序列和三维骨骼关键点扩展序列,包括:
[0016]利用所述数据增强算法对所述二维骨骼关键点的时序坐标序列进行旋转和/或缩放,得到所述二维骨骼关键点扩展序列;
[0017]利用所述数据增强算法对所述二维骨骼关键点扩展序列进行处理,得到与所述二维骨骼关键点扩展序列对应的三维骨骼关键点扩展序列。
[0018]可选的,所述三维虚拟动作的生成方法,还包括:
[0019]通过三维景深摄像头获取不同人体和姿态的训练数据,利用所述训练数据对所述数据增强算法和所述视频姿态三维算法进行训练。
[0020]可选的,所述采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列之后,还包括:
[0021]对所述三维骨骼关键点的时序坐标序列进行滤波和插值处理,以删除所述三维骨骼关键点的时序坐标序列中的异常值;
[0022]将删除所述三维骨骼关键点的时序坐标序列中的异常值后的三维骨骼关键点的时序坐标序列,作为待输入至所述三维虚拟形象模型的三维骨骼关键点的时序坐标序列。
[0023]可选的,所述将所述三维骨骼关键点的时序坐标序列输入预先构建的三维虚拟形象模型,得到与所述动作信息对应的三维虚拟动作之前,还包括:
[0024]根据所述人体的身高对所述三维骨骼关键点的时序坐标序列进行归一化处理。
[0025]可选的,所述对所述三维骨骼关键点的时序坐标序列根据所述人体的身高进行归一化处理,包括:
[0026]根据每个所述三维骨骼关键点的各个维度的坐标值以及所有所述三维骨骼关键点中各个所述维度的坐标最大值,对每个所述三维骨骼关键点的时序坐标序列进行归一化处理。
[0027]本专利技术的另一目的在于提出一种三维虚拟动作的生成装置,包括:
[0028]视频获取模块:用于获取单个摄像头采集的视频文件,所述视频文件中包含人体的动作信息;
[0029]二维骨骼关键点生成模块:用于采用关键点算法对所述视频文件进行处理,得到所述动作信息中二维骨骼关键点的时序序列;
[0030]三维骨骼关键点生成模块:用于采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列;
[0031]三维虚拟动作生成模块:用于将所述三维骨骼关键点的时序坐标序列输入预先构建的三维虚拟形象模型,得到与所述动作信息对应的三维虚拟动作。
[0032]可选的,所述三维虚拟动作的生成装置还包括:
[0033]第一训练模块:用于通过三维景深摄像头获取不同人体和姿态的训练数据,利用训练数据对所述视频姿态三维算法进行训练。
[0034]可选的,在三维骨骼关键点生成模块之前,还包括:
[0035]数据增强模块:用于采用数据增强算法对所述二维骨骼关键点的时序坐标序列进行处理,得到二维骨骼关键点扩展序列和三维骨骼关键点扩展序列;
[0036]第二训练模块:用于利用所述二维骨骼关键点扩展序列和所述三维骨骼关键点扩展序列对所述视频姿态三维算法进行训练。
[0037]可选的,数据增强模块,包括:
[0038]二维骨骼关键点增强子模块:用于利用所述数据增强算法对所述二维骨骼关键点的时序坐标序列进行旋转和/或缩放,得到所述二维骨骼关键点扩展序列;
[0039]三维骨骼关键点扩展子模块:用于利用所述数据增强算法对所述二维骨骼关键点扩展序列进行处理,得到与所述二维骨骼关键点扩展序列对应的所述三维骨骼关键点扩展序列。
[0040]可选的,在三维骨骼关键点生成模块之后,还包括:
[0041]滤波插值模块:用于对所述三维骨骼关键点的时序坐标序列进行滤波和插值处理,以删除所述三维骨骼关键点的时序坐标序列中的异常值;
[0042]将删除三维骨骼关键点的时序坐标序列中的异常值后的三维骨骼关键点的时序坐标序列,作为待输入至所述三维虚拟形象模型的三维骨骼关键点的时序坐标序列。
[0043]可选的,在三维骨骼关键点生成模块之后,还包括:
[0044]坐标归一化模块:用于根据所述人体的身高对三维骨骼关键点的时序坐标序列进行归一化处理。
[0045]本专利技术的另一目的在于提出一种电子设备,包括:
[0046]至少一个处理器;以及,
[0047]与所述至少一个处理器通信连接的存储器;其中,
[0048]所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上所述的三维虚拟动作的生成方法。
[0049]本专利技术的另一目的在于提出一种车辆,设置有上述的电子设备。
[0050]相对于现有技术,本专利技术所述的一种三维虚拟动作的生成方法具有本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种三维虚拟动作的生成方法,其特征在于,包括:获取单个摄像头采集的视频文件,所述视频文件中包含人体的动作信息;采用关键点算法对所述视频文件进行处理,得到所述动作信息中二维骨骼关键点的时序坐标序列;采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列;将所述三维骨骼关键点的时序坐标序列输入预先构建的三维虚拟形象模型,得到与所述动作信息对应的三维虚拟动作。2.根据权利要求1所述的方法,其特征在于,所述采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列之前,还包括:采用数据增强算法对所述二维骨骼关键点的时序坐标序列进行处理,得到二维骨骼关键点扩展序列和三维骨骼关键点扩展序列;利用所述二维骨骼关键点扩展序列和所述三维骨骼关键点扩展序列对所述视频姿态三维算法进行训练。3.根据权利要求2所述的方法,其特征在于,所述采用数据增强算法对所述二维骨骼关键点的时序坐标序列进行处理,得到二维骨骼关键点扩展序列和三维骨骼关键点扩展序列,包括:利用所述数据增强算法对所述二维骨骼关键点的时序坐标序列进行旋转和/或缩放,得到所述二维骨骼关键点扩展序列;利用所述数据增强算法对所述二维骨骼关键点扩展序列进行处理,得到与所述二维骨骼关键点扩展序列对应的所述三维骨骼关键点扩展序列。4.根据权利要求1所述的方法,其特征在于,还包括:通过三维景深摄像头获取不同人体和姿态的训练数据,利用所述训练数据对所述视频姿态三维算法进行训练。5.根据权利要求1所述的方法,其特征在于,所述采用视频姿态三维算法对所述二维骨骼关键点的时序坐标序列进行处理,获取三维骨骼关键点的时序坐标序列之后,还包括:对所述三维骨骼关键点的时序坐标序列进行滤波和插值处理,以删除所述三维骨骼关键点的...

【专利技术属性】
技术研发人员:夏羽乾陈现岭颉毅刘进朝李洋胡束芒
申请(专利权)人:长城汽车股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1