虚拟人的驱动方法、装置、存储介质和电子设备制造方法及图纸

本申请提出了一种虚拟人的驱动方法、装置、存储介质和电子设备。该虚拟人的驱动方法包括：根据采集的第一人体图像，确定人体关节的第一旋转矩阵；对第一旋转矩阵添加约束矩阵，确定人体关节的第二旋转矩阵，约束矩阵对应于人体关节的物理约束条件；对第二旋转矩阵进行平滑处理，确定人体关节的目标旋转矩阵；根据目标旋转矩阵驱动虚拟人动作。根据目标旋转矩阵驱动虚拟人动作。根据目标旋转矩阵驱动虚拟人动作。

【技术实现步骤摘要】
虚拟人的驱动方法、装置、存储介质和电子设备


[0001]本申请涉及虚拟人
，具体而言，涉及一种虚拟人的驱动方法、装置、存储介质和电子设备。

技术介绍

[0002]利用真实人体动作对虚拟人进行驱动，是当前虚拟人驱动的主要方法。如何使得所驱动的虚拟人动作更为自然流畅，是虚拟人驱动中所要解决的主要问题之一。

技术实现思路

[0003]本申请旨在至少解决相关技术中存在的技术问题之一。
[0004]为此，本申请的第一个方面在于提出一种虚拟人的驱动方法。
[0005]本申请的第二个方面在于提出一种虚拟人的驱动装置。
[0006]本申请的第三个方面在于提出另一种虚拟人的驱动装置。
[0007]本申请的第四个方面在于提出一种可读存储介质。
[0008]本申请的第五个方面在于提出一种电子设备。
[0009]本申请的第六个方面在于提出一种计算机程序产品。
[0010]有鉴于此，根据本申请的一个方面，提出了一种虚拟人的驱动方法，该驱动方法包括：根据采集的第一人体图像，确定人体关节的第一旋转矩阵；对第一旋转矩阵添加约束矩阵，确定人体关节的第二旋转矩阵，约束矩阵对应于人体关节的物理约束条件；对第二旋转矩阵进行平滑处理，确定人体关节的目标旋转矩阵；根据目标旋转矩阵驱动虚拟人动作。
[0011]需要说明的是，本申请所提出的虚拟人的驱动方法的执行主体可以是虚拟人的驱动装置，为了更加清楚的对本申请提出的虚拟人的驱动方法进行说明，下面技术方案中以虚拟人的驱动方法的执行主体为虚拟人的驱动装置进行示例性说明。
[0012]在该技术方案中，上述第一人体图像表示在视频中采集的某一帧图像，上述约束矩阵表示对于人体关节的物理约束条件，物理约束条件表示限制人体关节的运动，避免其动作超出一定的限度的条件；上述旋转矩阵表示人体关节姿态的一种数学表达形式，上述第一旋转矩阵表示通过人体姿态检测网络检测出的人体关节的旋转矩阵，上述目标旋转矩阵表示通过平滑处理后的第二旋转矩阵。
[0013]具体地，驱动装置首先根据从视频中采集到的第一人体图像，确定出虚拟人每个人体关节的旋转矩阵，即上述第一旋转矩阵。具体而言，驱动装置可以通过将上述第一人体图像输入至人体姿态检测网络的方式，确定该第一旋转矩阵，但不限于此。
[0014]进一步地，检测装置对人体关节的第一旋转矩阵添加约束矩阵，以确定出经过物理修正后的旋转矩阵，即上述第二旋转矩阵。具体而言，通过第一旋转矩阵可以明确每个人体关节在空间坐标XYZ三轴之间的动作情况，通过添加约束矩阵，可以限制上述人体关节在XYZ三轴中哪个轴上动作，以及在每个轴上动作的极限。因此，驱动装置可以通过对人体关节的第一旋转矩阵添加约束矩阵的方式，对第一旋转矩阵进行修正和限制，得出修正后的
第二旋转矩阵。
[0015]进一步地，驱动装置平滑处理添加约束矩阵后得出的第二旋转矩阵，以确定用于驱动上述虚拟人肢体动作的目标旋转矩阵。
[0016]具体而言，如果直接根据上述第二旋转矩阵驱动上述虚拟人肢体动作，可能会由于第二旋转矩阵中某些参数之间关系不合理，例如，上述人体关节动作的加速度和该人体关节所受的外力之间的关系不合理，使得驱动虚拟人肢体动作时会发生抖动，所以，驱动装置需要平滑处理上述第二旋转矩阵，以得出平滑处理后的目标旋转矩阵。
[0017]进一步地，驱动装置根据上述目标旋转矩阵对上述虚拟人进行驱动，以使上述虚拟人的肢体呈现出与第一人体图像相适应的动作。
[0018]在该技术方案中，驱动装置能够根据从视频中采集到的第一人体图像，确定出虚拟人每个人体关节的第一旋转矩阵，能够对该第一旋转矩阵添加约束矩阵确定第二旋转矩阵，能够对该第二旋转矩阵中的参数进行平滑处理确定出目标旋转矩阵，能够根据该目标旋转矩阵驱动虚拟人肢体动作。在本申请的技术方案中，驱动装置在用于驱动虚拟人肢体动作的目标矩阵添加了约束矩阵并进行了平滑处理，这样，使得虚拟人做出的动作不会违反物理常理，且动作过程中不会抖动，解决了相关技术中，直接运用人体姿态检测网络的检测结果驱动虚拟人做动作可能会违反物理常理，并存在抖动的问题，保证了虚拟人的驱动效果。
[0019]此外，根据本专利技术的上述技术方案提出的虚拟人的驱动方法，还可以具有以下附加技术特征：
[0020]在上述技术方案中，对第一旋转矩阵添加约束矩阵，确定人体关节的第二旋转矩阵的步骤具体包括：以人体关节的子关节的第一旋转矩阵作为约束矩阵；将约束矩阵补偿给人体关节的第一旋转矩阵，确定第二旋转矩阵。
[0021]在该技术方案中，驱动装置能够通过将子关节对应的第一旋转矩阵作为约束矩阵，并将该约束矩阵补偿给人体关节的第一旋转矩阵对虚拟人肢体动作进行物理约束，确定出虚拟人每个人体关节的第二旋转矩阵。这样，限制了人体关节在XYZ轴上的转动以及人体关节相对于人体的位置关系，保证了驱动虚拟人肢体动作时不会出现违反物理常理的情况。
[0022]在上述技术方案中，不同的子关节的第一旋转矩阵不相同。
[0023]在该技术方案中，不同人体关节的子关节是不相同的，例如，大腿的子关节为小腿，手肘的子关节为手臂。可以理解的是，不同的子关节的第一旋转矩阵也是不相同的，所以对于不同人体关节添加的约束矩阵也是不相同的。在上述技术方案中，对第二旋转矩阵进行平滑处理，确定人体关节的目标旋转矩阵的步骤具体包括：根据第二旋转矩阵确定人体关节动作的第一加速度和人体关节受到的第一外力；根据第一加速度和第一外力确定人体关节的第一位置；根据第一位置确定目标旋转矩阵。
[0024]在该技术方案中，驱动装置可以将根据上述第二旋转矩阵求解出人体关节的第一加速度以及第一外力，可以通过求解第一加速度与第一外力的最优关系确定出平滑处理后的人体关节的第一位置，可以根据第一位置反推出目标旋转矩阵。这样，使得用于驱动虚拟人肢体动作的目标旋转矩阵经过了平滑处理，保证了驱动虚拟人肢体动作的过程中不会抖动。
[0025]在上述技术方案中，根据第二旋转矩阵确定人体关节动作的第一加速度和人体关节受到的第一外力的步骤具体包括：根据第二旋转矩阵确定人体关节的第二位置；获取第二人体图像和第三人体图像，以及第二人体图像和第三人体图像的采集时刻信息；确定第二人体图像中人体关节的第一历史位置和第三人体图像中人体关节的位置第二历史位置；根据第一历史位置、第二历史位置、第二位置和采集时刻信息，确定人体关节动作的第一速度和第一加速度；根据第二位置、第一速度和第一加速度确定第一外力；其中，第二人体图像和第三人体图像为在第一人体图像之前采集的图像。
[0026]在该技术方案中，驱动装置是根据添加约束矩阵后得出的第二旋转矩阵求解虚拟人每个人体关节受到的第一外力和每个人体关节的第一加速度，这保证了确定出的第一外力和第二加速度的准确性，进而保证了后续步骤中确定出的目标旋转矩阵的准确性。
[0027]在上述技术方案中，根据第一历史位置、第二历史位置和第二位置确定人体关节动作的第一速度和第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟人的驱动方法，其特征在于，包括：根据采集的第一人体图像，确定人体关节的第一旋转矩阵；对所述第一旋转矩阵添加约束矩阵，确定所述人体关节的第二旋转矩阵，所述约束矩阵对应于所述人体关节的物理约束条件；对所述第二旋转矩阵进行平滑处理，确定人体关节的目标旋转矩阵；根据所述目标旋转矩阵驱动所述虚拟人动作。2.根据权利要求1所述的虚拟人的驱动方法，其特征在于，所述对所述第一旋转矩阵添加约束矩阵，确定所述人体关节的第二旋转矩阵，具体包括：以所述人体关节的子关节的所述第一旋转矩阵作为所述约束矩阵；将所述约束矩阵补偿给所述人体关节的第一旋转矩阵，确定所述第二旋转矩阵。3.根据权利要求2所述的虚拟人的驱动方法，其特征在于，不同的所述子关节的所述第一旋转矩阵不相同。4.根据权利要求1至3中任一项所述的虚拟人的驱动方法，其特征在于，所述对所述第二旋转矩阵进行平滑处理，确定人体关节的目标旋转矩阵，具体包括：根据所述第二旋转矩阵确定所述人体关节动作的第一加速度和所述人体关节受到的第一外力；根据所述第一加速度和所述第一外力确定所述人体关节的第一位置；根据所述第一位置确定所述目标旋转矩阵。5.根据权利要求4所述的虚拟人的驱动方法，其特征在于，所述根据所述第二旋转矩阵确定所述人体关节动作的第一加速度和所述人体关节受到的第一外力，具体包括：根据所述第二旋转矩阵确定所述人体关节的第二位置；获取第二人体图像和第三人体图像，以及所述第二人体图像和所述第三人体图像的采集时刻信息；确定所述第二人体图像中所述人体关节的第一历史位置和所述第三人体图像中所述人体关节的位置第二历史位置；根据所述第一历史位置、所述第二历史位置、所述第二位置和所述采集时刻信息，确定所述人体关节动作的第一速度和第一加速度；根据所述第二位置、所述第一速度和所述第一加速度确定所述第一外力；其中，所述第二人体图像和所述第三人体图像为在所述第一人体图像之前采集的图像。6.根据权利要求5所述的虚拟人的驱动方法，其特征在于，所述根据所述第一历史位置、所述第二历史位...

【专利技术属性】
技术研发人员：汤志斌，贺天童，区志财，唐剑，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：