基于人体动作捕捉的虚拟舞蹈训练方法及装置制造方法及图纸

本发明专利技术涉及虚拟现实技术领域，具体涉及基于人体动作捕捉的虚拟舞蹈训练方法及装置，所述方法通过实时捕捉人体在进行舞蹈动作时的加速度、速度和角速度等物理参数，以实时绘制运动曲线，再和标准的曲线进行对比，来纠正学员的舞蹈动作；与传统方法相比，本发明专利技术没有直接对学员进行舞蹈动作时的图像进行图像分析，也没有使用传感器直接获取学员的所有数据，而是通过设置基准点，基于基准点的参数来计算关键点的参数，这样可以显著降低系统的资源占用，使用了较少的传感器，而达到同样的效果，同时，本发明专利技术又使用删除了骨骼关系的两个关键点的位置关系来生成校正参数，以避免误差，提升了精度。了精度。了精度。

【技术实现步骤摘要】
基于人体动作捕捉的虚拟舞蹈训练方法及装置


[0001]本专利技术属于虚拟现实
，具体涉及基于人体动作捕捉的虚拟舞蹈训练方法及装置。

技术介绍

[0002]人体动作捕捉技术，简称人体动捕技术(MotionCapture,Mocap)是通过某些传感器，捕捉场景中人体运动的姿态或者运动数据，将这些运动姿态数据作为一种驱动数据去驱动虚拟形象模型或者进行行为分析。这里的传感器既可以是惯性传感器IMU，红外光信标(也可能是会发出红外光的摄像机)，也可以是RGB摄像头或者是RGBD摄像头等。根据人体是否有佩戴传感器和佩戴的传感器是否会主动发送定位信号，我们可以把人体动捕技术大致分为：被动形式的人体动捕技术和主动形式的人体动捕技术。
[0003]舞蹈是一种在三维空间里通过身体表演来表达情感的艺术，它以人体的动作、姿态造型作为表现形式。群众性体育舞蹈能够把体育、艺术与日常生活高度结合起来，具有雅俗共赏、全民参与的特点，对于陶冶情操、克服心理障碍、提升健康素质均有显著作用，是一种极为流行并具有强大发展潜力的群众性健身运动。
[0004]在对舞蹈者进行培养的过程中，对于舞蹈动作的训练和评估是十分重要的。传统的训练评估基本上单凭教练员的肉眼和经验，只能从宏观上大致了解自己的学习训练情况，涉及到具体的技术参数就无法判断，缺乏客观的、科学的指导方法和训练依据，不利于人才的选拔和培养。舞蹈的学习切忌要求不严格，舞蹈之美与每个精确、规范、完美的舞蹈动作是分不开的，如果学习过程中对舞蹈动作的规范程度要求不高，舞蹈动作将很难达到精湛的程度。传统的舞蹈分析工具都是通过视频摄像系统在整个舞蹈结束后来分析舞蹈者的舞蹈动作，本专利技术利用数字化场地和无线动作捕捉设备采集舞蹈者的动作信息并传输到电脑上，然后通过量化后的数据来实时分析舞蹈者的动作，并通过将舞蹈者实时采集得到的动作信息与舞蹈动作模板和知识库中动作信息进行对比来对舞蹈者的动作做出评估和实时指导。
[0005]专利号为CN201810548334.0A的专利公开了一种虚拟舞蹈教学方法及系统，方法包括舞蹈教练专业动作捕捉；动作库构建；根据动作库，驱动教练模型进行舞蹈教学等步骤；专利技术首先对专业舞蹈教练的动作进行捕捉，确定专业舞蹈的标准动作，再对标准动作进行骨骼对齐并以XML形式进行编码，经过优化确定基础动作后构建标准教练动作库；然后，构建虚拟舞蹈角色，对舞蹈教练与学员采样进行三维模型等比构建，接着用标准动作库的动作数据驱动教练模型，Kinect实时驱动学员模型，对舞蹈动作进行可视化展示，供学习者学习，最终通过评价算法(余弦特征值欧氏距离)进行舞蹈动作的评价以供学习者进行反思。该方法虽然通过Kinect实时采集学员模型，实现了人体在进行舞蹈时的动作捕捉和采集，但其精度依然较低，且需要基于构建的动作库和构建的三维模型来实现，实时性也较低。

技术实现思路

[0006]有鉴于此，本专利技术的主要目的在于提供基于人体动作捕捉的虚拟舞蹈训练方法及装置，与传统方法相比，本专利技术没有直接对学员进行舞蹈动作时的图像进行图像分析，也没有使用传感器直接获取学员的所有数据，而是通过设置基准点，基于基准点的参数来计算关键点的参数，这样可以显著降低系统的资源占用，使用了较少的传感器，而达到同样的效果，同时，本专利技术又使用删除了骨骼关系的两个关键点的位置关系来生成校正参数，以避免误差，提升了精度。
[0007]为达到上述目的，本专利技术的技术方案是这样实现的：
[0008]基于人体动作捕捉的虚拟舞蹈训练方法及装置，所述方法执行以下步骤：
[0009]步骤1：设置人体基准点，具体包括：在人体的足部，手部和头部设置基准点；其中，手部基准点包括两个对称设置的基准点，手部基准点位于人体手掌位置；足部基准点包括两个对称设置的基准点，足部基准点位于人体脚掌位置；头部基准点位于人体头顶位置；
[0010]步骤2：以设置的人体基准点为参照点，生成人体平面模型，同时，在人体平面模型中，使用预设的关键点生成模型在人体均匀生成11个关键点；将每个基准点与相邻的最近的关键点进行骨骼连接，每个关键点与相邻的最近的关键点进行骨骼连接；骨骼连接完成后，再随机筛选出两个骨骼连接的关键点，删除这两个关键点的骨骼连接关系，并在这两个关键点之间设置一个观察计算器；所述观察计算器将实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数；
[0011]步骤3：在人体与基准点对应的位置设置多个运动传感器，以实时获取人体运动的物理参数；所述物理参数包括：加速度、速度和角速度；
[0012]步骤4：实时获取教师在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成目标舞蹈动作的标准物理参数曲线；
[0013]步骤5：实时获取学员在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成学员完成目标舞蹈动作的练习曲线；
[0014]步骤6：比对目标舞蹈动作的标准物理参数曲线与学员完成目标动作的练习曲线，以找到差异部分，基于差异部分的曲线所对应的时刻，以找到学员完成目标舞蹈动作时出现问题的部分。
[0015]进一步的，所述步骤4中，生成目标舞蹈动作的标准物理参数曲线的方法，具体包括：获取教师在完成目标舞蹈动作时在每个时刻的加速度、速度和角速度，并基于基准点与关键点，以及关键点之间的骨骼连接关系，以预设的数据转换模型，得到每个关键点在每个时刻的加速度、速度和角速度；绘制教师在完成目标舞蹈动作时，每个基准点和关键点随着时间变化的加速度曲线、速度曲线和角速度曲线。
[0016]进一步的，所述数据转换模型包括：加速度数据转换模型、角速度数据转换模型和速度数据转换模型；所述加速度数据转换模型，基于基准点在每个时刻的加速度，生成关键点在每个时刻的加速度；所述角速度数据转换模型，基于基准点在每个时刻的角速度，生成关键点在每个时刻的角速度；所述速度数据转换模型，基于基准点在每个时刻的速度，生成关键点在每个时刻的速度。
[0017]进一步的，所述加速度数据转换模型使用如下公式进行表示：
其中，α
k
为转换得到的关键点的加速度；α
b
为与该关键点距离最近的基准点的加速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；t
max
表示目标舞蹈动作的时间长度。
[0018]进一步的，所述角速度数据转换模型使用如下公式进行表示：其中，r
k
为转换得到的关键点的角速度；r
b
为与该关键点距离最近的基准点的角速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；t
max
表示目标舞蹈动作的时间长度。
[0019]进一步的，所述速度数据转换模型使用如下公式进行表示：进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人体动作捕捉的虚拟舞蹈训练方法及装置，其特征在于，所述方法执行以下步骤：步骤1：设置人体基准点，具体包括：在人体的足部，手部和头部设置基准点；其中，手部基准点包括两个对称设置的基准点，手部基准点位于人体手掌位置；足部基准点包括两个对称设置的基准点，足部基准点位于人体脚掌位置；头部基准点位于人体头顶位置；步骤2：以设置的人体基准点为参照点，生成人体平面模型，同时，在人体平面模型中，使用预设的关键点生成模型在人体均匀生成11个关键点；将每个基准点与相邻的最近的关键点进行骨骼连接，每个关键点与相邻的最近的关键点进行骨骼连接；骨骼连接完成后，再随机筛选出两个骨骼连接的关键点，删除这两个关键点的骨骼连接关系，并在这两个关键点之间设置一个观察计算器；所述观察计算器将实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数；步骤3：在人体与基准点对应的位置设置多个运动传感器，以实时获取人体运动的物理参数；所述物理参数包括：加速度、速度和角速度；步骤4：实时获取教师在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成目标舞蹈动作的标准物理参数曲线；步骤5：实时获取学员在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成学员完成目标舞蹈动作的练习曲线；步骤6：比对目标舞蹈动作的标准物理参数曲线与学员完成目标动作的练习曲线，以找到差异部分，基于差异部分的曲线所对应的时刻，以找到学员完成目标舞蹈动作时出现问题的部分。2.如权利要求1所述的方法，其特征在于，所述步骤4中，生成目标舞蹈动作的标准物理参数曲线的方法，具体包括：获取教师在完成目标舞蹈动作时在每个时刻的加速度、速度和角速度，并基于基准点与关键点，以及关键点之间的骨骼连接关系，以预设的数据转换模型，得到每个关键点在每个时刻的加速度、速度和角速度；绘制教师在完成目标舞蹈动作时，每个基准点和关键点随着时间变化的加速度曲线、速度曲线和角速度曲线。3.如权利要求2所述的方法，其特征在于，所述数据转换模型包括：加速度数据转换模型、角速度数据转换模型和速度数据转换模型；所述加速度数据转换模型，基于基准点在每个时刻的加速度，生成关键点在每个时刻的加速度；所诉角速度数据转换模型，基于基准点在每个时刻的角速度，生成关键点在每个时刻的角速度；所述速度数据转换模型，基于基准点在每个时刻的速度，生成关键点在每个时刻的速度。4.如权利要求3所述的方法，其特征在于，所述加速度数据转换模型使用如下公式进行表示：其中，α
k
为转换得到的关键点的加速度；α
b
为与该关键点距离最...

【专利技术属性】
技术研发人员：曹鹏，王海华，
申请(专利权)人：琼台师范学院，
类型：发明
国别省市：