一种基于摄像头和IMU数据混合的实时全身动捕系统、方法技术方案

本发明专利技术公开一种基于摄像头和IMU数据混合的实时全身动捕系统、方法，其中方法包括：采集人体的视频帧图像；根据视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；根据所预测的各人体关节在三维空间中的坐标位置构建出人体骨架模型；通过摄像设备实时获取人体的运动姿态信息；利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；融合摄像设备和IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；根据校正后的关节运动姿态驱动人体骨架模型运动。本发明专利技术集成了视觉动捕技术和IMU惯性测量技术的优点，可有效保证动捕数据的获取精度，确保了驱动人体骨骼模型运动的可靠性和稳定性。

【技术实现步骤摘要】
一种基于摄像头和IMU数据混合的实时全身动捕系统、方法
本专利技术涉及动作仿真
，具体涉及一种基于摄像头和IMU数据混合的实时全身动捕系统、方法。
技术介绍
近些年，低功耗全身动作捕捉在计算机视觉与自动化等领域都获得了广泛的关注。目前应用较为普遍的动作捕捉方法是通过视觉传感器实时捕捉人体运动姿态数据，然后根据所捕捉的人体运动姿态数据驱动人体骨骼模型运动。该方法具有应用成本低廉、实时性好等优点，但当出现人体部位遮挡时该方法无法准确识别出人体运动姿态，导致驱动人体骨骼模型运动中断，所以该方法存在动捕驱动可靠性和稳定性较差的缺点。为了解决视觉传感器捕捉动捕数据可靠性和稳定性较差的问题，近些年提出了利用微惯性测量单元(IMU)捕捉动捕数据并驱动人体骨骼模型运动的方法，虽然IMU技术解决了视觉传感器因视觉遮挡而无法驱动人体骨骼模型运动的问题，但IMU动捕方法对高动态的姿态运动响应较差，数据采集精度会随时间推移而下降，而且易受外界环境磁场影响，最致命的缺陷是误差累积和数据漂移，无法长时间使用。
技术实现思路
本专利技术的目的在于提供一种基于摄像头和IMU数据混合的实时全身动捕系统、方法，以解决上述技术问题。为达此目的，本专利技术采用以下技术方案：提供一种基于摄像头和IMU数据混合的实时全身动捕系统，包括：图像采集模块，用于通过摄像设备采集人体的视频帧图像；骨架关节预测模块，连接所述图像采集模块，用于根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；<br>人体骨架模型构建模块，连接所述骨架关节预测模块，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；人体姿态信息获取模块，用于通过所述摄像设备实时获取人体的运动姿态信息；IMU关节姿态获取模块，用于利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；人体姿态校正模块，分别连接所述人体姿态信息获取模块和所述IMU关节姿态获取模块，用于融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；人体模型驱动模块，分别连接所述人体骨架模型构建模块、所述人体姿态信息获取模块和所述人体姿态校正模块，用于根据所述摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动所述人体骨架模型运动。作为本专利技术的一种优选方案，每个所述IMU节点中包括一用于检测关节运动姿态的IMU芯片和通信连接所述IMU芯片的数据收发器，所述数据收发器将所述IMU芯片检测到的关节运动姿态数据发送给sink节点，所述sink节点将每个所述IMU节点发送的关节运动姿态数据发送给智能终端，所述智能终端根据从所述sink节点处接收到的关节运动姿态数据和所述摄像设备实时获取的关节运动姿态数据对人体姿态进行实时解算，以优化所述人体骨架模型的运动姿态。作为本专利技术的一种优选方案，所述IMU芯片的具体型号为MPU9150，也可以是任意一种带有三轴加速度、三轴陀螺仪和地磁仪的芯片。作为本专利技术的一种优选方案，所述数据收发器为CC2530型微处理器，也可以是任意一种同样性能的MCU。作为本专利技术的一种优选方案，通过下式估计所述IMU节点在当前采样时刻采集到的关节运动姿态：上式中，qest,t-1表示所述IMU节点在上一次采样时刻采集到的关节运动姿态；qest,t表示所述IMU节点在当前采样时刻采集的关节运动姿态；t为所述IMU节点的采样时间间隔；表示所述IMU节点利用陀螺仪角速度数据实现对关节运动姿态的更新；表示经由加速度计和地磁传感器数据计算出的姿态梯度；fg,m(g,a,m)表示经由所述加速度计和所述地磁传感器估计出的关节运动姿态；μt为t时刻重力场与地磁场对关节运动姿态的影响程度。作为本专利技术的一种优选方案，通过下式(2)计算而得：上式(2)中，[q0q1q2q3]为由四元数表示的所述IMU节点在上一采样时刻利用陀螺仪采集到的关节运动姿态；[ωxωyωz]分别表示当前采样时刻IMU节点上沿陀螺仪三个轴向的角速度。表示当前采样时刻所述IMU节点利用陀螺仪角速度数据估计出的关节运动姿态。作为本专利技术的一种优选方案，混合所述摄像设备获取的关节运动姿态数据和所述IMU节点估计的关节运动姿态数据的方法为：计算所述摄像设备获取的关节运动姿态的姿态值和所述IMU节点估计的同个人体关节的关节运动姿态的姿态值；赋予所述摄像设备获取的关节运动姿态的姿态值相对应的权重，并赋予所述IMU节点估计出的关节运动姿态的姿态值相对应的权重；通过下式(3)混合所述摄像设备获取的关节运动姿态和所述IMU节点对同个人体关节估算出的关节运动姿态：上式(3)中，表示数据混合后的人体关节姿态的估计值；z1表示所述摄像设备获取的关节运动姿态的姿态值；z2表示所述IMU节点估计的同个人体关节的关节运动姿态的姿态值；ω1表示所述摄像设备获取的关节运动姿态的姿态值对应的权重；ω2表示所述IMU节点在估计的同个人体关节的关节运动姿态的姿态值对应的权重。作为本专利技术的一种优选方案，通过下式(4)计算所述摄像设备获取的关节运动姿态的实际姿态值和所述IMU节点估计的关节运动姿态的实际姿态值：x表示所述摄像设备直接获取的或所述IMU节点初始估计的关节运动姿态的初始姿态值；v1表示所述摄像设备直接获取的所述初始姿态值与实际姿态值之间的随机误差；v2表示所述IMU节点初步估计的所述初始姿态值与实际姿态值之间的随机误差。本专利技术还提供了一种基于摄像头和IMU数据混合的实时全身动捕方法，通过所述系统实现，所述方法包括如下步骤：通过摄像设备采集人体的视频帧图像；根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；根据所预测的各人体关节在三维空间中的坐标位置构建出所述人体骨架模型；通过所述摄像设备实时获取人体的运动姿态信息；利用捆绑在人体上的各个关节处的所述IMU节点实时获取相应关节的运动姿态；融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；根据摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动人体骨架模型运动。本专利技术集成了视觉动捕技术和IMU惯性测量技术的优点，应用成本低、不易受环境影响，而且可有效保证动捕数据的获取精度，确保了驱动人体骨骼模型运动的可靠性和稳定性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例所述的基于摄像头和IMU数据混合的实时全身动捕系统的系统结构本文档来自技高网...

【技术保护点】
1.一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，包括：/n图像采集模块，用于通过摄像设备采集人体的视频帧图像；/n骨架关节预测模块，连接所述图像采集模块，用于根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；/n人体骨架模型构建模块，连接所述骨架关节预测模块，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；/n人体姿态信息获取模块，用于通过所述摄像设备实时获取人体的运动姿态信息；/nIMU关节姿态获取模块，用于利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；/n人体姿态校正模块，分别连接所述人体姿态信息获取模块和所述IMU关节姿态获取模块，用于融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；/n人体模型驱动模块，分别连接所述人体骨架模型构建模块、所述人体姿态信息获取模块和所述人体姿态校正模块，用于根据所述摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动所述人体骨架模型运动。/n

【技术特征摘要】
1.一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，包括：
图像采集模块，用于通过摄像设备采集人体的视频帧图像；
骨架关节预测模块，连接所述图像采集模块，用于根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；
人体骨架模型构建模块，连接所述骨架关节预测模块，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；
人体姿态信息获取模块，用于通过所述摄像设备实时获取人体的运动姿态信息；
IMU关节姿态获取模块，用于利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；
人体姿态校正模块，分别连接所述人体姿态信息获取模块和所述IMU关节姿态获取模块，用于融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；
人体模型驱动模块，分别连接所述人体骨架模型构建模块、所述人体姿态信息获取模块和所述人体姿态校正模块，用于根据所述摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动所述人体骨架模型运动。


2.根据权利要求1所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，每个所述IMU节点中包括一用于检测关节运动姿态的IMU芯片和通信连接所述IMU芯片的数据收发器，所述数据收发器将所述IMU芯片检测到的关节运动姿态数据发送给sink节点，所述sink节点将每个所述IMU节点发送的关节运动姿态数据发送给智能终端，所述智能终端根据从所述sink节点处接收到的关节运动姿态数据和所述摄像设备实时获取的关节运动姿态数据对人体姿态进行实时解算，以优化所述人体骨架模型的运动姿态。


3.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，所述IMU芯片是MPU9150，也可以是任意一种带有三轴加速度、三轴陀螺仪和地磁仪的芯片。


4.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，所述数据收发器为CC2530型微处理器，也可以是任意一种同样性能的MCU。


5.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，通过下式估计所述IMU节点在当前采样时刻采集到的关节运动姿态：



上式中，qest,t-1表示所述IMU节点在上一次采样时刻采集到的关节运动姿态；
qest,t表示所述IMU节点在当前采样时刻采集的关节运动姿态；
t为所述IMU节点的采样时间间隔；

表示所述IMU节点利用陀螺仪角速度数据实现对关节运动姿态的更新；

表示经由加速度计和地磁传感器数据计算出的姿态梯度；
fg,m(g,a,m)表示经由所述加速度计和所述地磁传感器估计出的关节运动姿态；
μt为t时刻重力...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科深智科技有限公司，
类型：发明
国别省市：北京;11