一种基于姿态角解算与骨骼绑定的虚拟场景交互方法技术

本发明专利技术涉及信息交互技术领域，尤其涉及一种基于姿态角解算与骨骼绑定的虚拟场景交互方法。本发明专利技术在Android端使用视觉传感器采集人体各关节位置点数据，并获取人体各关节位置点下的动作捕捉数据；将所述动作捕捉数据进行姿态角解算后，传送至Unreal Engine中进行坐标系变换并生成运动状态数据，在所述Unreal Engine中将运动状态数据与Unreal Engine骨骼模型绑定并对骨骼模型进行实时渲染后，得到人体动作识别的虚拟场景实时交互控制。本发明专利技术中使用基于姿态角解算与骨骼绑定算法进行现实与虚拟环境中的动作数据映射，可将构建的骨骼模型进行任意场景下与任意角色的渲染，用以摆脱用于用户运动范围的限制，为用户提供沉浸式运动体验。运动体验。运动体验。

【技术实现步骤摘要】
一种基于姿态角解算与骨骼绑定的虚拟场景交互方法


[0001]本专利技术涉及信息交互
，尤其涉及一种基于姿态角解算与骨骼绑定的虚拟场景交互方法。

技术介绍

[0002]现阶段，虚拟现实技术广泛应用各行各业之中，通过对人体运动状态进行动作捕捉，并将其应用于虚幻引擎中进行同步运动控制，用以帮助用户摆脱环境与空间的限制，并带来沉浸式的运动与娱乐体验。但是现有的虚幻引擎交互过程中，通常采用光学设备与惯性设备进行人体运动状态的动作捕捉，在使用成本较高的基础上，还存在穿戴复杂导致人体运动不灵活的问题，同时市场上大部分的动作捕捉产品，是通过预先建立运动状态列表，根据人体运动状态与运动状态列表匹配的方式进行动作捕捉的，此种方式极大的限制了人体运动范围，最终影响用户在进行虚幻引擎交互过程中的交互体验。
[0003]公开号为CN103440037B的中国专利，提供了一种基于有限输入信息的虚拟人体运动实时交互控制方法，此专利中使用穿戴传感器进行人体运动状态的识别，同时在人体各关节点建立坐标系进行动作数据捕捉，但是此专利中对各关节点分别建立坐标系并进行关节运动数据采集的方式需进行大量的坐标归一化计算，同时关节与关节之间的运动数据还可能存在误差，从而导致交互真实性较差。公开号为CN112090062A的中国专利，提供了一种交互式练习虚拟场景显示方法、系统、终端及介质，此专利中根据虚拟课程中的运动数据建立运动数据列表，并驱动用户根据运动数据列表中的运动状态进行运动执行，极大限制了用户可运动范围，无法进一步实现用户的自主运动交互控制。
[0004]因此，针对现有的虚拟场景交互过程中存在的问题，本专利技术中提供了一种基于姿态角解算与骨骼绑定的虚拟场景交互方法。

技术实现思路

[0005]针对上述存在的问题，本专利技术中提供的基于姿态角解算与骨骼绑定的虚拟场景交互方法，在Android端使用视觉传感器采集人体各关节位置点数据，并获取人体各关节位置点下的动作捕捉数据；将所述动作捕捉数据进行姿态角解算后，传送至Unreal Engine中进行坐标系变换并生成运动状态数据，在所述Unreal Engine中将运动状态数据与Unreal Engine骨骼模型绑定并对骨骼模型进行实时渲染后，得到人体动作识别的虚幻引擎实时交互控制。
[0006]优选的，所述姿态角解算，以人体为基准建立人体坐标系，并将人体坐标系下的人体运动数据转换至Android端坐标系中。
[0007]优选的，所述坐标系变换，建立基于Android端输出的动作捕捉数据与Unreal Engine端输入的动作捕捉数据在不同坐标原点下的姿态角方向变换。
[0008]优选的，所述运动状态数据中，建立了平滑函数计算与阈值检测方法，并进行人体各关节位置点下的初始姿态修正。
[0009]优选的，所述平滑函数计算，对动作捕捉得到的姿态角度值设定取整阈值，所述取整阈值根据单个姿态角度值与其相邻姿态角度值的差值进行动态调整。
[0010]优选的，所述阈值检测方法中，若识别得到的运动姿态超出所设定的阈值范围时，则判定所述运动姿态为非法运动姿态。
[0011]优选的，所述实时渲染后，将渲染完成的骨骼模型通过云服务器推流并通过Android拉流，从而建立交互视频流循环并进行虚幻引擎下的人体动作识别交互。
[0012]优选的，所述虚幻引擎下的人体动作识别交互中，采用UDP通信在Unreal Engine中实时接收Android端输出的动作捕捉数据。
[0013]优选的，在所述Unreal Engine中，通过修改骨骼模型位置点旋转角进行骨骼模型绑定。
[0014]优选的，在所述Unreal Engine中，将摄像位置点与骨骼模型之间设定距离间隔，在Unreal Engine中生成用户沉浸式运动视角。
[0015]与现有技术相比，本专利技术的有益效果在于：
[0016](1)本专利技术中提供的虚拟场景交互方法中，使用基于姿态角解算与骨骼绑定算法进行现实与虚拟环境中的动作数据映射，可将构建的骨骼模型进行任意场景下与任意角色的渲染，用以摆脱用于用户运动范围的限制，为用户提供沉浸式运动体验。
[0017](2)在(1)的基础上，本专利技术中所述的姿态角解算方法中，使用2D摄像头进行人体各关节位置点的三维数据捕捉，既实现了人体运动状态的全方位识别计算，由克服了三维动作识别设备使用成本高，计算数据量大的问题。
[0018](3)在(2)的基础上，本专利技术中通过建立平滑函数计算与阈值检测方法，通过将计算得到的姿态角进行平滑处理，用以防止在进行骨架模型渲染时出现抖动问题。
[0019](4)在(3)的基础上，本专利技术中所述虚拟场景交互方法，使用具有超强的并行计算能力GPU云服务器，同时可进行图像渲染与视频编解码，在系统执行过程中使用RTMP格式并从云端推流，可以实现高并发、低延迟、高可靠性的视频直播服务。
[0020](5)在(4)的基础上，本专利技术从云服务器上拉取视频流进行播放，使用VLC播放器，从云服务器上拉取视频流进行播放，实现用户动作实时映射的效果，有助于提高用户虚拟交互过程中的动作更新的流畅度。
附图说明
[0021]图1为基于姿态角解算与骨骼绑定的虚拟场景交互方法流程图。
具体实施方式
[0022]实施例：
[0023]本实施例中提供了一种基于姿态角解算与骨骼绑定的虚拟场景交互方法，如图1所示，具体虚拟场景交互方法为：
[0024]S1、在Android端使用视觉传感器采集人体各关节位置点数据，并获取人体各关节位置点下的动作捕捉数据；
[0025]具体的，所述使用视觉传感器采集人体各关节位置点数据中，所述视觉传感器为2D摄像头。其中，传统的动作捕捉多采用2D摄像头，但所述2D摄像头只能捕捉XY轴的平面画
面，无法绘制3D模型并感知Z轴变换数据，本专利技术通过建立姿态角解算方法，用以同步计算XYZ轴的仿真映射变换，从而使用2D摄像头即可推测被操控角色在三维空间中的位置和方向，从而实现二维数据到三维数据的转换。
[0026]S2、将所述动作捕捉数据进行姿态角解算后，传送至Unreal Engine中；
[0027]具体的，所述姿态角解算，以人体为基准建立人体坐标系，采集所述人体坐标系下人体运动过程中各关节位置点的空间角度变化值，所述空间角度变化值即为姿态角，通过所述姿态角解算用以将人体坐标系下的人体运动数据转换为Android端坐标系，所述姿态角解算中，本专利技术在单个关节位置点下设当前节点为A，父节点为B，子节点为C，则由与的姿态角在x，y，z三个方向上均可用点积公式求得，其计算公式如下：
[0028][0029]S3、在所述Unreal Engine中对姿态角解算后的动作捕捉数据进行坐标系变换，并在Unreal Engine中生成运动状态数据；
[0030]其中，由于本专利技术中在Android端输出的动作捕捉数据与Unreal Engine端输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态角解算与骨骼绑定的虚拟场景交互方法，其特征在于，在Android端使用视觉传感器采集人体各关节位置点数据，并获取人体各关节位置点下的动作捕捉数据；将所述动作捕捉数据进行姿态角解算后，传送至Unreal Engine中进行坐标系变换并生成运动状态数据，在所述Unreal Engine中将运动状态数据与Unreal Engine骨骼模型绑定并对骨骼模型进行实时渲染后，得到人体动作识别的虚拟场景实时交互控制。2.根据权利要求1所述基于姿态角解算与骨骼绑定的虚拟场景交互方法，其特征在于，所述姿态角解算，以人体为基准建立人体坐标系，并将人体坐标系下的人体运动数据转换至Android端坐标系中。3.根据权利要求1所述基于姿态角解算与骨骼绑定的虚拟场景交互方法，其特征在于，所述坐标系变换，建立基于Android端输出的动作捕捉数据与Unreal Engine端输入的动作捕捉数据在不同坐标原点下的姿态角方向变换。4.根据权利要求3所述基于姿态角解算与骨骼绑定的虚拟场景交互方法，其特征在于，所述运动状态数据中，建立了平滑函数计算与阈值检测方法，并进行人体各关节位置点下的初始姿态修正。5.根据权利要求4所述基于姿态角解算与骨骼绑定的虚拟场景交互方法，其特征在于，所述平滑函数...

【专利技术属性】
技术研发人员：李伟，
申请(专利权)人：苏州酷约网络科技有限公司，
类型：发明
国别省市：