【技术实现步骤摘要】
本专利技术涉及虚拟现实交互控制领域，特别涉及一种基于身体追踪的vr多人交互系统及方法。
技术介绍
1、虚拟现实(vi rtua l rea l ity，简称vr)技术是一种通过计算机生成的完全虚拟的三维环境，增强用户对虚拟世界的感知和交互体验，其主要依赖于计算机图形学、传感器技术和人机交互技术，通过头戴式显示器(head-mounted di sp l ay)及其他设备(手柄、手套)与虚拟世界进行交互。在现有的vr应用场景中，用户往往通过佩戴hmd设备配合手柄来实现场景中的一些交互与操作，尽管hmd能为用户提供给视觉上的沉浸体验，但交互方式则与真实的自然交互相差甚远，这种方式的交互缺乏沉浸感与真实性，导致用户的体验不够自然。
2、现有技术的vr设备只能进行单人体验和操控，无法满足多人之间真实交互的需求，传统的采用手柄进行用户虚拟交互的方式存在交互效率低下，准确性地、操控复杂等缺陷，无法满足真实性、参与性、沉浸式交互的要求。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提供一种基于身体追踪的vr多人交互系统及方法，通过集成高精度身体追踪与vr系统，使用户能够直接通过身体动作(如手势、步伐等)与虚拟环境进行交互，从而提升交互的自然性和沉浸感，实现多人交互的目的。
2、为了实现上述目的，本专利技术采用的技术方案为：一种基于身体追踪的vr多人交互系统，包括图像采集模块、身体追踪单元、多人交互单元和vr设备，其中用户佩戴vr设备，vr设备用于向用户呈现虚
3、所述图像采集模块采用双目摄像头对实际环境以及目标用户的动作、移动的运动数据进行追踪与采集。
4、所述双目摄像头设置在用户佩戴vr的实际场景中，其中所述双目摄像头的视口包含有所有可运动范围，采集与追踪可运动范围内的实际环境数据以及在当前实际环境中用户的肢体动作、移动的运动数据。
5、所述vr设备包括hmd头部显示器，用于呈现虚拟现实场景，用户通过vr设备看到自身运动带来的画面变化、实时交互产生的效果以及其他用户于虚拟场景中的位置、动作、运动以及正在交互的内容模块。
6、所述身体追踪单元包括人体检测模块，利用双目摄像头所采集的用户图像，通过神经网络推断所有2d的骨骼以及关键点，并最终提取出一套与双目摄像头采集的用户相匹配的骨骼架构。
7、所述人体追踪单元还包括人体适配模块，所述人体适配模块将人体检测模块所提取的骨骼架构绑定至预设的人物模型上，并随着用户所产生的动作对人物模型进行稳定的3d运动模拟以驱动任务模型跟随运动。
8、所述多人交互单元包括服务端模块，用于存储各客户端的同步状态，接收客户端所上传的更新同步信息，当接收到一个客户端上传同步信息后，服务端模块将下发该同步信息至其他客户端，服务端模块还用于动态生成人物模型物体，不同用户的人物模型物体包含不同用户信息。
9、所述多人交互单元还包括客户端模块，该模块用于运行本地虚拟现实场景，用于向服务端模块上传当前客户端的同步信息以及该客户端用户所进行的操作，用于接收服务端模块下发的其他客户端的同步信息并实时更新虚拟现实场景信息。
10、所述多人交互单元通过处理实现渲染输出虚拟现实场景、实时渲染用户交互产生的场景并输出至vr设备中进行展示。
11、一种基于身体追踪的vr多人交互方法，包括用户佩戴vr设备后通过双目摄像头采集用户的动作移动数据和环境参数信息并发送至身体追踪单元中进行用户动作信息和环境参数信息的处理并发送至多人交互单元中，多人交互单元对身体追踪单元上传的数据进行处理得到对应的虚拟现实场景并送入到vr设备中进行展示。
12、本专利技术的优点在于：可以让用户通过自身的运动动作来与虚拟现实场景进行交互，可以让多名用户在同一个虚拟现实场景中进行场景交互以及用户交互，利用vr和身体追踪进行虚拟场景的多人交互，提高交互深度，提升用户体验沉浸感，加强虚拟场景本身内容的实际使用效果。具体的技术效果为：
13、1、提升交互深度与沉浸感：通过双目摄像头实时追踪用户的动作与空间位置信息，并将其精确投射到虚拟现实场景中，使用户能够通过自身的运动直接与虚拟环境进行交互，极大地增加了交互的实时感和沉浸感。身体追踪技术使用户在vr体验中感受到更深的参与度和更自然的交互方式。
14、2、实现高效的多人同步互动：多人交互单元能够实时存储、更新和同步各用户的状态信息，确保多名用户在同一个虚拟现实场景中的交互行为能够同步进行，提升了多人交互的体验质量，扩展了vr在远程协作、培训教育等其他领域的应用潜力。
15、3、提高检测精度和适应性：身体追踪单元采用先进的神经网络技术和多种检测类型，能够准确推断用户的骨骼架构和关键点，从而实现对用户动作的精确捕捉和模拟。同时，人体适配模块通过绑定预设的人物模型，并实时模拟用户的3d运动，提高了系统对不同用户的适应性和检测精度。
16、4、增加系统灵活性与可扩展性：多人交互单元采用服务端和客户端分离的设计，既支持专用服务端模式，也支持主机服务端模式，这种模式提高了系统的灵活性和可扩展性，能够适应不同规模和复杂程度的应用场景。
17、5、优化用户体验与场景内容：通过身体追踪和多人交互技术的结合，能够为用户提供更加丰富、多样的虚拟现实互动体验。同时，也提升了虚拟场景内容的实际使用效果，使场景内容更加生动、逼真，从而进一步增强用户的满意度。
本文档来自技高网...【技术保护点】
1.一种基于身体追踪的VR多人交互系统，其特征在于：包括图像采集模块、身体追踪单元、多人交互单元和VR设备，其中用户佩戴VR设备，VR设备用于向用户呈现虚拟现实场景；图像采集模块用于对佩戴VR设备的用户进行运动数据的采集和追踪以及对用户所处实际环境进行采集，其输出端连接至身体追踪单元；所述身体追踪单元用于对图像采集模块采集的数据进行处理并得到身体动作姿态数据，其输出端连接多人交互单元，所述多人交互单元用于存储场景中各用户的同步状态、接收更新同步信息、下发同步数据以及动态生成多用户模型，其与用户佩戴的VR设备连接，向其发送多人交互单元处理后的虚拟现实场景数据。
2.如权利要求1所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述图像采集模块采用双目摄像头对实际环境以及目标用户的动作、移动的运动数据进行追踪与采集。
3.如权利要求2所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述双目摄像头设置在用户佩戴VR的实际场景中，其中所述双目摄像头的视口包含有所有可运动范围，采集与追踪可运动范围内的实际环境数据以及在当前实际环境中用户的肢体动作、移动的运
4.如权利要求1所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述VR设备包括HMD头部显示器，用于呈现虚拟现实场景，用户通过VR设备看到自身运动带来的画面变化、实时交互产生的效果以及其他用户于虚拟场景中的位置、动作、运动以及正在交互的内容模块。
5.如权利要求1所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述身体追踪单元包括人体检测模块，利用双目摄像头所采集的用户图像，通过神经网络推断所有2D的骨骼以及关键点，并最终提取出一套与双目摄像头采集的用户相匹配的骨骼架构。
6.如权利要求5所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述人体追踪单元还包括人体适配模块，所述人体适配模块将人体检测模块所提取的骨骼架构绑定至预设的人物模型上，并随着用户所产生的动作对人物模型进行稳定的3D运动模拟以驱动任务模型跟随运动。
7.如权利要求1-6任一所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述多人交互单元包括服务端模块，用于存储各客户端的同步状态，接收客户端所上传的更新同步信息，当接收到一个客户端上传同步信息后，服务端模块将下发该同步信息至其他客户端，服务端模块还用于动态生成人物模型物体，不同用户的人物模型物体包含不同用户信息。
8.如权利要求7所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述多人交互单元还包括客户端模块，该模块用于运行本地虚拟现实场景，用于向服务端模块上传当前客户端的同步信息以及该客户端用户所进行的操作，用于接收服务端模块下发的其他客户端的同步信息并实时更新虚拟现实场景信息。
9.如权利要求7所述的一种基于身体追踪的VR多人交互系统，其特征在于：所述多人交互单元通过处理实现渲染输出虚拟现实场景、实时渲染用户交互产生的场景并输出至VR设备中进行展示。
10.一种基于身体追踪的VR多人交互方法，其特征在于：用户佩戴VR设备后通过双目摄像头采集用户的动作移动数据和环境参数信息并发送至身体追踪单元中进行用户动作信息和环境参数信息的处理并发送至多人交互单元中，多人交互单元对身体追踪单元上传的数据进行处理得到对应的虚拟现实场景并送入到VR设备中进行展示。
...【技术特征摘要】
1.一种基于身体追踪的vr多人交互系统，其特征在于：包括图像采集模块、身体追踪单元、多人交互单元和vr设备，其中用户佩戴vr设备，vr设备用于向用户呈现虚拟现实场景；图像采集模块用于对佩戴vr设备的用户进行运动数据的采集和追踪以及对用户所处实际环境进行采集，其输出端连接至身体追踪单元；所述身体追踪单元用于对图像采集模块采集的数据进行处理并得到身体动作姿态数据，其输出端连接多人交互单元，所述多人交互单元用于存储场景中各用户的同步状态、接收更新同步信息、下发同步数据以及动态生成多用户模型，其与用户佩戴的vr设备连接，向其发送多人交互单元处理后的虚拟现实场景数据。
2.如权利要求1所述的一种基于身体追踪的vr多人交互系统，其特征在于：所述图像采集模块采用双目摄像头对实际环境以及目标用户的动作、移动的运动数据进行追踪与采集。
3.如权利要求2所述的一种基于身体追踪的vr多人交互系统，其特征在于：所述双目摄像头设置在用户佩戴vr的实际场景中，其中所述双目摄像头的视口包含有所有可运动范围，采集与追踪可运动范围内的实际环境数据以及在当前实际环境中用户的肢体动作、移动的运动数据。
4.如权利要求1所述的一种基于身体追踪的vr多人交互系统，其特征在于：所述vr设备包括hmd头部显示器，用于呈现虚拟现实场景，用户通过vr设备看到自身运动带来的画面变化、实时交互产生的效果以及其他用户于虚拟场景中的位置、动作、运动以及正在交互的内容模块。
5.如权利要求1所述的一种基于身体追踪的vr多人交互系统，其特征在于：所述身体追踪单元包括人体检测模块，利用双目摄像头所采集的用户图像，通过神经网络推断所有2d的骨骼以及关键...
【专利技术属性】
技术研发人员：史智博，王东箭，缪成伟，王俊杰，郭磊磊，
申请(专利权)人：安徽智质工程技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。