一种基于普适计算的混合现实游戏系统及方法技术方案

本发明专利技术公开了一种基于普适计算的混合现实游戏系统及方法，该系统允许玩家在任意空闲空间、随时随地设计迷宫布局，通过绘图工具绘制迷宫平面图；利用手机拍照快速建立相应的三维虚拟场景；利用虚拟现实眼镜，通过玩家头部的真实转动即可感受沉浸式体验；利用体感设备对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自然交互。本系统不需要专门的物理空间、昂贵的虚拟现实设备，用户也不需要训练，而且可以在任何时间任何地方游戏。

【技术实现步骤摘要】

本专利技术涉及一种基于普适计算的混合现实游戏系统及方法。
技术介绍
虚拟现实是一种能够提供沉浸式体验的计算机系统，可以模仿我们周围的世界。通过三维立体显示，用户可以完全沉浸在计算机生成的虚拟世界里。在2012年电子娱乐博览会上，Oculus公司展出了基于虚拟现实技术的头戴式显示器OculusRift。它通过安装在头盔上的运动传感器跟踪头部运动，并调节显示视角，给用户带来逼真的沉浸式体验。但是，虚拟现实技术使用户沉浸到一个完全虚拟的世界中去，把用户与真实世界完全隔离，用户完全沉浸其中而感受不到真实世界。混合现实技术是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。韩国的LivePark(4D虚拟现实主题公园)，玩家在入场前可以自行创造一个虚拟的角色，然后通过手上的RFID手环与园区内的东西互动，充分感受虚拟与现实世界整合的乐趣。美国一家创新科技公司发表了一个全新娱乐设施“TheVOID(TheVisionofInfiniteDimensions)”，玩家将通过穿戴虚拟现实装备进入虚拟世界，搭配以该虚拟场景为主题搭建的实体场景，玩家可以在其中自由行动，体验虚拟现实的乐趣。这类游戏需要真实场景的配合。但是，相关真实环境的建造是一个复杂的过程，而且耗时较长、成本较高。此外，穿戴的虚拟现实装备一般比较昂贵，并非消费级的家庭装备。r>
技术实现思路
本专利技术为了解决上述问题，提出了一种基于普适计算的混合现实游戏系统及方法，该系统允许玩家在任意空闲空间、随时随地设计迷宫布局，通过绘图工具绘制迷宫平面图；利用手机拍照快速建立相应的三维虚拟场景；利用虚拟现实眼镜，通过玩家头部的真实转动即可感受沉浸式体验；利用体感设备对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自然交互。本系统不需要专门的物理空间、昂贵的虚拟现实设备，用户也不需要训练，而且可以在任何时间任何地方游戏。为了实现上述目的，本专利技术采用如下技术方案：一种基于普适计算的混合现实游戏系统，包括场景设计模块、校正模块、建模模块、跟踪与动作识别模块、跟踪注册模块和交互模块，其中，所述场景设计模块，通过绘图工具利用轮廓线绘画迷宫平面图，建立迷宫场景；所述校正模块，用于采集拍摄的迷宫平面图，对其进行校正，导入建模模块；所述建模模块，接收校正后的图片，进行迷宫布局的绘制，将迷宫真实物体的信息作为建模输入，发送到各个玩家的客户端，完成虚拟场景的建立；所述跟踪与动作识别模块，利用体感设备将捕获的使用者位置信息与动作信息映射到虚拟场景中，为虚拟场景中相应使用者的位置和动作提供数据，并发送到服务器端；所述跟踪注册模块，用于对使用者视场与视点的跟踪，确定当前视场中的目标物、用户视点的位置和朝向；所述交互模块，用于实现用户与真实场景中的虚拟对象的交互，确定用户对虚拟对象发出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给玩家反映虚拟世界的景象。基于上述系统的工作方法，包括以下步骤：(1)通过绘图工具在真实空间中设计迷宫平面图，拍摄迷宫平面图，并对拍摄时因透视原因导致的图片变形进行校正，建立虚拟迷宫；(2)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(3)，否则，跳转步骤(4)；(3)玩家根据服务器端发送的平面图在真实场地绘制同一结构的迷宫；(4)根据所有玩家接收到的迷宫信息，服务器端接收虚拟迷宫建模模块发送来的迷宫墙体信息，并发送到各个玩家的客户端，完成虚拟场景的建立，建立三维场景；(5)利用跟踪与动作识别模块，将捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中玩家的位置和动作提供数据，并发送到服务器端，完成虚拟场景中玩家的漫游与交互；(6)根据基于传感器的注册方法，获取用户头部的转动角度，从而确定用户视点的位置和朝向，利用虚拟现实眼镜作为输出设备，向使用者呈现虚拟世界的景象；(7)对每个玩家的位置实时跟踪与姿态识别，并捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中所有玩家的位置和动作提供数据，并发送到服务器端，跳转步骤(5)。所述步骤(1)中，校正方法为将图片矩形的四个角进行拖拽，使图片中迷宫墙体形状与实际绘画情况一致。所述步骤(1)中，建立虚拟迷宫的具体方法包括：(1-1)利用摄像机对绘制的平面图拍照，并完成图片的校正；(1-2)将校正后的图片导入手机建模部分，在4*4的网格内进行迷宫布局的绘制；(1-3)将得到的迷宫墙体信息作为建模部分的输入，发送到服务器端。所述步骤(5)中，利用Kinect进行跟踪与动作识别，具体步骤包括：(5-1)坐标校正，在真实空间内选取多组不同位置的样本点，使样本点均匀分布，并测量出每个样本点在虚拟场景中的位置，在Kinect坐标系中的位置；(5-2)利用最小二乘法计算得到Kinect对于虚拟场景坐标系的变换矩阵T；(5-3)通过捕获用户手部关节点和头部的位置信息，计算用户位置和动作识别。所述步骤(5-3)中，用户位置计算的具体方法为：令第k帧Kinect获取的用户位置信息为Pi(k)＝{xik,yik,zik本文档来自技高网...

【技术保护点】
一种基于普适计算的混合现实游戏系统，其特征是：包括场景设计模块、校正模块、建模模块、跟踪与动作识别模块、跟踪注册模块和交互模块，其中，所述场景设计模块，通过绘图工具利用轮廓线绘画迷宫平面图，建立迷宫场景；所述校正模块，用于采集拍摄的迷宫平面图，对其进行校正，导入建模模块；所述建模模块，接收校正后的图片，进行迷宫布局的绘制，将迷宫真实物体的信息作为建模输入，发送到各个玩家的客户端，完成虚拟场景的建立；所述跟踪与动作识别模块，利用体感设备将捕获的使用者位置信息与动作信息映射到虚拟场景中，为虚拟场景中相应使用者的位置和动作提供数据，并发送到服务器端；所述跟踪注册模块，用于对使用者视场与视点的跟踪，确定当前视场中的目标物、用户视点的位置和朝向；所述交互模块，用于实现用户与真实场景中的虚拟对象的交互，确定用户对虚拟对象发出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给玩家反映虚拟世界的景象。

【技术特征摘要】
1.一种基于普适计算的混合现实游戏系统，其特征是：包括场景设计模块、校正模块、
建模模块、跟踪与动作识别模块、跟踪注册模块和交互模块，其中，所述场景设计模块，通
过绘图工具利用轮廓线绘画迷宫平面图，建立迷宫场景；
所述校正模块，用于采集拍摄的迷宫平面图，对其进行校正，导入建模模块；
所述建模模块，接收校正后的图片，进行迷宫布局的绘制，将迷宫真实物体的信息作为
建模输入，发送到各个玩家的客户端，完成虚拟场景的建立；
所述跟踪与动作识别模块，利用体感设备将捕获的使用者位置信息与动作信息映射到虚
拟场景中，为虚拟场景中相应使用者的位置和动作提供数据，并发送到服务器端；
所述跟踪注册模块，用于对使用者视场与视点的跟踪，确定当前视场中的目标物、用户
视点的位置和朝向；
所述交互模块，用于实现用户与真实场景中的虚拟对象的交互，确定用户对虚拟对象发
出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给玩家反映虚拟世界的景象。
2.基于如权利要求1所述的系统的工作方法，其特征是：包括以下步骤：
(1)通过绘图工具在真实空间中设计迷宫平面图，拍摄迷宫平面图，并对拍摄时因透视
原因导致的图片变形进行校正，建立虚拟迷宫；
(2)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(3)，否则，跳转步骤(4)；
(3)玩家根据服务器端发送的平面图在真实场地绘制同一结构的迷宫；
(4)根据所有玩家接收到的迷宫信息，服务器端接收虚拟迷宫建模模块发送来的迷宫墙
体信息，并发送到各个玩家的客户端，完成虚拟场景的建立，建立三维场景；
(5)利用跟踪与动作识别模块，将捕获到的玩家位置信息与动作信息映射到虚拟场景中，
为虚拟场景中玩家的...

【专利技术属性】
技术研发人员：杨承磊，盖伟，董明达，林铖，李慧宇，秦溥，孙晓雯，张珂玮，尹晓雅，刘韬，孟祥旭，陈潇瑞，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37