基于MR头显设备的VR模式与AR模式的切换方法及系统技术方案

基于MR头显设备的VR模式与AR模式的切换方法及系统，该方法为：获取MR头显设备的头显佩戴者的空间位置；获取MR头显设备传递的头显佩戴者的视觉方向；向MR头显设备推送与空间位置、视觉方向同时匹配的虚拟场景；在检测到MR头显设备传递的AR模式切换指令时，控制MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象，对采集到的景象进行实景人像与背景图像的分离，并将实景人像加载至虚拟场景中。能够将玩家的实景人像与虚拟场景相结合，使在多玩家同场互动时用户也可准确辨认多玩家的身份，用户获悉用户与其他玩家之间的真实距离，可以防止造成用户与其他玩家之间发生碰撞等伤害事件；可降低服务设备的计算量，提升同场互动的玩家数量。

Switching method and system of VR mode and AR mode based on MR header display device

Method and system for switching VR mode and AR mode MR display device based on the head, the method for obtaining the spatial location MR head display device head significantly the wearer's head; visual direction to obtain MR display device transfer the wearer's head was to head; MR display device push virtual scene and space position, at the same time visual direction; head to MR in the detection of significant AR mode switching command transmission equipment, control equipment MR the first significant work using scene simulation human binocular camera capture within the field of view, separation of real portrait and background image to capture the scene, and the real portrait is loaded into the virtual scene. The real portrait and the virtual scene game player combination in multi game player interaction with the field when the user can accurately identify the identity of the user that many game player, the true distance between the user and the other game player, can prevent the collision between the user and the other game player and other injuries; it can reduce calculation amount of service equipment. To enhance interaction with the field of game player.

【技术实现步骤摘要】
基于MR头显设备的VR模式与AR模式的切换方法及系统
本专利技术涉及交互展示
，尤其涉及一种基于MR头显设备的VR模式与AR模式的切换方法及系统。
技术介绍
当前，虚拟现实(VitualReality，VR)技术的发展是改变现代人生活方式的一大突破，VR技术是指利用服务设备来模拟产生一个三维的虚拟世界，使得用户可以通过VR设备(如VR头显)享受以沉浸感、临场感的方式观看这个虚拟世界。在实践中，用户通过VR设备(如VR头显)以沉浸感、临场感的方式观看虚拟世界时，用户在这个虚拟世界中看到的所有场景和人物都是假的。例如，在游戏场景中，用户通过VR设备(如VR头显)看到的虚拟世界中的人物都是由服务设备模拟产生的虚拟人物(俗称假人)，而且用户看到的虚拟世界中的人物动作也是由服务设备通过大量动作传感器捕捉其他游戏玩家的动作并投射至虚拟人物上实现的。在实践中发现，用户通过VR设备(如VR头显)看到的所有人物都是假的，在多玩家同场互动时，用户无法对多玩家的身份进行准确辨认，而且由于无法获悉用户与其他玩家之间的真实距离，从而很容易造成用户与其他玩家之间发生碰撞等伤害事件；此外，在多玩家同场时，服务设备需要通过大量动作传感器捕捉每一个玩家的动作进行计算，使得服务设备的计算量非常巨大，这就不利于提升同场互动的玩家数量。
技术实现思路
本专利技术实施例公开了一种基于MR头显设备的VR模式与AR模式的切换方法及系统，能够将玩家的实景人像与虚拟场景相结合，使在多玩家同场互动时，用户也可以对多玩家的身份进行准确辨认，而且用户可以获悉用户与其他玩家之间的真实距离，从而可以防止造成用户与其他玩家之间发生碰撞等伤害事件；此外，在多玩家同场时，可以降低服务设备的计算量，有利于提升同场互动的玩家数量。本专利技术实施例第一方面公开一种基于MR头显设备的VR模式与AR模式的切换方法，包括：获取所述MR头显设备的头显佩戴者的空间位置；获取所述MR头显设备传递的所述头显佩戴者的视觉方向；向所述MR头显设备推送与所述空间位置、所述视觉方面同时匹配的虚拟场景；在检测到所述MR头显设备传递的AR模式切换指令时，控制所述MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象；对采集到的所述景象进行实景人像与背景图像之间的分离；将分离得到的所述实景人像加载至所述虚拟场景中。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述获取所述MR头显设备的头显佩戴者的空间位置，包括：利用多个高速摄像机对所述MR头显设备上设置的标定物进行拍摄，并根据每一个所述高速摄像机拍摄到的所述标定物图像，计算所述标定物与该高速摄像机的相对空间位置；所述多个高速摄像机的数量为至少三个；根据所述多个高速摄像机的已知空间位置、所述标定物与每一个所述高速摄像机的相对位置，计算出所述标定物的空间位置作为所述MR头显设备的头显佩戴者的空间位置。作为一种可选的实施方式，在本专利技术实施例第一方面中，在控制所述MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象之后，以及所述对采集到的所述景象进行实景人像与背景图像之间的分离之前，所述方法还包括：识别所述采集到的所述景象中是否包括实景人像，如果包括所述实景人像，执行所述的对采集到的所述景象进行实景人像与背景图像之间的分离。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述对采集到的所述景象进行实景人像与背景图像之间的分离之后，以及所述将分离得到的所述实景人像加载至所述虚拟场景中之前，所述方法还包括：识别所述景象包括的背景图像中是否存在预设的多个定位修正特征点，所述多个定位修正特征点的数量为至少三个，并且所述多个定位修正特征点的位置是已知的；如果存在，根据所述多个定位修正特征点在所述背景图像中的特征点景深度，计算出所述多个定位修正特征点与所述MR头显设备的相对空间位置；根据所述多个定位修正特征点的已知位置、所述多个定位修正特征点与所述MR头显设备的相对空间位置，计算出所述MR头显设备的参考空间位置；比较所述MR头显设备的参考空间位置与所述MR头显设备的头显佩戴者的空间位置是否匹配，如果匹配，执行所述的将分离得到的所述实景人像加载至所述虚拟场景中。作为一种可选的实施方式，在本专利技术实施例第一方面中，若比较出所述MR头显设备的参考空间位置与所述MR头显设备的头显佩戴者的空间位置不匹配，所述方法还包括：根据所述MR头显设备的参考空间位置，对所述MR头显设备的头显佩戴者的空间位置进行修正，获得所述MR头显设备的头显佩戴者的修正空间位置；根据所述MR头显设备的头显佩戴者的修正空间位置和所述头显佩戴者的视觉方向，对推送给所述MR头显设备的所述虚拟场景进行调整；将分离得到的所述实景人像按照所述实景人像在所述景象中的原始尺寸加载至调整后的所述虚拟场景中。本专利技术实施例第二方面公开一种基于MR头显设备的VR模式与AR模式的切换系统，所述系统包括服务设备和所述MR头显设备，所述服务设备和所述MR头显设备建立通讯连接，其中：所述服务设备，用于获取所述MR头显设备的头显佩戴者的空间位置；所述服务设备，还用于获取所述MR头显设备传递的所述头显佩戴者的视觉方向；所述服务设备，还用于向所述MR头显设备推送与所述空间位置、所述视觉方面同时匹配的虚拟场景；所述服务设备，还用于在检测到所述MR头显设备传递的AR模式切换指令时，控制所述MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象；所述服务设备，还用于对采集到的所述景象进行实景人像与背景图像之间的分离；所述服务设备，用于还将分离得到的所述实景人像加载至所述MR头显设备显示的所述虚拟场景中。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述服务设备获取所述MR头显设备的头显佩戴者的空间位置的方式具体为：所述服务设备，用于利用多个高速摄像机对所述MR头显设备上设置的标定物进行拍摄，并根据每一个所述高速摄像机拍摄到的所述标定物图像，计算所述标定物与该高速摄像机的相对空间位置；所述多个高速摄像机的数量为至少三个；根据所述多个高速摄像机的已知空间位置、所述标定物与每一个所述高速摄像机的相对位置，计算出所述标定物的空间位置作为所述MR头显设备的头显佩戴者的空间位置。作为一种可选的实施方式，在本专利技术实施例第二方面中：所述服务设备，还用于在控制所述MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象之后，识别所述采集到的所述景象中是否包括实景人像，如果包括所述实景人像，执行所述的对采集到的所述景象进行实景人像与背景图像之间的分离。作为一种可选的实施方式，在本专利技术实施例第二方面中：所述服务设备，还用于对采集到的所述景象进行实景人像与背景图像之间的分离之后，识别所述景象包括的背景图像中是否存在预设的多个定位修正特征点，所述多个定位修正特征点的数量为至少三个，并且所述多个定位修正特征点的位置是已知的；如果存在，根据所述多个定位修正特征点在所述背景图像中的特征点景深度，计算出所述多个定位修正特征点与所述MR头显设备的相对空间位置；根据所述多个定位修正特征点的已知位置、所述多个定位修正特征点与所述MR头显设备的相对空间位置，计算出所述MR头显设备的参考空间位置；比较所述MR头显设备的参考空间位置与所述MR头显设备的头显佩本文档来自技高网...

【技术保护点】
一种基于MR头显设备的VR模式与AR模式的切换方法，其特征在于，所述方法包括：获取所述MR头显设备的头显佩戴者的空间位置；获取所述MR头显设备传递的所述头显佩戴者的视觉方向；向所述MR头显设备推送与所述空间位置、所述视觉方面同时匹配的虚拟场景；在检测到所述MR头显设备传递的AR模式切换指令时，控制所述MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象；对采集到的所述景象进行实景人像与背景图像之间的分离；将分离得到的所述实景人像加载至所述虚拟场景中。

【技术特征摘要】
1.一种基于MR头显设备的VR模式与AR模式的切换方法，其特征在于，所述方法包括：获取所述MR头显设备的头显佩戴者的空间位置；获取所述MR头显设备传递的所述头显佩戴者的视觉方向；向所述MR头显设备推送与所述空间位置、所述视觉方面同时匹配的虚拟场景；在检测到所述MR头显设备传递的AR模式切换指令时，控制所述MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象；对采集到的所述景象进行实景人像与背景图像之间的分离；将分离得到的所述实景人像加载至所述虚拟场景中。2.根据权利要求1所述的基于MR头显设备的VR模式与AR模式的切换方法，其特征在于，所述获取所述MR头显设备的头显佩戴者的空间位置，包括：利用多个高速摄像机对所述MR头显设备上设置的标定物进行拍摄，并根据每一个所述高速摄像机拍摄到的所述标定物图像，计算所述标定物与该高速摄像机的相对空间位置；所述多个高速摄像机的数量为至少三个；根据所述多个高速摄像机的已知空间位置、所述标定物与每一个所述高速摄像机的相对位置，计算出所述标定物的空间位置作为所述MR头显设备的头显佩戴者的空间位置。3.根据权利要求2所述的基于MR头显设备的VR模式与AR模式的切换方法，其特征在于，在控制所述MR头显设备利用模拟人眼工作的双目摄像头采集视野范围内的景象之后，以及所述对采集到的所述景象进行实景人像与背景图像之间的分离之前，所述方法还包括：识别所述采集到的所述景象中是否包括实景人像，如果包括所述实景人像，执行所述的对采集到的所述景象进行实景人像与背景图像之间的分离。4.根据权利要求3所述的基于MR头显设备的VR模式与AR模式的切换方法，其特征在于，所述对采集到的所述景象进行实景人像与背景图像之间的分离之后，以及所述将分离得到的所述实景人像加载至所述虚拟场景中之前，所述方法还包括：识别所述景象包括的背景图像中是否存在预设的多个定位修正特征点，所述多个定位修正特征点的数量为至少三个，并且所述多个定位修正特征点的位置是已知的；如果存在，根据所述多个定位修正特征点在所述背景图像中的特征点景深度，计算出所述多个定位修正特征点与所述MR头显设备的相对空间位置；根据所述多个定位修正特征点的已知位置、所述多个定位修正特征点与所述MR头显设备的相对空间位置，计算出所述MR头显设备的参考空间位置；比较所述MR头显设备的参考空间位置与所述MR头显设备的头显佩戴者的空间位置是否匹配，如果匹配，执行所述的将分离得到的所述实景人像加载至所述虚拟场景中。5.根据权利要求4所述的基于MR头显设备的VR模式与AR模式的切换方法，其特征在于，若比较出所述MR头显设备的参考空间位置与所述MR头显设备的头显佩戴者的空间位置不匹配，所述方法还包括：根据所述MR头显设备的参考空间位置，对所述MR头显设备的头显佩戴者的空间位置进行修正，获得所述MR头显设备的头显佩戴者的修正空间位置；根据所述MR头显设备的头显佩戴者的修正空间位置和所述头显佩戴者的视觉方向，对推送给所述MR头显设备的所述虚拟场景进行调整；将分离得到的所述实景人像按照所述实景人像在所述景象中的原始尺寸加载至调整后的所述虚拟场景中。6.一种基于MR头显设备的VR模式与AR模式的切换系统，其特征在于，所述系统包括...

【专利技术属性】
技术研发人员：沈时进，盛中华，刘永耀，潘镭，
申请(专利权)人：广州励丰文化科技股份有限公司，
类型：发明
国别省市：广东,44