一种混合现实的头盔显示系统及控制方法技术方案

一种混合现实的头盔显示系统及其控制方法，该头盔显示系统包括：头盔显示本体以及周边配套附件，周边配套附件包括单色背景设备；头盔显示本体包括：实时采集外界真实的现实景象数据的现实场景采集模块；按照生成虚拟场景的虚拟场景生成模块；现实场景与虚拟场景叠加的图像融合模块；用于实时采集空间位置信息的空间定位模块；用于虚实结合图像以进行显示的图像显示模块，本发明专利技术将现实场景数据，经过背景透明化处理后，与虚拟场景叠加，场景适应性好，混合现实可以观察到真实的场景，特别是手部的操作，使得用户可以将真实的物品与虚拟世界连接起来，将虚拟世界与真实世界完美结合，沉浸感强，具有更加真实的感官体验。

【技术实现步骤摘要】

本专利技术涉及一种头盔显示系统，特别的，涉及一种混合现实的头盔显示系统。
技术介绍
虚拟现实技术是一种计算机仿真系统，通过对三维世界的模拟创造出一种崭新的交互系统。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式三维动态视景和实体行为系统仿真，能够让用户以自然的方式与虚拟环境中的物体进行交互作用、相互影响,极大扩展了人类认识世界,模拟和适应世界的能力。传统的头显设备分为两种，一种是以OculusRift和HTCVive为代表的VR头显设备，另一种是以微软Hololens为代表的AR头显。VR头显的原理是将虚拟场景通过微小型液晶显示屏展现在用户眼前，同时左右双眼根据视差显示不同图像从而形成立体视觉，让用户能够沉浸到虚拟现实中，缺点是VR头显完全占据人眼的视角，人只能看到虚拟的场景，而无法观察到自身的细节。AR头显是在现实场景中直接叠加虚拟信息，但是由于技术的限制，所能提供的视野很窄，而且叠加的虚拟场景的亮度和精度不够，导致虚拟场景的真实度不够，同时虚拟场景简单的直接叠加到现实场景上，缺少图像融合处理，形成的虚拟场景和现实场景的反差比较大，产生不了一体的融合效果。因此，如何针对现有技术的不足，设计一种实现虚拟结合的头盔显示系统，弥补上述的缺点，构建虚拟场景与现实场景一体融合的效果，成为现有技术亟需解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种混合现实的头盔显示系统及控制方法，能够将虚拟场景和现实场景无缝融合在一起，而不是简单的叠加，用户可以看到自己的操作动作，可以在虚拟场景中真实的反馈出自身的细节动作，且融合效果较好。为达此目的，本专利技术采用以下技术方案：一种混合现实的头盔显示系统，该头盔显示系统包括：头盔显示本体以及周边配套附件，所述周边配套附件，包括单色背景设备，用作为现实场景的背景；其中所述头盔显示本体包括：现实场景采集模块，用于实时采集外界的真实景象数据，并使用抠图算法，将现实场景数据去除背景，得到去除背景后的现实场景；虚拟场景生成模块，用于根据空间定位模块获得的空间位置信息，从主机处获取相应的虚拟场景数据，并生成按照真实观察角度的虚拟场景；图像融合模块，将去除背景后的现实场景数据与虚拟场景叠加，从而生成融合后的虚实结合图像；空间定位模块，用于实时采集头盔显示本体的空间位置信息，以使得虚拟场景的观察角度与用户的真实角度方位对应；图像显示模块，用于调用融合后的虚实结合图像，以进行显示。进一步的，所述空间定位模块获得空间位置信息为六自由度空间位置信息，并且所述空间定位模块能够根据空间位置信息获得头盔本体的运行信息，以从主机处获取相应视角的虚拟场景数据。进一步的，所述现实场景生成模块采用傅里叶抠图算法，将现实场景数据抠除背景，得到去除背景后的现实场景；所述图像融合模块使用灰度加权平均法将将去除背景后的现实场景与虚拟场景进行融合，具体为：1)根据统一的位置坐标，将去除背景后的现实场景的图像与虚拟场景的图像叠加，2)对现实场景的图像进行边缘检测，3)找到边缘位置区域后，提取该现实场景的图像与虚拟场景的图像的灰度信息，使用灰度加权平均法进行融合。进一步的，包括通信模块，用于与主机进行通信，并根据空间定位模块采集的空间位置信息，从主机处返回相关的虚拟场景数据，该虚拟场景数据与所述空间位置信息有关。进一步的，所述现实场景采集模块包括两个摄像头，通过控制两个摄像头能够模拟人眼观察现实场景，所述图像显示模块能够进行三维显示。进一步的，还包括电源模块，为头盔显示主体进行供电。所述空间定位模块为MEMS九轴传感器；所述现实场景采集模块为两个CCD摄像头；所述虚拟场景生成模块和为图像融合模块集中设计，由FPGA+ARM设计架构组成；电源模块为锂电池，支持USB接口供电；图像显示模块由两块显示屏和对应的光学镜头组成。进一步的，所述图像融合模块，调用已有的虚拟场景，加上现实场景的实际物体信息，在完成统一的空间定位和时间标定基础上，采取图像融合算法，将虚拟场景与现实场景融合叠加；所述的空间定位，是指的利用空间定位模块来确定头盔的空间位置信息和运行信息，其中所述运行信息能够从所述空间位置信息中得到。进一步的，还包括主机，主机用于存储三维场景数据，及配套软件，头盔主体将其空间位置信息通过通信模块传输到主机，主机计算后，生成头盔主体所需的虚拟场景数据，并经过通信模块传输到虚拟场景生成模块。一种上述的混合现实的头盔显示系统的控制方法，包括如下步骤：现实场景采集步骤：构建一个基于单色背景的真实场景，背景可以是幕布或者是墙面，通过现实场景采集模块对真实场景中的实际物体信息进行采集，并使用抠图算法，将现实场景数据去除背景，得到去除背景后的现实场景；虚拟场景生成步骤：根据空间定位模块实时采集到的头盔本体的空间位置信息，从主机中调取虚拟场景数据，并生成按照真实观察角度得到的虚拟场景；图像融合步骤：将去除背景后的现实场景与虚拟场景融合，生成融合后的虚实结合图像；图像显示步骤：对生成的虚实图像进行三维还原，显示图像，并投射在用户眼镜中，使得用户即可以观察到真实现实又可以观察到虚拟场景。本专利技术具有如下优点：1)场景适用性好：提供了图像融合模块，灵活的实现虚拟场景与现实场景的配置与融合，首先根据现实场景采集模块，实时采集到现实场景数据，经过背景透明化处理后，与虚拟场景叠加，形成用户所见到的虚实结合场景。2)沉浸感强：仿真性、真实感和亲临其境的临场感强。虚拟现实只能展示计算机模拟的虚拟世界，而混合现实展示技术却可将虚拟世界与真实世界完美结合，使用户更加身临其境，具有更加真实的感官体验。3)操作互动性好：由于混合现实可以观察到真实的场景，特别是手部的操作，使得用户可以将真实的物品与虚拟世界连接起来，打破了传统虚拟现实信息传递的单向性，实时地进行各种人与物之间的互动与交流。附图说明图1是根据本专利技术的头盔显示系统的功能模块图；图2是根据本专利技术的具体实施例的头盔显示系统的头盔显示本体的外形示意图；图3是根据本专利技术的具体实施例的头盔显示系统的虚实场景融合原理图；图4是根据本专利技术的具体实施例的头盔显示系统的数据流向示意图；图5是根据本专利技术的具体实施例的特种兵分队组网训练系统；图6是根据本专利技术的具体实施例的矿山应急救援巷道增强现实训练系统。图中的附图标记所分别指代的技术特征为：1、现实场景采集模块；2、虚拟场景生成模块；3、图像融合模块；4、电源模块；5、通信模块；6、空间定位模块；7、图像显示模块。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。参见图1，示出了根据本专利技术的混合现实的头盔显示系统的功能模块图，该头盔显示系统包括：头盔显示本体以及周边配套附件，周边配套附件，包括单色背景设备，所述单色背景设备可以是幕布或者单色墙面，用作为现实场景的背景；其中所述头盔显示本体包括：现实场景采集模块1，用于实时采集外界的真实景象数据，并使用抠图算法，将现实场景数据去除背景，得到去除背景后的现实场景；虚拟场景生成模块2，用于根据空间定位模块6获得的空间位置信息，从主机处获取相应的虚拟场本文档来自技高网...

【技术保护点】
一种混合现实的头盔显示系统，该头盔显示系统包括：头盔显示本体以及周边配套附件，所述周边配套附件，包括单色背景设备，用作为现实场景的背景；其中所述头盔显示本体包括：现实场景采集模块(1)，用于实时采集外界真实的现实景象数据，将所述现实场景数据去除背景，得到去除背景后的现实场景；虚拟场景生成模块(2)，用于根据空间定位模块(6)获得的空间位置信息，从主机处获取相应的虚拟场景数据，并生成按照真实观察角度的虚拟场景；图像融合模块(3)，将去除背景后的现实场景与虚拟场景叠加，从而生成融合后的虚实结合图像；空间定位模块(6)，用于实时采集头盔显示本体的空间位置信息，以使得虚拟场景的观察角度与用户的真实角度方位对应；图像显示模块(7)，用于调用融合后的虚实结合图像，以进行显示。

【技术特征摘要】
1.一种混合现实的头盔显示系统，该头盔显示系统包括：头盔显示本体以及周边配套附件，所述周边配套附件，包括单色背景设备，用作为现实场景的背景；其中所述头盔显示本体包括：现实场景采集模块(1)，用于实时采集外界真实的现实景象数据，将所述现实场景数据去除背景，得到去除背景后的现实场景；虚拟场景生成模块(2)，用于根据空间定位模块(6)获得的空间位置信息，从主机处获取相应的虚拟场景数据，并生成按照真实观察角度的虚拟场景；图像融合模块(3)，将去除背景后的现实场景与虚拟场景叠加，从而生成融合后的虚实结合图像；空间定位模块(6)，用于实时采集头盔显示本体的空间位置信息，以使得虚拟场景的观察角度与用户的真实角度方位对应；图像显示模块(7)，用于调用融合后的虚实结合图像，以进行显示。2.根据权利要求1所述的混合现实的头盔显示系统，其特征在于：所述空间定位模块获得空间位置信息为六自由度空间位置信息，并且所述空间定位模块能够根据空间位置信息获得头盔本体的运行信息，以从主机处获取相应视角的虚拟场景数据。3.根据权利要求1所述的混合现实的头盔显示系统，其特征在于：所述现实场景生成模块采用傅里叶抠图算法，将现实场景数据抠除背景，得到去除背景后的现实场景；所述图像融合模块使用灰度加权平均法将将去除背景后的现实场景与虚拟场景进行融合，具体为：1)根据统一的位置坐标，将去除背景后的现实场景的图像与虚拟场景的图像叠加，2)对现实场景的图像进行边缘检测，3)找到边缘位置区域后，提取该现实场景的图像与虚拟场景的图像的灰度信息，使用灰度加权平均法进行融合。4.根据权利要求1所述的混合现实的头盔显示系统，其特征在于：包括通信模块(5)，用于与主机进行通信，并根据空间定位模块采集的空间位置信息，从主机处返回相关的虚拟场景数据，该虚拟场景数据与所述空间位置信息有关。5.根据权利要求1所述的混合现实的头盔显示系统，其特征在于：所述现实场景...

【专利技术属性】
技术研发人员：陈敏杰，邢广洲，陈彥君，殷维刚，
申请(专利权)人：北京华如科技股份有限公司，
类型：发明
国别省市：北京;11