一种矿井井下场景全景捕捉与重现的设备与方法技术

本发明专利技术公开了一种矿井井下场景全景捕捉与重现的设备与方法，通过全景相机拍摄矿井井下全景照片或录制全景视频作为素材，包含横向360°、纵向180°的全景视角，对全景照片或视频经过编辑后，使用者可以在虚拟现实设备上进行观看，并通过移动、转动头部等操作实时转换显示视角，从而得到一种身临其境的沉浸式矿井井下场景虚拟体验。该发明专利技术通过全景相机、虚拟现实设备以及配套软件实现，在使用虚拟现实设备时，对场地没有要求。该发明专利技术是一种快速、经济、有效的井下场景虚拟体验方法，可以广泛应用于采矿专业的课堂认知教学、矿井工作人员初期培训、救援人员熟悉井下现场等领域，获得比传统的文字、图纸、图片或视频更好的体验效果。

Equipment and method for panoramic capture and reconstruction of mine underground scene

The invention discloses an apparatus and method for Mine Scene panoramic capture and reproduce, through the panoramic camera underground panoramic photos or panoramic video recording as the material, including transverse 360 degrees, 180 degrees vertical panoramic view of panoramic photos or video after editing, the user can be viewed in a virtual reality device. And through the movement and rotation of the head operation display real-time conversion perspective, so as to obtain a immersive scene personally on the scene underground virtual experience. The invention is realized by panoramic camera, virtual reality equipment and supporting software, and has no requirement for site when using virtual reality equipment. The invention is a fast and effective method for underground scene virtual experience, can be widely used in mining professional classroom teaching, cognitive training, the staff at the beginning of the mine rescue personnel familiar with the mine site and other areas, than text, drawings, pictures or video of the traditional experience better.

【技术实现步骤摘要】
一种矿井井下场景全景捕捉与重现的设备与方法
本专利技术涉及全景式虚拟现实系统，特别涉及一种使用全景照片或视频为素材建立虚拟现实井下场景进行虚拟体验的系统，属于虚拟现实技术的应用领域。技术背景工程类专业学生在学习与认知过程中，最重要的是让学生真切体会到工程现场的真实情况，配合讲解可以获得最佳的学习效果。目前，采矿工程及相关专业本科生教学的主要方式，是通过课堂教授的方式，以课本和幻灯片为主要载体进行的讲解，而单纯的讲解无法使学生对矿井现场有真正的了解，因此需要有认知实习、生产实习等必要的实习环节。但是由于负责接待实习的企业有时为了生产效益和学生安全考虑，学生的实习过程往往无法获得足够的下井时间与体验，因此教学与实习效果并不十分理想，学生毕业后到现场发现，学到的知识和现场实际情况脱节，许多东西需要重新学习，不仅增加了学生的学习成本，也增加了企业的运营成本。为了克服这个问题，使学生在学校就能够真实了解并体验矿井井下场景，本专利技术公开了一种矿井井下场景全景捕捉与重现的设备与方法。
技术实现思路
为了解决目前采矿工程相关专业本科生教学过程中存在的不足，满足学生对教学形式更加生动、易懂的要求，结合全景相机、虚拟现实设备和配套软件，本专利技术提出了一种矿井井下场景全景捕捉与重现的设备与方法。该专利技术先利用全景相机对矿井井下真实场景进行拍照或摄像，然后对全景相片或视频进行处理，最后结合配套的软件，利用虚拟现实设备将矿井井下全景场景展现给使用者。通过虚拟现实设备，使用者能够通过头部的移动、转动等动作改变虚拟现实设备显示器的显示视角，由于虚拟现实设备能够完全阻挡使用者视线的特点，使用者在教室里也能够得到媲美现场的沉浸式虚拟现实场景体验。利用该设备与方法，可以方便、快速地建立以井下真实环境为基础的虚拟现实场景，结合全景图片中的文字说明、全景视频配合语音讲解内容、不同虚拟场景之间的切换等功能，可以辅助老师的课堂讲解，最终提高教学质量与效果。本专利技术公开了一种矿井井下场景全景捕捉与重现的设备与方法，本专利技术的设备与方法需要用到全景相机、虚拟现实设备与配套软件。如上所述的全景相机，其视角覆盖相机四周的整个球形范围，原理是全景相机拥有多个围绕在一个中心点的朝外的副相机，副相机数量需保证所有副相机的视角加在一起能达到横向360°、纵向180°。全景相机拍照或摄像时，得到原始照片或视频是所有副相机拍摄到的单一视角的照片或视频，而所需的全景照片或者全景视频，是通过算法将所有副相机在同一时刻单独拍摄到的照片或视频进行拼接后得到的，拼接的算法与副相机的数量、角度及相互位置关系有关，将所有副相机拍摄的照片或视频拼接为全景照片或视频的过程，可以在全景相机内完成，也可以在电脑上完成，得到的全景图片或视频通过普通方式观察时是矩形的。全景相机要满足矿井对机电设备的特殊要求，例如防爆等要求。如上所述的虚拟现实设备，包含：处理器、内存、储存器等运行必备硬件；显示器、扬声器等输出设备；陀螺仪、加速度传感器、地磁传感器等输入设备；固定在使用者头部的头戴式外壳、帮助使用者观看显示器的透镜等辅助配件。虚拟现实设备为头戴式，能够完全覆盖使用者的眼睛，使用者无法看到现实场景，只能看到虚拟现实设备显示器中现实的虚拟场景，因此能够获得强烈的沉浸感。虚拟显示设备形式上可以是一体的，即所有必备组件包含在一个头戴式设备中；也可以是分开的，即负责不同功能的必备组件组合成了两个或多个部件，所有部件组合在一起才能实现虚拟现实功能。配套软件需要实现的核心功能有：将矩形的全景图片或者全景视频还原成一个球形，观看者则位于球形的中心；控制虚拟现实设备的显示器显示某一个具体的视角；结合陀螺仪、加速度传感器和地磁传感器等输入设备感应到的使用者的头部转动、移动等信息，计算显示器应该显示的新的内容，并更新显示器画面。为了拥有更好的使用体验，配套软件还需实现的辅助功能有：人机交互功能、不同虚拟场景之间的切换功能、全景图片上面的文字说明功能、学习过程中的语音讲解功能等。该配套软件的开发平台是根据虚拟现实设备所处的系统或平台确定的，一般可以分为Windows、OSX等桌面系统平台和Android、iOS等移动系统平台，而且不同平台都可以使用相同的引擎开发，例如Unity3D或Unreal引擎等。使用本专利技术，可以快速地将矿井井下现实场景制作为全景虚拟场景，并在虚拟现实设备上供使用者观看，能够取得更好的教学与认知效果。该专利技术的优点如下：①能够将现实场景通过非常简单的步骤快速制作为全景式虚拟场景，虚拟场景可以为静态的照片，也可以是动态的视频；②虚拟现实设备可以让使用者体验到媲美身处真实场景的虚拟体验，但是却没有任何危险，非常适合例如煤矿等危险场景与行业的学生进行模拟实习与体验；③该系统的投入很小，不仅避免了例如环形投影等大型设备的投入，而且对场地的要求低，可以在任何地点使用虚拟现实设备体验虚拟现实场景，另外还能无限重复使用已经拍摄并制作好的虚拟现实场景，没有后期额外成本；④使用者通过虚拟现实设备看到的画面是全景相机在捕捉现实场景时所处位置的全景第一视角，并能通过转动头部等动作改变显示视角，从而看到横向360°、纵向180°的球形全景虚拟现实场景，同时头戴式设备完全遮挡现实场景，因此使用者可以体验因此可以获得比环形投影等方法更好的沉浸感。附图说明图1为全景相机拍摄照片或录制视频的示意图；图2为使用虚拟现实设备观看虚拟现实场景示意图；图3为该设备与方法的使用流程图。具体实施方式本专利技术公开了一种矿井井下场景全景捕捉与重现的设备与方法，通过该设备与方法可以快速地建立基于井下真实场景的全景虚拟场景，使用者可以利用虚拟现实设备，在任何地点排除现实世界的干扰，体验身临其境的井下全景虚拟场景。由于全景相机的特性，拍摄全景照片或录制全景视频时，横向360°、纵向180°的球形范围内容都包含在照片或视频内。使用者在虚拟现实设备中观看时，结合虚拟现实设备的陀螺仪、加速度传感器和地磁传感器等组件，使用者可以通过头部转动或移动等操作，在虚拟现实设备显示器中实时变换观看到的虚拟场景视角，进而得到一种强烈的沉浸式体验，此外该系统还能实现不同全景虚拟场景之间的变换、全景照片内的文字说明、全景视频内的语音讲解等功能。本专利技术所公开的矿井井下场景全景捕捉与重现的设备与方法包括三个组成部分，分别是：全景相机、头戴式虚拟现实设备以及配套软件。全景相机与普通相机的最大区别，在于全景相机的视角覆盖相机四周的整个球形全景，原理是全景相机拥有多个围绕在一个中心点的朝外的副相机，副相机数量需保证所有副相机的视角加在一起能达到横向360°、纵向180°。在拍照或摄像时，全景相机包含的所有副相机同时拍摄照片或录制视频，将同一时刻的全景视角内的所有内容都记录下来。然后，全景相机或相关软件还能将所有副相机拍摄到的单一视角照片或视频通过算法进行拼接，就得到了所需的全景照片或视频的素材。拼接的算法与副相机的数量、的角度及相互位置关系有关。全景相机在井下场景使用时，需要满足特殊的需求，例如在煤矿井下使用，全景相机需要满足煤矿的防爆要求，但是相机的成像原理不变。头戴式虚拟现实设备，主要由以下四类组件构成：①处理器、内存、储存器、电源或者电池等设备运行必备硬件，负责提供虚拟现实设备本文档来自技高网...

【技术保护点】
一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：本设备与方法需要用到全景相机、虚拟现实设备与配套软件。

【技术特征摘要】
1.一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：本设备与方法需要用到全景相机、虚拟现实设备与配套软件。2.如权利要求1所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：该设备使用的全景相机，其视角覆盖相机四周的整个球形范围，原理是全景相机拥有多个围绕在一个中心点的朝外的副相机，副相机数量需保证所有副相机的视角加在一起能达到横向360°、纵向180°。3.如权利要求1、2所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：全景相机拍照或摄像时，得到原始照片或视频是所有副相机拍摄到的单一视角的照片或视频，而所需的全景照片或者全景视频，是通过算法将所有副相机在同一时刻单独拍摄到的照片或视频进行拼接后得到的，拼接的算法与副相机的数量、角度及相互位置关系有关，将所有副相机拍摄的照片或视频拼接为全景照片或视频的过程，可以在全景相机内完成，也可以在电脑上完成，得到的全景图片或视频通过普通方式观察时是矩形的。4.如权利要求1、2、3所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：全景相机要满足矿井对机电设备的特殊要求，例如防爆等要求。5.如权利要求1所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于，该设备与方法使用的虚拟现实设备包含：处理器、内存、储存器等运行必备硬件；显示器、扬声器等输出设备；陀螺仪、加速度传感器、地磁传感器等输入设备；固定在使用者头部的头戴式外壳、帮助使用者观看显示器的透镜等辅助配件。6.如权利要求1、5所述的一种矿井井下场景全景捕捉与重现的设备与方...

【专利技术属性】
技术研发人员：聂百胜，张辉，李祥春，孟筠青，许滕，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：北京,11