全景实景混杂现实平台构建方法技术

本发明专利技术公开一种全景实景混杂现实平台构建方法，具体为：采集构建混杂现实平台所需要的全景图像数据、地理信息数据等原始数据，存储于数据管理后台的数据存储单元中；然后通过创建混杂现实全景实景显示外幕、创建虚拟地面并添加３Ｄ实体构建基于全景图像的混杂现实空间；最后，将所述混杂现实空间与现实世界的地理信息同步。本发明专利技术将真实场景与３Ｄ实体在虚拟空间中进行了有机结合，使用户在混杂现实空间中漫游时具有强烈的空间真实感和沉浸感。

【技术实现步骤摘要】

本专利技术涉及虚拟现实技术，具体的说是一种全景实景混杂现实(HybridReality) 平台构建方法。
技术介绍
近年来，虚拟现实技术是国内外在信息
上的一个研究热点。传统的虚拟 现实技术都是通过基于3D的环境建模技术来重现现实世界的三维景观。比如虚拟费城 (Virtual Philadelphia)采用3D建模的方法，将整个费城的每一栋建筑在虚拟空间中进 行建模，用户可在费城的街道进行虚拟漫游。又如虚拟社区，如第二人生(Second Life) 等，同样也是由3D工具进行在空间中建模，与前者不同的是，在社区中的对环境的建模可 由用户自己来完成。采用3D建模技术进行虚拟环境构建的优点是空间立体感和层次感强。 但是通常采用三维场景建模的虚拟环境与真实环境都有较大差别，仿真度不高，并且建模 的大量工作需要由人工完成，效率较低。而近几年发展起来的基于图像绘制的虚拟现实技 术以其环境信息再现完整，场景构建快速等特点逐渐发展成为一种高效实用的环境建模技 术。在利用基于图像绘制技术构建虚拟现实场景过程中，通常采用真实场景的 全景实景图像来构建整个虚拟空间。世界上众多著名大学如美国哈佛大学(Harvard University)，英国牛津大学(University of Oxford)等学府在各自网站上采用该技术向 世界展示校园环境。以哈佛大学为例，在其校园内部的重要景点采集全景实景图像，将其映 射到球形空间中，并在校园地图上标定出这些位置。当用户用鼠标点击这些标定位置时，实 现在固定视点上以任意视角观察校园空间景象。通常，这些全景实景图像的拍摄位置都是 离散的。Google公司采用这种基于图像绘制的虚拟现实技术在Google map上推出了街景 (Street View)功能。它采用车载全景摄像头在街道沿途景物进行连续拍摄，并在整个三维 空间中根据二维地图的拍摄路径构建一系列球形全景空间，将对应地理位置的全景实景图 像映射到其球形全景空间，用户可以通过在不同的球形全景空间中跳跃完成对整个街景的 漫游，并且在每一个空间中也可以实现360全方位观察。上述现存的基于图像绘制技术的虚拟现实系统都采用了在球形空间(或其他形 状例如立方体，柱形空间)内纹理映射全景实景图像的方法来构建全景空间。虽然采用基 于图像绘制技术其虚拟场景绘制的仿真度和沉浸感有了很大提高，但是与采用3D建模技 术构建虚拟场景相比，其立体感和层次感又显不足。因此仅仅采用基于图像绘制技术构建 的虚拟空间并不能将场景内容的丰富性进行较为完整的表现。为了解决单一应用3D建模技术或基于图像绘制技术给创建虚拟现实空间带来的 局限，通过混合建模来构建虚拟现实空间的方法被提出。其主要思想是将拍摄的实景图像 通过三维重建的方法建立其三维模型，并将图像纹理映射到建立好的三维模型上，这种混 合建模方法侧重于技术上的混合，是在3D建模的基础上进行与图像绘制技术混合。而美国Google公司与Microsoft公司也采用类似的技术将纹理映射于建立好的三维模型，在各自 的城市漫游网站进行展示。但采用这种技术构建的虚拟现实环境会存在大量的贴图错位等 问题，因此所构建的虚拟现实环境并不十分逼真。因此人们需要一种环境仿真度更高，场景具有较强的立体感和层次感，内容丰富 的虚拟现实平台。目前，能够实现具备上述特性虚拟现实平台的方法尚未报道。
技术实现思路
为了克服现有技术中构建虚拟场景单独采用基于图像绘制技术与单独采用基于 图形绘制技术所带来的场景构建仿真度较低，或场景立体感与层次感较差，内容不够丰富 的问题，本专利技术要解决的技术问题是提供一种环境仿真度更高，场景具有较强的立体感和 层次感，内容丰富的。为了实现上述目的，本专利技术采用的技术方案如下1)在3D空间中创建全景实景显示外幕采用3D图形程序接口创建混杂现实空间的三维环境，并在混杂现实空间的三维 环境中绘制场景显示外幕；将采集到的全景实景图像数据从数据管理后台传送到应用程序 界面中的3D显示平台，纹理映射到场景显示外幕表面，获得全景实景显示外幕；2)创建虚拟地面并添加3D实体在已经构建好的基于全景实景显示外幕的混杂现实空间中建立用于摆放3D实体 的虚拟地面，即把需要在当前基于全景实景显示外幕的混杂现实空间中显示的3D实体添 加到虚拟地面上，用户在混杂现实空间中创建好的虚拟地面上进行漫游；3)将混杂现实空间与现实世界的地理信息数据同步将基于全景实景显示外幕的混杂现实空间当前帧图像所对应的现实世界的地理 信息数据通过3D显示平台与地理信息平台之间的程序接口实时传递给事先准备好的地理 信息平台，在地理信息平台上标定并更新用户当前漫游的位置。所述混杂现实是指通过将全景实景图像作为场景背景，并将3D建模实体有机结 合到全景实景图像构建的场景中，在场景内容上进行融合的计算机虚拟场景。所述全景实景图像数据和地理信息数据的准备包括利用数据采集平台采集构建混杂现实平台所需要的原始数据，将一帧的全景实景 图像数据与该帧所对应的地理信息数据按照连续的方式在数据采集存储器中分别进行存 储，并转存到数据管理后台的数据存储单元中；将在数据管理后台中数据存储单元所存储的每一帧图像数据的存盘路径与该帧 对应的地理信息数据建立关系表，将关系表存储于数据管理后台的数据库中。所述创建虚拟地面包括以下步骤在已经构建好的全景实景显示外幕所在的混杂现实空间中建立一个不可见面作 为虚拟地面；确定上述虚拟地面在混杂现实空间中的位置，以保证在全景实景显示外幕上显示 的图像与混杂现实空间的透视关系相一致。所述添加3D实体为将在混杂现实空间外部创建的3D实体模型导入到混杂现实空间中，即用户在混杂现实空间中的虚拟地面上漫游之前，将利用3D建模工具建立好的3D实体模型文件进行 数据存储，得到3D实体的原始数据，再将所述原始数据利用程序接口读入3D显示平台。或者所述添加3D实体为在混杂现实空间内部添加3D实体，即在数据管理后台的3D实体管理单元中先将 准备在混杂现实空间中绘制的3D实体的属性信息进行存储，当用户在混杂现实空间中漫 游到上述准备绘制的3D实体的地理位置时，数据管理后台将3D实体管理单元中在当前地 理位置的3D实体属性信息通过程序接口传输到3D显示平台，在3D显示平台中利用3D图 形程序接口绘制3D实体。所述在虚拟地面上进行漫游包括以下步骤对虚拟地面上的距离与现实世界中的实际距离关系进行标定，即对在混杂现实空 间中从用户视点到虚拟地面距离以及与实际拍摄中摄像机中心与地面实际距离进行测量， 这两个距离的比例作为混杂现实空间距离到实际距离转化标尺；在用户无法观察到用户自身的3D人物实体、但可以观察到其他用户的3D人物实 体的显示场景中进行第一视角漫游；或者在用户在混杂现实空间中能够完整观察到代表该 用户自身的实体、同时也能够观察到其他用户实体的显示场景中进行第三视角漫游。所述第一视角漫游为连续式漫游，具体为开始执行并初始化第一视角连续式漫游程序；从数据管理后台读取预选漫游路径的第一帧全景实景图像数据以及该全景实景 图像数据所对应的地理信息数据；在混杂现实空间中将全景实景图像纹理映射到场景显示外幕，GPS数据通过程序 接口传送到地理信息平台用于更新地理位置，并重置用户视点位置；本文档来自技高网...

【技术保护点】
一种全景实景混杂现实平台构建方法，其特征在于包括以下步骤：１）在３Ｄ空间中创建全景实景显示外幕采用３Ｄ图形程序接口创建混杂现实空间的三维环境，并在混杂现实空间的三维环境中绘制场景显示外幕；将采集到的全景实景图像数据从数据管理后台传送到应用程序界面中的３Ｄ显示平台，纹理映射到场景显示外幕表面，获得混杂现实空间中的全景实景显示外幕；２）创建虚拟地面并添加３Ｄ实体在已经构建好的基于全景实景显示外幕的混杂现实空间中建立用于摆放３Ｄ实体的虚拟地面，即把需要在当前基于全景实景显示外幕的混杂现实空间中显示的３Ｄ实体添加到虚拟地面上，用户在混杂现实空间中创建好的虚拟地面上进行漫游；３）将混杂现实空间与现实世界的地理信息数据同步将基于全景实景显示外幕的混杂现实空间当前帧图像所对应的现实世界的地理信息数据通过３Ｄ显示平台与地理信息平台之间的程序接口实时传递给事先准备好的地理信息平台，在地理信息平台上标定并更新用户当前漫游的位置。

【技术特征摘要】
1.一种全景实景混杂现实平台构建方法，其特征在于包括以下步骤1)在3D空间中创建全景实景显示外幕采用3D图形程序接口创建混杂现实空间的三维环境，并在混杂现实空间的三维环境 中绘制场景显示外幕；将采集到的全景实景图像数据从数据管理后台传送到应用程序界面 中的3D显示平台，纹理映射到场景显示外幕表面，获得混杂现实空间中的全景实景显示外 幕；2)创建虚拟地面并添加3D实体在已经构建好的基于全景实景显示外幕的混杂现实空间中建立用于摆放3D实体的虚 拟地面，即把需要在当前基于全景实景显示外幕的混杂现实空间中显示的3D实体添加到 虚拟地面上，用户在混杂现实空间中创建好的虚拟地面上进行漫游；3)将混杂现实空间与现实世界的地理信息数据同步将基于全景实景显示外幕的混杂现实空间当前帧图像所对应的现实世界的地理信息 数据通过3D显示平台与地理信息平台之间的程序接口实时传递给事先准备好的地理信息 平台，在地理信息平台上标定并更新用户当前漫游的位置。2.按权利要求1所述全景实景混杂现实平台构建方法，其特征在于所述混杂现实是 指通过将全景实景图像作为场景背景，并将3D建模实体有机结合到全景实景图像构建的 场景中，在场景内容上进行融合的计算机虚拟场景。3.按权利要求1所述全景实景混杂现实平台构建方法，其特征在于所述全景实景图像 数据和地理信息数据的准备包括利用数据采集平台采集构建混杂现实平台所需要的原始数据，将一帧的全景实景图像 数据与该帧所对应的地理信息数据按照连续的方式在数据采集存储器中分别进行存储，并 转存到数据管理后台的数据存储单元中；将在数据管理后台中数据存储单元所存储的每一帧图像数据的存盘路径与该帧对应 的地理信息数据建立关系表，将关系表存储于数据管理后台的数据库中。4.按权利要求1所述全景实景混杂现实平台构建方法，其特征在于所述创建虚拟地 面包括以下步骤在已经构建好的全景实景显示外幕所在的混杂现实空间中建立一个不可见面作为虚 拟地面；确定上述虚拟地面在混杂现实空间中的位置，以保证在全景实景显示外幕上显示的图 像与混杂现实空间的透视关系相一致。5.按权利要求1所述全景实景混杂现实平台构建方法，其特征在于所述添加3D实体为将在混杂现实空间外部创建的3D实体模型导入到混杂现实空间中，即在混杂现实空 间中的虚拟地面上漫游之前，将利用3D建模工具建立好的3D实体模型文件进行数据存储， 得到3D实体的原始数据，再将所述原始数据利用程序接口读入3D显示平台。6.按权利要求1所述全景实景混杂现实平台构建方法，其特征在于所述添加3D实体为在混杂现实空间内部添加3D实体，即在数据管理后台的3D实体管理单元中先将准备 在混杂现实空间中绘制的3D实体的属性信息进行存储，当用户在混杂现实空间中漫游到上述准备绘制的3D实体的地理位置时，数据管理后台将3D实体管理单元中在当前地理位 置的3D实体属性信息通过程序接口传输到3D显示平台，在3D显示平台中利用3D图形程 序接口绘制3D实体。7.按权利要求1所述全景实景混杂现实平台构建方法，其特征在于所述在虚拟地面 上进行漫游包括以下步骤对虚拟地面上的距离与现实世界中的实际距离关系进行标定，即对在混杂现实空间中 从用户视点到虚拟地面距离以及全景实景图像采集设备的镜头主光轴到地面实际距离进 行测量，这两个距离的比例作为混杂现实空间距离到实际距离转化标尺；在用户不能观察到自身的3D人物实体的显示场景中进行第一视角漫游；或者在用户 能够完整观察到其自身3D人物实体的显示场景中进行第三视角漫游。8.按权利要求6所述全景实景混杂现实平台构建方法，其特征在于所述第一视角漫 游为连续式漫游，具体为开始执行并初始化第一视角连续式漫游程序；从数据管理后台读取预选漫游路径的第一帧全景实景图像数据以及该全景实景图像 数据所对应的地理信息数据；在混杂现实空间中将全景实景图像纹理映射到场景显示外幕，GPS数据通过程序接口 传送到地理信息平台用于更新地理位置，并重置用户视点位置；判断当前显示在全景实景显示外幕上的全...

【专利技术属性】
技术研发人员：佟国峰，刘晓龙，邵振洲，
申请(专利权)人：沈阳隆惠科技有限公司，
类型：发明
国别省市：89[中国|沈阳]