虚拟环境的显示方法、装置、可穿戴电子设备及存储介质制造方法及图纸

本申请公开了一种虚拟环境的显示方法、装置、可穿戴电子设备及存储介质，属于计算机技术领域。本申请通过根据不同视角下对目标场所进行观察的多个环境图像，来生成将目标场所投影到虚拟环境后的全景图像，能够在全景图像的基础上机器自动识别和智能提取到目标场所的布局信息，并利用布局信息来构建用于模拟目标场所的目标虚拟环境，这样由于机器能够自动提取布局信息并构建目标虚拟环境，无需用户手动标记布局信息，整体过程耗时很短，极大提升了虚拟环境的构建速度和加载效率，并且目标虚拟环境能够高度还原目标场所，能够提高用户的沉浸式交互体验。浸式交互体验。浸式交互体验。

【技术实现步骤摘要】
虚拟环境的显示方法、装置、可穿戴电子设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种虚拟环境的显示方法、装置、可穿戴电子设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，XR(Extended Reality，扩展现实)技术通过视觉、听觉、触觉等方面的数字信息来生成一体化的虚拟环境，用户在佩戴可穿戴电子设备以后，通过配套的如操控手柄、操控指环等操控设备，能够控制代表自身的虚拟形象在虚拟环境中进行互动，达到身临其境的超现实的交互体验。
[0003]为了更好地改善用户的沉浸式交互体验，如何在取得用户对相机权限的充分同意和授权以后，根据相机采集到的现实环境的图像或视频流，来构建可穿戴电子设备提供的虚拟环境，是XR技术的一项研究热点。目前，需要用户使用操控设备，在虚拟环境中手动标注出现实环境的布局信息，例如，用户手动标注墙体位置、天花板位置、地面位置等，操作流程较为繁琐，虚拟环境构建效率低。

技术实现思路

[0004]本申请实施例提供了一种虚拟环境的显示方法、装置、可穿戴电子设备及存储介质，能够在无需用户手动标注布局信息的情况下，通过现实世界中目标场所的环境图像来构建目标虚拟环境，使得目标虚拟环境高度还原目标场所，以提高虚拟环境构建效率，优化用户的沉浸式交互体验。该技术方案如下：
[0005]一方面，提供了一种虚拟环境的显示方法，所述方法包括：
[0006]获取相机以不同视角观察目标场所时采集的多个环境图像，不同的环境图像表征相机以不同视角观察所述目标场所时采集到的图像；
[0007]基于所述多个环境图像，获取将所述目标场所投影到虚拟环境中的全景图像，所述全景图像是指将所述目标场所投影到所述虚拟环境后所得的全景视角下的图像；
[0008]提取所述目标场所在所述全景图像中的布局信息，所述布局信息指示所述目标场所中的室内设施的边界信息；
[0009]显示基于所述布局信息所构建的目标虚拟环境，所述目标虚拟环境用于在虚拟环境中模拟所述目标场所。
[0010]一方面，提供了一种虚拟环境的显示装置，所述装置包括：
[0011]第一获取模块，用于获取相机以不同视角观察目标场所时采集的多个环境图像，不同的环境图像表征相机以不同视角观察所述目标场所时采集到的图像；
[0012]第二获取模块，用于基于所述多个环境图像，获取将所述目标场所投影到虚拟环境中的全景图像，所述全景图像是指将所述目标场所投影到所述虚拟环境后所得的全景视角下的图像；
[0013]提取模块，用于提取所述目标场所在所述全景图像中的布局信息，所述布局信息
指示所述目标场所中的室内设施的边界信息；
[0014]显示模块，用于显示基于所述布局信息所构建的目标虚拟环境，所述目标虚拟环境用于在虚拟环境中模拟所述目标场所。
[0015]在一些实施例中，所述第二获取模块包括：
[0016]检测单元，用于对所述多个环境图像进行关键点检测，得到所述目标场所中的多个图像关键点分别在所述多个环境图像中的位置信息；
[0017]确定单元，用于基于所述位置信息，确定所述多个环境图像各自的多个相机位姿，所述相机位姿用于指示在相机在采集环境图像时的视角转动姿态；
[0018]第一投影单元，用于基于所述多个相机位姿，分别将所述多个环境图像从所述目标场所的原坐标系投影到所述虚拟环境的球坐标系，得到多个投影图像；
[0019]获取单元，用于获取基于所述多个投影图像拼接得到的所述全景图像。
[0020]在一些实施例中，所述确定单元用于：
[0021]将所述多个相机位姿的移动量设置为零；
[0022]基于所述位置信息，确定所述多个环境图像各自的所述多个相机位姿的转动量。
[0023]在一些实施例中，所述第一投影单元用于：
[0024]对所述多个相机位姿进行修正，以使所述多个相机位姿在所述球坐标系中的球心对齐；
[0025]基于修正后的多个相机位姿，分别将所述多个环境图像从所述原坐标系投影到所述球坐标系，得到所述多个投影图像。
[0026]在一些实施例中，所述获取单元用于：
[0027]对所述多个投影图像进行拼接，得到拼接图像；
[0028]对所述拼接图像进行平滑或光照补偿中的至少一项，得到所述全景图像。
[0029]在一些实施例中，所述检测单元用于：
[0030]对每个环境图像进行关键点检测，得到每个环境图像中的多个图像关键点各自的位置坐标；
[0031]将所述多个环境图像中同一图像关键点的多个位置坐标进行配对，得到每个图像关键点的位置信息，每个图像关键点的位置信息用于指示每个图像关键点在所述多个环境图像中的多个位置坐标。
[0032]在一些实施例中，所述提取模块包括：
[0033]第二投影单元，用于将所述全景图像中的竖直方向投影为重力方向，得到修正全景图像；
[0034]提取单元，用于提取所述修正全景图像的图像语义特征，所述图像语义特征用于表征所述修正全景图像中与所述目标场所的室内设施相关联的语义信息；
[0035]预测单元，用于基于所述图像语义特征，预测所述目标场所在所述全景图像中的布局信息。
[0036]在一些实施例中，所述提取单元包括：
[0037]输入子单元，用于将所述修正全景图像输入到特征提取模型中；
[0038]第一卷积子单元，用于通过所述特征提取模型中的一个或多个卷积层，对所述修正全景图像进行卷积操作，得到第一特征图；
[0039]第二卷积子单元，用于通过所述特征提取模型中的一个或多个深度可分离卷积层，对所述第一特征图进行深度可分离卷积操作，得到第二特征图；
[0040]后处理子单元，用于通过所述特征提取模型中的一个或多个后处理层，对所述第二特征图进行池化操作或者全连接操作中的至少一项，得到所述图像语义特征。
[0041]在一些实施例中，所述第二卷积子单元用于：
[0042]通过每个深度可分离卷积层，对上一深度可分离卷积层的输出特征图进行空间维度的逐通道卷积操作，得到第一中间特征，所述第一中间特征与所述上一深度可分离卷积层的输出特征图的维度相同；
[0043]对所述第一中间特征进行通道维度的逐点卷积操作，得到第二中间特征；
[0044]对所述第二中间特征进行卷积操作，得到所述深度可分离卷积层的输出特征图；
[0045]迭代执行所述逐通道卷积操作、所述逐点卷积操作和所述卷积操作，由最后一个深度可分离卷积层输出所述第二特征图。
[0046]在一些实施例中，所述预测单元包括：
[0047]分割子单元，用于对所述图像语义特征进行通道维度的分割操作，得到多个空间域语义特征；
[0048]编码子单元，用于将所述多个空间域语义特征分别输入布局信息提取模型的多个记忆单元，通过所述多个记忆单元对所述多个空间域语义特征进行编码，得到多个空间域上下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟环境的显示方法，其特征在于，所述方法包括：获取相机以不同视角观察目标场所时采集的多个环境图像，不同的环境图像表征相机以不同视角观察所述目标场所时采集到的图像；基于所述多个环境图像，获取将所述目标场所投影到虚拟环境中的全景图像，所述全景图像是指将所述目标场所投影到所述虚拟环境后所得的全景视角下的图像；提取所述目标场所在所述全景图像中的布局信息，所述布局信息指示所述目标场所中的室内设施的边界信息；显示基于所述布局信息所构建的目标虚拟环境，所述目标虚拟环境用于在虚拟环境中模拟所述目标场所。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个环境图像，获取将所述目标场所投影到虚拟环境中的全景图像包括：对所述多个环境图像进行关键点检测，得到所述目标场所中的多个图像关键点分别在所述多个环境图像中的位置信息；基于所述位置信息，确定所述多个环境图像各自的多个相机位姿，所述相机位姿用于指示在相机在采集环境图像时的视角转动姿态；基于所述多个相机位姿，分别将所述多个环境图像从所述目标场所的原坐标系投影到所述虚拟环境的球坐标系，得到多个投影图像；获取基于所述多个投影图像拼接得到的所述全景图像。3.根据权利要求2所述的方法，其特征在于，所述基于所述位置信息，确定所述多个环境图像各自的多个相机位姿包括：将所述多个相机位姿的移动量设置为零；基于所述位置信息，确定所述多个环境图像各自的所述多个相机位姿的转动量。4.根据权利要求2所述的方法，其特征在于，所述基于所述多个相机位姿，分别将所述多个环境图像从所述目标场所的原坐标系投影到所述虚拟环境的球坐标系，得到多个投影图像包括：对所述多个相机位姿进行修正，以使所述多个相机位姿在所述球坐标系中的球心对齐；基于修正后的多个相机位姿，分别将所述多个环境图像从所述原坐标系投影到所述球坐标系，得到所述多个投影图像。5.根据权利要求2所述的方法，其特征在于，所述获取基于所述多个投影图像拼接得到的所述全景图像包括：对所述多个投影图像进行拼接，得到拼接图像；对所述拼接图像进行平滑或光照补偿中的至少一项，得到所述全景图像。6.根据权利要求2所述的方法，其特征在于，所述对所述多个环境图像进行关键点检测，得到所述目标场所中的多个布局关键点分别在所述多个环境图像中的位置信息包括：对每个环境图像进行关键点检测，得到每个环境图像中的多个图像关键点各自的位置坐标；将所述多个环境图像中同一图像关键点的多个位置坐标进行配对，得到每个图像关键点的位置信息，每个图像关键点的位置信息用于指示每个图像关键点在所述多个环境图像
中的多个位置坐标。7.根据权利要求1所述的方法，其特征在于，所述提取所述目标场所在所述全景图像中的布局信息包括：将所述全景图像中的竖直方向投影为重力方向，得到修正全景图像；提取所述修正全景图像的图像语义特征，所述图像语义特征用于表征所述修正全景图像中与所述目标场所的室内设施相关联的语义信息；基于所述图像语义特征，预测所述目标场所在所述全景图像中的布局信息。8.根据权利要求7所述的方法，其特征在于，所述提取所述修正全景图像的图像语义特征包括：将所述修正全景图像输入到特征提取模型中；通过所述特征提取模型中的一个或多个卷积层，对所述修正全景图像进行卷积操作，得到第一特征图；通过所述特征提取模型中的一个或多个深度可分离卷积层，对所述第一特征图进行深度可分离卷积操作，得到第二特征图；通过所述特征提取模型中的一个或多个后处理层，对所述第二特征图进行池化操作或者全连接操作中的至少一项，得到所述图像语义特征。9.根据权利要求8所述的方法，其特征在于，所述通过所述特征提取模型中的一个或多个深度可分离卷积层，对所述第一特征图进行深度可分离卷积操作，得到第二特征图包括：通过每个深度可分离卷积层，对上一深度可分离卷积层的输出特征图进行空间维度的逐通道卷积操作，得到第一中间特征，所述第一中间特征与所述上一深度可分离卷积层的输出特征图的维度相同；对所述第...

【专利技术属性】
技术研发人员：刘伟哲，嵇盼，李宏东，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：