用于虚拟和现实场景的立体显示方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种用于虚拟和现实场景的立体显示方法、装置及电子设备，该显示方法包括：获取用户头部位置的实时跟踪数据；当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；根据新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。本发明专利技术实施例可用于3D显示设备中。

【技术实现步骤摘要】

本专利技术涉及虚拟现实
，特别涉及一种用于虚拟和现实场景的立体显示方法、装置及电子设备。
技术介绍
虚拟与现实简称VR(VirtualReality)，意指通过技术手段创造出一种逼真的虚拟的现实效果。目前，虚拟与现实设备已经逐渐成熟和完善，现已广泛应用在影视和游戏等领域，越来越多的用户开始选择虚拟与现实设备来体验3D(3维，3Dimensions)立体内容。在用户通过虚拟与现实设备来体验3D立体内容时，为了让用户体验到非常逼真的现实效果，同步观察视角就变得非常重要，即，在用户改变头部的位置从而改变眼睛的观察视角时，用户所观看的3D立体内容的观察方位即虚拟场景的观察视角要随之变化，从而带给用户强烈的代入感和现实感。现有技术中，大多数虚拟与现实设备是采用头戴式的方式来实现3D显示的，而且在同步观察视角时会给一部分用户带来不适，例如，眼睛不舒服等，从而对整个3D立体内容的体验造成影响。
技术实现思路
本专利技术的目的在于提供一种用于虚拟和现实场景的立体显示方法、装置及电子设备，提供了一种新的同步观察视角的方式。为了达到上述目的，本专利技术实施例提供一种用于虚拟和现实场景的立体显示方法，包括：跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。其中，在所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换前，所述方法还包括：对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据；所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换包括：根据所述平滑滤波处理后的实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换。其中，所述根据所述实时跟踪数据对虚拟场景的原观察矩阵进行变换，得到新的观察矩阵包括：根据所述实时跟踪数据，确定用户头部的旋转矩阵；根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵。其中，所述方法还包括：根据预先配置或者根据用户输入的设置参数确定虚拟场景的视间距信息；根据所述确定的视间距信息确定虚拟场景的视差偏转矩阵。其中，所述视差偏转矩阵包括第一视图视差偏转矩阵以及第二视图视差偏转矩阵；述新的观察矩阵包括第一视图观察矩阵和第二视图观察矩阵；所述根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵的步骤包括：根据所述用户头部的旋转矩阵、虚拟场景的第一视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第一视图观察矩阵；以及根据所述用户头部的旋转矩阵、虚拟场景的第二视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第二视图观察矩阵；所述根据所述新的观察矩阵，构建并显示虚拟场景的立体图像的步骤包括：利用所述第一视图观察矩阵渲染生成虚拟场景的第一视图，并利用所述第二视图观察矩阵渲染生成虚拟场景的第二视图；根据渲染生成的所述第一视图和第二视图，构建并显示虚拟场景的立体图像。其中，所述根据所述实时跟踪数据对虚拟场景的原投影矩阵进行变换，得到新的投影矩阵的步骤包括：根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息；根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵。其中，所述根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息包括：根据所述实时跟踪数据和所述原投影矩阵的视点距近投影平面的距离，确定虚拟场景的立体图像的投影位置偏移信息。其中，所述新的投影矩阵包括第一视图投影矩阵和第二视图投影矩阵；其中，所述根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵包括：根据所述确定的投影位置偏移信息和所述原投影矩阵，构建第一视图投影矩阵和第二视图投影矩阵；所述根据所述新的投影矩阵，构建并显示虚拟场景的立体图像的步骤包括：利用所述第一视图投影矩阵渲染生成虚拟场景的第三视图，并利用第二视图投影矩阵渲染生成虚拟场景的第四视图；根据渲染生成的所述第三视图和第四视图，构建并显示虚拟场景的立体图像。本专利技术实施例还提供一种用于虚拟和现实场景的立体显示装置，包括：第一跟踪获取模块，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；处理模块，用于当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或投影矩阵；立体显示模块，用于根据所述新的观察矩阵或投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。本专利技术实施例还提供一种用于虚拟和现实场景的立体显示方法，包括：跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；根据用户头部位置的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量；根据所述模拟鼠标的移动量，修改所述模拟鼠标的位置信息，以使实现根据修改后的所述模拟鼠标的位置信息生成并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。其中，所述根据用户头部位置的实时跟踪数据，确定虚拟场景的模拟鼠标的移动量的步骤包括：根据所述实时跟踪数据，确定所述用户头部的实时转动角度；根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量。其中，所述根据所述实时跟踪数据，确定所述用户头部的实时转动角度的步骤包括：获取用户头部的当前帧的跟踪数据和该用户头部前一帧的跟踪数据；获取当前帧的跟踪数据和前一帧的跟踪数据的差值，并由所述差值确定所述实时转动角度。其中，所述根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量的步骤包括：将所述用户头部的实时转动角度与一预设转换系数相乘，得到用于虚拟场景的所述模拟鼠标的移动量。本专利技术实施例还提供一种用于虚拟和现实场景的立体显示装置，包括：第二跟踪获取模块，用于跟本文档来自技高网...

【技术保护点】
一种用于虚拟和现实场景的立体显示方法，其特征在于，包括：跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

【技术特征摘要】
1.一种用于虚拟和现实场景的立体显示方法，其特征在于，包括：
跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；
当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观
察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；
根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，
从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部
位置变化后的观察视角同步。
2.根据权利要求1所述的立体显示方法，其特征在于，
在所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进
行变换前，所述方法还包括：
对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪
数据；
所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行
变换包括：
根据所述平滑滤波处理后的实时跟踪数据，对虚拟场景的原观察矩阵或原
投影矩阵进行变换。
3.根据权利要求1所述的立体显示方法，其特征在于，
所述根据所述实时跟踪数据对虚拟场景的原观察矩阵进行变换，得到新的
观察矩阵包括：
根据所述实时跟踪数据，确定用户头部的旋转矩阵；
根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的
原观察矩阵，确定新的观察矩阵。
4.根据权利要求3所述的立体显示方法，其特征在于，所述方法还包括：
根据预先配置或者根据用户输入的设置参数确定虚拟场景的视间距信息；
根据所述确定的视间距信息确定虚拟场景的视差偏转矩阵。
5.根据权利要求3或4所述的立体显示方法，其特征在于，
所述视差偏转矩阵包括第一视图视差偏转矩阵以及第二视图视差偏转矩阵；

\t述新的观察矩阵包括第一视图观察矩阵和第二视图观察矩阵；
所述根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场
景的原观察矩阵，确定新的观察矩阵的步骤包括：
根据所述用户头部的旋转矩阵、虚拟场景的第一视图视差偏转矩阵以及虚
拟场景的原观察矩阵，确定第一视图观察矩阵；以及
根据所述用户头部的旋转矩阵、虚拟场景的第二视图视差偏转矩阵以及虚
拟场景的原观察矩阵，确定第二视图观察矩阵；
所述根据所述新的观察矩阵，构建并显示虚拟场景的立体图像的步骤包括：
利用所述第一视图观察矩阵渲染生成虚拟场景的第一视图，并利用所述第
二视图观察矩阵渲染生成虚拟场景的第二视图；
根据渲染生成的所述第一视图和第二视图，构建并显示虚拟场景的立体图
像。
6.根据权利要求1所述的立体显示方法，其特征在于，所述根据所述实时
跟踪数据对虚拟场景的原投影矩阵进行变换，得到新的投影矩阵的步骤包括：
根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息；
根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新
的投影矩阵。
7.根据权利要求6所述的立体显示方法，其特征在于，所述根据所述实时
跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息包括：
根据所述实时跟踪数据和所述原投影矩阵的视点距近投影平面的距离，确
定虚拟场景的立体图像的投影位置偏移信息。
8.根据权利要求7所述的立体显示方法，其特征在于，
所述新的投影矩阵包括第一视图投影矩阵和第二视图投影矩阵；其中，
所述根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构
建新的投影矩阵包括：
根据所述确定的投影位置偏移信息和所述原投影矩阵，构建第一视图投影
矩阵和第二视图投影矩阵；
所述根据所述新的投影矩阵，构建并显示虚拟场景的立体图像的步骤包括：
利用所述第一视图投影矩阵渲染生成虚拟场景的第三视图，并利用第二视

\t图投影矩阵渲染生成虚拟场景的第四视图；
根据渲染生成的所述第三视图和第四视图，构建并显示虚拟场景的立体图
像。
9.根据权利要求7所述的立体显示方法，其特征在于，所述根据所述新的
投影矩阵，构建并显示虚拟场景的立体图像的步骤包括：
根据所述新的投影矩阵、原投影矩阵的逆矩阵、视差偏转矩阵和原变换矩
阵，得到新的变换矩阵；
根据所述新的变换矩阵，构建并显示虚拟场景的立体图像。
10.一种用于虚拟和现实场景的立体显示装置，其特征在于，包括：
第一跟踪获取模块，用于跟踪用户的头部位置，获取用户头部位置的实时
跟踪数据；

【专利技术属性】
技术研发人员：刘江，
申请(专利权)人：深圳超多维光电子有限公司，
类型：发明
国别省市：广东;44