一种实现MR交互的方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种实现MR交互的方法、装置、设备及可读存储介质，应用于混合显示技术领域，包括：获取真实环境信息，根据真实环境信息建立虚拟操作平面；接收根据虚拟操作平面发送的人工操作信息；根据人工操作信息确定虚拟控制指令，根据虚拟控制指令进行MR交互。本发明专利技术通过获取的真实环境信息建立虚拟操作平面，用户可根据该虚拟操作平面发出人工操作信息，生成与该人工操作信息对应的虚拟控制指令，进而进行MR交互，和现有技术需要借助真实操作平面进行MR交互的方法相比，本发明专利技术实现了由建立的虚拟操作平面进行MR交互，真正发挥混合现实技术的虚拟与现实相结合的特性，提高了用户的体验感，以及使用MR设备进行MR交互的灵活性。以及使用MR设备进行MR交互的灵活性。以及使用MR设备进行MR交互的灵活性。

【技术实现步骤摘要】
一种实现MR交互的方法、装置、设备及可读存储介质


[0001]本专利技术涉及虚拟现实
，特别涉及一种实现MR交互的方法、装置、设备及可读存储介质。

技术介绍

[0002]混合现实技术(MR)作为虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
[0003]但是现在针对混合现实技术(MR)开发的软件系统在控制交互界面上缺乏立体感，层级分布扁平，还停留手柄、真实键盘控制阶段，不能真正发挥混合现实技术的虚拟与现实相结合的特性，对MR进行控制时缺乏灵活性，用户对MR设备的控制停留在依赖于真实物理世界的真实平面，使得用户无法灵活的操控MR设备，与MR设备进行MR交互。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供实现MR交互的方法，解决了现有技术中无法灵活地进行MR交互的技术问题。
[0005]为解决上述技术问题，本专利技术提供了一种实现MR交互的方法，包括：
[0006]获取真实环境信息，并根据所述真实环境信息建立虚拟操作平面；
[0007]接收根据所述虚拟操作平面发送的人工操作信息；
[0008]根据所述人工操作信息确定虚拟控制指令，并根据所述虚拟控制指令进行MR交互。
[0009]可选的，所述接收根据所述虚拟操作平面发送的人工操作信息，包括：
[0010]接收根据所述虚拟操作平面发送的手势交互信息；其中，所述手势交互信息包括手部轨迹信息和/或手部形状信息和/或手部角度信息。
[0011]可选的，所述根据所述真实环境信息建立虚拟操作平面，包括：
[0012]根据真实世界的不规则表面建立所述虚拟操作界面。
[0013]可选的，所述实现MR交互的方法，还包括：
[0014]当头部角度发生变化时，所述虚拟操作平面的位置不发生改变。
[0015]可选的，所述获取真实环境信息，并根据所述真实环境信息建立虚拟操作平面，包括：
[0016]获取进行MR交互时的外部环境信息和交互主体的位置信息；
[0017]根据所述外部环境信息和所述交互主体的位置信息建立所述虚拟操作平面。
[0018]可选的，所述获取真实环境信息，包括：
[0019]通过摄像头和/或6DoF系统获取所述真实环境信息。
[0020]可选的，所述根据所述真实环境信息建立虚拟操作平面，包括：
[0021]根据所述真实环境信息建立垂直于地面的所述虚拟操作平面；或根据所述真实环
境信息建立与地面垂直面成预设角度的所述虚拟操作平面。
[0022]本专利技术还提供一种实现MR交互的装置，包括：
[0023]虚拟操作平面建立模块，用于获取真实环境信息，并根据所述真实环境信息建立虚拟操作平面；
[0024]人工操作信息接收模块，用于接收根据所述虚拟操作平面发送的人工操作信息；
[0025]虚拟控制指令生成模块，用于根据所述人工操作信息确定虚拟控制指令，并根据所述虚拟控制指令进行MR交互。
[0026]本专利技术还提供一种实现MR交互的设备，包括
[0027]存储器，用于存储计算机程序；
[0028]处理器，用于执行所述计算机程序时实现上述的实现MR交互的方法的步骤。
[0029]本专利技术还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的实现MR交互的方法的步骤。
[0030]可见，本专利技术通过获取真实环境信息，并根据真实环境信息建立虚拟操作平面；接收根据虚拟操作平面发送的人工操作信息；根据人工操作信息确定虚拟控制指令，并根据虚拟控制指令进行MR交互。本专利技术可以根据真实环境信息建立的虚拟操作平面，发出人工操作信息，进而生成与该人工操作信息对应的虚拟控制指令，从而实现MR交互，和现有技术需要真实的操作平面进行MR交互相比，本专利技术不受操作环境、操作平面的影响，由虚拟操作平面实现与MR设备之间交互，真正发挥混合现实技术的虚拟与现实相结合的特性，提高了用户的体验感，以及使用MR设备进行交互的灵活性。
[0031]此外，本专利技术还提供了一种实现MR交互的装置、设备及可读存储介质，同样具有上述有益效果。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0033]图1为本专利技术实施例提供的一种实现MR交互的方法的流程图；
[0034]图2为本专利技术实施例提供的一种虚拟平面建立和人工手势操作的示意图；
[0035]图3为本专利技术实施例提供的一种实现MR交互的方法的流程示例图；
[0036]图4为本专利技术实施例提供的一种实现MR交互的装置的结构示意图；
[0037]图5为本专利技术实施例提供的一种实现MR交互的设备的结构示意图。
具体实施方式
[0038]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]MR(Mixed Reality)，即混合现实，顾名思义是将真实世界和虚拟世界混合在一
起，以产生新的可视化环境。它的关键词是“重绘”，即用通过重新绘制现实世界，再叠加虚拟信息，并且虚拟信息能够与重绘的现实世界进行交互，实现虚拟与真实之间的部分保留与自由切换，从而将环境变得更加丰富。MR更像是AR和VR的结合，并更好地发挥了AR的优势。但是现在针对MR(混合现实技术)开发的软件系统在控制交互界面上缺乏立体感，层级分布扁平，还停留手柄、真实键盘控制阶段，不能真正发挥混合现实技术的虚拟与现实相结合的特性，对MR进行控制时缺乏灵活性，用户只能根据真实存在的装置与MR设备进行交互。
[0040]请参考图1，图1为本专利技术实施例提供的一种实现MR交互的方法的流程图。该方法可以包括：
[0041]S100，获取真实环境信息，并根据真实环境信息建立虚拟操作平面。
[0042]该实施例并不限定获取真实环境信息的具体方法。例如，可以通过摄像头获取真实环境信息；或者还可以通过6DoF(degree offreedom，自由度)系统(物体除了具备在X、Y、Z三轴上旋转的能力之外，也具备在X、Y、Z三轴上移动的能力)获取真实环境信息。该实施例并不限定获取真实环境信息的频率。例如，可以实时获取真实环境信息；或者也可以隔10秒获取一次真实环境信息；或者还可以隔1分钟获取一次真实环境信息。该实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现MR交互的方法，其特征在于，包括：获取真实环境信息，并根据所述真实环境信息建立虚拟操作平面；接收根据所述虚拟操作平面发送的人工操作信息；根据所述人工操作信息确定虚拟控制指令，并根据所述虚拟控制指令进行MR交互。2.根据权利要求1所述的实现MR交互的方法，其特征在于，所述接收根据所述虚拟操作平面发送的人工操作信息，包括：接收根据所述虚拟操作平面发送的手势交互信息；其中，所述手势交互信息包括手部轨迹信息和/或手部形状信息和/或手部角度信息。3.根据权利要求1所述的实现MR交互的方法，其特征在于，所述根据所述真实环境信息建立虚拟操作平面，包括：根据真实世界的不规则表面建立所述虚拟操作界面。4.根据权利要求1至3任一项所述的实现MR交互的方法，其特征在于，还包括：当头部角度发生变化时，所述虚拟操作平面的位置不发生改变。5.根据权利要求1所述的实现MR交互的方法，其特征在于，所述获取真实环境信息，并根据所述真实环境信息建立虚拟操作平面，包括：获取进行MR交互时的外部环境信息和交互主体的位置信息；根据所述外部环境信息和所述交互主体的位置信息建立所述虚拟操作平面。6.根据...

【专利技术属性】
技术研发人员：杨克晓，张绍谦，张超，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：