设备交互方法、电子设备及交互系统技术方案

本申请实施例提供一种设备交互方法、电子设备及交互系统，该设备交互方法包括：电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，生成至少两种用于所述VR/AR设备进行交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面，以方便用户通过所述电子设备的交互界面实现VR/AR设备的交互操作，从而提高VR/AR设备的交互效率，满足更多场景下的复杂交互需求。足更多场景下的复杂交互需求。足更多场景下的复杂交互需求。

【技术实现步骤摘要】
设备交互方法、电子设备及交互系统


[0001]本申请涉及虚拟现实及增强现实
，尤其涉及设备交互方法、电子设备、计算机可读存储介质及交互系统。

技术介绍

[0002]随着计算机图形技术的发展，虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)等技术逐渐应用到人们的生活中。
[0003]VR利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟效果，让用户感觉仿佛身历其境，并允许用户与该模拟的虚拟世界进行交互。
[0004]AR是一种将真实世界信息和虚拟世界信息集成的技术，将在现实世界的一定时间空间范围内很难体验到的实体信息，如视觉信息，声音，味道，触觉等等，通过电脑等科学技术模拟仿真后叠加到真实的世界中，从而使用户得到超越现实的感官体验。
[0005]MR将真实世界和虚拟世界混合在一起，产生新的可视化环境，环境中同时包含了真实世界信息和虚拟世界信息，真实世界和虚拟世界可以实时交互。
[0006]现有的VR/AR头盔、AR眼镜等电子设备在通过VR、AR、MR等技术进行交互操作时，主要是通过手势、头动、语音以及眼球追踪等方式来实现简单的交互，难以满足移动办公、娱乐、游戏等场景下如图形化界面定位及文字输入等高效、复杂的交互需求。

技术实现思路

[0007]本申请提供一种设备交互方法、电子设备及交互系统，可以提高VR/AR设备的交互效率，满足更多场景下的复杂交互需求。
[0008]为达到上述目的，本申请采用如下技术方案：
[0009]第一方面，提供一种设备交互方法，包括：电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，在所述电子设备的显示区域生成至少两种用于所述VR/AR设备进行交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面；所述电子设备接收用户在显示的所述交互界面上输入的交互操作，并将所述交互操作发送给所述VR/AR设备；所述VR/AR设备在接收到所述交互操作后，响应所述交互操作执行相应的动作。
[0010]其中，预定工作模式可以是虚拟PC模式，当VR/AR设备进入虚拟PC模式后，会在用户眼前投射出一个虚拟屏幕。电子设备会在其显示区域中生成至少两种用于VR/AR设备进行交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面。上述交互操作可以是能够实现定位、拖拽、缩放、画图、字符输入的交互操作。上述交互界面可以包括但不限于虚拟触摸板界面、虚拟键盘界面、游戏手柄界面，上述虚拟触摸板界面用于接收用户输入的触摸操作，上述虚拟键盘界面用于接收用户输入的字符，上述游戏手柄界面用于接收用户输入的游戏操作。可以理解的是，上述预定工作模式还可以是其他模式，
如虚拟影院模式，屏幕共享模式等。
[0011]其中，所述交互操作是指用户在交互界面输入的触摸操作、字符输入操作、游戏操作等。
[0012]基于上述技术方案，通过使用电子设备生成至少两种用于VR/AR设备交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面，结合VR/AR设备，用户可以通过显示在电子设备的显示区域中的交互界面输入定位、拖拽、缩放、字符输入、游戏操作等多种交互操作，实现对虚拟屏幕中的内容进行操作，提高了VR/AR设备的交互效率，满足更多场景下的复杂交互需求。
[0013]在第一方面的一种可能的实现方式中，上述VR/AR设备在接收到所述交互操作后，响应所述交互操作执行相应的动作，包括：所述VR/AR设备在接收到所述交互操作后，在所述VR/AR设备当前显示的虚拟屏幕中执行所述交互操作对应的动作。这样能够准确地将根据交互操作实现对虚拟屏幕的显示内容进行操作，完成人机交互。
[0014]通过VR/AR设备对接收到的交互操作进行解析，然后确定出该交互操作对应的动作，然后在虚拟屏幕中执行相应的动作，实现交互。需要说明的是，交互操作与交互操作对应的动作的对应关系可以根据用户的作业习惯进行预先设定，例如预先设定滑动操作对应的动作是控制光标移动，移动的距离与滑动的距离相关(例如线性相关等)，移动的方向与滑动的方向一致；字符输入操作对应的动作是在光标所在位置输入相应字符等，在此不再加以赘述。
[0015]在第一方面的一种可能的实现方式中，当与所述VR/AR设备连接的电子设备为至少两个时，所述电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，在所述电子设备的显示区域显示至少两种用于所述VR/AR设备进行交互操作的交互界面，包括：
[0016]所述电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，在所述电子设备的显示区域显示至少一种与其他电子设备不同的交互界面。其中所述其他电子设备是指与所述VR/AR设备连接的电子设备中除当前电子设备之外的电子设备。
[0017]在此，可以通过VR/AR设备来读取与其连接的电子设备的显示屏的尺寸的相对大小自动配置电子设备对应的交互界面。例如手机+平板电脑的设备组合，VR/AR设备在获取到手机和平板电脑的显示屏的尺寸后，自动设置为在平板电脑(显示屏的尺寸相对较大)的显示屏中显示虚拟键盘界面，在手机(显示屏的尺寸相对较小)的显示屏中显示虚拟触摸板界面。又例如手机+智能手表的设备组合，VR/AR设备在获取到手机和智能手表的显示屏的尺寸后，可以自动设备在手机(显示屏的尺寸相对较大)的显示屏中显示虚拟键盘界面，在智能手表(显示屏的尺寸相对较小)的显示屏中显示虚拟触摸板界面。此外，VR/AR设备在自动设置完成后还可以发送消息让用户进行确认，若用户确认则根据自动设置的进行设置，否则根据用户的选择来做设置。
[0018]例如，VR/AR设备在读取电子设备尺寸后，将这些信息上报用户让用户进行选择，用户可以选择用手机做键盘输入显示虚拟键盘界面，用平板做触控或手写/画画输入显示虚拟触摸板界面。在使用过程中，用户可以随时将不同的交互界面设置在不同的电子设备上，即可以自动配置后也支持用户手动配置。
[0019]在第一方面的一种可能的实现方式中，电子设备还能够基于切换操作切换当前显示的交互界面。这样能够基于用户的需要显示用户所要的交互界面，方便用户操作，提高交
互效率。
[0020]第二方面，提供一种设备交互方法，应用于电子设备，上述电子设备与VR/AR设备连接，上述设备交互方法包括：电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，在所述电子设备的显示区域生成至少两种用于所述VR/AR设备进行交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面；电子设备接收用户在显示的所述交互界面上输入的交互操作；电子设备根据将所述交互操作发送给所述VR/AR设备，以便所述VR/AR设备响应所述交互操作执行相应的动作。
[0021]其中，预定工作模式同样可以是虚拟PC模式，当VR/AR设备进入虚拟PC模式后，会在用户眼前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备交互方法，其特征在于，包括：电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，生成至少两种用于所述VR/AR设备进行交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面；所述电子设备接收用户在显示的所述交互界面上输入的交互操作，并将获取到的交互操作发送给所述VR/AR设备；所述VR/AR设备在接收到所述交互操作后，响应所述交互操作执行相应的动作。2.根据权利要求1所述的设备交互方法，其特征在于，所述VR/AR设备在接收到所述交互操作后，响应所述交互操作执行相应的动作，包括：所述VR/AR设备在接收到所述交互操作后，在所述VR/AR设备当前显示的虚拟屏幕中执行所述交互操作对应的动作。3.根据权利要求1所述的设备交互方法，其特征在于，所述交互界面包括虚拟触摸板界面和虚拟键盘界面，所述虚拟触摸板界面用于接收用户输入的触摸操作，所述虚拟键盘界面用于接收用户输入的字符。4.根据权利要求3所述的设备交互方法，其特征在于，所述交互界面还包括游戏手柄界面，所述游戏手柄界面用于接收用户输入的游戏操作。5.根据权利要求1至4任一项所述的设备交互方法，其特征在于，在生成至少两种用于所述VR/AR设备进行交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面之后，还包括：电子设备基于切换操作切换当前显示的交互界面。6.根据权利要求1至5任一项所述的设备交互方法，其特征在于，当与所述VR/AR设备连接的电子设备为至少两个时，所述电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，在所述电子设备的显示区域显示至少两种用于所述VR/AR设备进行交互操作的交互界面，包括：所述电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，在所述电子设备的显示区域显示至少一种与其他电子设备不同的交互界面，其中所述其他电子设备是指与所述VR/AR设备连接的电子设备中除当前电子设备之外的电子设备。7.一种设备交互方法，其特征在于，包括：电子设备在检测到与其连接的VR/AR设备进入预定工作模式后，生成至少两种用于所述VR/AR设备进行交互操作的交互界面，并在所述电子设备的显示区域显示其中至少一种所述交互界面；电子设备接收用户...

【专利技术属性】
技术研发人员：毛春静，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：