界面显示方法、装置、设备、介质及程序产品制造方法及图纸

本公开实施例提供一种界面显示方法、装置、设备、介质及程序产品，该方法包括在虚拟终端设备显示目标图像的过程中，检测界面触发动作；响应于界面触发动作，确定待显示的目标界面；检测用户视线在目标图像对应的第一视线位置；在目标图像的第一视线位置处关联显示目标界面。通过对用户动作和视线的检测触发界面显示和控制，以解决对于扩展现实场景下界面处理效率较低的问题。效率较低的问题。效率较低的问题。

【技术实现步骤摘要】
界面显示方法、装置、设备、介质及程序产品


[0001]本公开实施例涉及计算机
，尤其涉及一种界面显示方法、装置、设备、介质及程序产品。

技术介绍

[0002]扩展现实(Extended Reality，XR)是指通过计算机技术将真实的环境和虚拟的环境相结合，实现人机交互的虚拟环境，可以为AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、MR(Mixed Reality，混合现实)等技术的统称，可以为用户提供虚拟世界和现实世界之间的沉浸式交互。
[0003]目前，为了提高设备操作的便捷性，扩展现实技术可以为用户显示相应的交互界面，例如快捷菜单、以弹窗形式显示的各类消息或者通知，但是，目前快捷菜单、弹窗的显示一般是在显示屏幕的顶部简单提示，用户在使用XR设备时，对快捷菜单、弹窗等界面的处理较为困难，界面处理效率较低。

技术实现思路

[0004]本公开实施例提供一种用于扩展现实的界面显示方法、装置、设备、介质及程序产品，以解决对于扩展现实场景下界面处理效率较低的问题。
[0005]第一方面，本公开实施例提供一种界面显示方法，包括：
[0006]在虚拟终端设备显示目标图像的过程中，检测界面触发动作；
[0007]响应于界面触发动作，确定待显示的目标界面；
[0008]检测用户视线在目标图像对应的第一视线位置；
[0009]在目标图像的第一视线位置处关联显示目标界面。
[0010]第二方面，本公开实施例提供一种界面显示装置，包括：
[0011]动作检测单元，用于在虚拟终端设备显示目标图像的过程中，检测界面触发动作；
[0012]界面确定单元，用于响应于界面触发动作，确定待显示的目标界面；
[0013]位置检测单元，用于检测用户视线在目标图像对应的第一视线位置；
[0014]界面显示单元，用于在目标图像的第一视线位置处关联显示目标界面。
[0015]第三方面，本公开实施例提供一种电子设备，包括：处理器以及存储器；
[0016]存储器存储计算机执行指令；
[0017]处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面以及第一方面各种可能的设计的界面显示方法。
[0018]第四方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计的界面显示方法。
[0019]第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计的界面显示方法。
[0020]本实施例提供的技术方案，可以在虚拟终端显示目标图像的过程中，接收界面触发动作。可以响应于该界面触发动作，确定待显示的目标界面，从而在检测到用户的视线在目标图像的第一视线位置之后，可以在目标图像的该第一视线位置处关联显示目标界面。由于目标界面显示于第一视线位置处，可以使得用户及时查看目标界面。通过目标界面和第一视线位置的关联显示可以对目标界面进行高效的查看提示，达到提升目标界面的查看效率的目的。同时，通过检测用户的第一视线位置，可以实现对用户视线的实时性检测，通过对用户的视线位置分析，可以实现对用户的观看行为的快速响应，达到与用户准确而高效的交互的目的。
附图说明
[0021]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为根据本公开界面显示方法的一个应用网络架构图；
[0023]图2为本公开实施例提供的一种界面显示方法的一个流程图；
[0024]图3为本公开实施例提供的一种视线提示标识的示例图；
[0025]图4为本公开实施例提供的一个快捷菜单界面的示例图；
[0026]图5为本公开实施例提供的一个通知消息界面的示例图；
[0027]图6为本公开实施例提供的一种界面显示方法的又一个流程图；
[0028]图7为本公开实施例提供的一种手部翻转动作的一个示例图；
[0029]图8为本公开实施例提供的一种手部特定动作的一个示例图；
[0030]图9为本公开实施例提供的一种手部特定动作的又一个示例图；
[0031]图10为本公开实施例提供的一种手部特定动作的又一个示例图；
[0032]图11为本公开实施例提供的一种界面显示方法的又一个流程图；
[0033]图12为本公开实施例提供的一种界面显示装置的一个结构示意图；
[0034]图13为本公开实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
[0035]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0036]本公开的技术方案可以应用于XR设备中，通过检测用户的XR设备中的用户视线位置，在用户的视线位置处关联待显示的目标界面。通过将界面和用户的视线位置关联显示，使得用户在第一时间观看到目标界面，实现目标界面的精准而快速的提示。
[0037]相关技术中，虚拟终端设备，例如AR设备、VR设备等，可以为用户显示真实用户姿态和虚拟用户姿态的交互内容。在虚拟终端设备的显示屏幕中除显示目标图像之外，还可以在目标图像的上一层显示交互界面，例如快捷菜单、消息通知弹窗。但是，目前，虚拟终端
设备显示弹窗时，一般是在固定位置显示，例如在显示屏幕的顶部显示弹窗。但是，弹窗等界面的显示一般是随机的，若用户未及时关注到显示的界面可能会出现遗漏，导致界面的查看效率较低。此外，对于一些已显示的界面，为了实现用户与界面的交互一般可以采用手柄、手环等设备检测用户的手部运动姿态，此交互方式较为单一，用户与界面的交互效率较低。
[0038]为了解决上述技术问题，专利技术人考虑到，在虚拟终端设备的应用场景中，用户的视线在不断发生变化。而在实际应用中，可以不断检测用户的视线，例如可以获取用户的视线位置点。在虚拟终端设备中显示视线位置点时，可以将待显示的界面在视线位置处显示，实现用户在第一时间观看到目标界面。通过目标界面的展示，可以达到提高界面展示效率和查看效率的目的。
[0039]本公开的实施例中，可以在虚拟终端显示目标图像的过程中，接收界面触发动作。可以响应于该界面触发动作，确定待显示的目标界面，从而在检测到用户的视线在目标图像的第一视线位置之后，可以在目标图像的该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种界面显示方法，其特征在于，包括：在虚拟终端设备显示目标图像的过程中，检测界面触发动作；响应于所述界面触发动作，确定待显示的目标界面；检测用户视线在所述目标图像对应的第一视线位置；在所述目标图像的所述第一视线位置处关联显示所述目标界面。2.根据权利要求1所述的方法，其特征在于，所述确定所述待显示的目标界面，包括：确定所述用户执行的第一肢体动作；确定与所述第一肢体动作关联的界面为所述待显示的目标界面。3.根据权利要求2所述的方法，其特征在于，所述确定所述用户执行的第一肢体动作，包括：获取所述虚拟终端设备当前采集的用户姿态图像；从所述当前采集的用户姿态图像中识别所述用户执行的第一肢体动作；或者，获取姿态采集设备采集的第一姿态数据，以根据所述第一姿态数据识别用户执行的所述第一肢体动作，所述姿态采集设备与所述虚拟终端设备关联。4.根据权利要求2所述的方法，其特征在于，所述第一肢体动作包括目标手部动作或者目标眼部动作；所述确定与所述第一肢体动作关联的界面为所述待显示的目标界面，包括：确定与所述目标手部动作或者所述目标眼部动作关联的界面为所述待显示的目标界面。5.根据权利要求1所述的方法，其特征在于，所述在所述目标图像的所述第一视线位置处关联显示所述目标界面之后，还包括：检测所述用户在所述目标界面中的第二视线位置，并检测所述用户执行的第二肢体动作；根据所述第二视线位置，确定所述用户针对所述目标界面选择的目标控件；根据所述第二肢体动作，确定所述用户针对所述目标控件执行的第一控制指令；基于所述第一控制指令控制所述目标控件执行相应的第一控制操作。6.根据权利要求5所述的方法，其特征在于，所述第二肢体动作包括：目标手势和保持所述目标手势所执行的运动轨迹；所述根据所述第二肢体动作，确定所述用户针对所述目标控件执行的第一控制指令，包括：根据所述第二肢体动作中的所述目标手势，确定所述用户对所述目标控件触发的手势控制类型；根据所述第二肢体动作中的所述运动轨迹和所述手势控制类型，确定所述用户针对所述目标控件执行的第一控制指令。7.根据权利要求6所述的方法，其特征在于，所述运动轨迹包括所述目标手势的滑动路线和滑动方向；所述根据所述第二肢体动作中的所述运动轨迹和所述手势控制类型，确定所述用户针对所述目标控件执行的第一控制指令，包括：根据所述第二肢体动作中的所述滑动路线和滑动方向，确定所述手势控制类型对应的
调节量和调节类型；根据所述调节量、所述调节类型和...

【专利技术属性】
技术研发人员：郭嘉，方迟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：