System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于与媒体和三维环境交互的设备、方法和图形用户界面技术_技高网
当前位置: 首页 > 专利查询>苹果公司专利>正文

用于与媒体和三维环境交互的设备、方法和图形用户界面技术

技术编号:41154649 阅读:16 留言:0更新日期:2024-04-30 18:19
本公开整体涉及电子设备的用户界面,包括用于查看媒体项并与之交互的用户界面。根据一些实施方案,本公开还涉及用于向用户提供扩展现实(XR)体验的用户界面。本文所述的系统、方法和图形用户界面(GUI)涉及以多种方式与虚拟/增强现实环境进行的用户界面交互。在一些实施方案中,基于用户的注视所指向的位置来修改所显示内容的一个或多个视觉特征。

【技术实现步骤摘要】
【国外来华专利技术】

本公开整体涉及与显示生成部件和一个或多个输入设备通信的提供计算机生成的体验的计算机系统,这些计算机系统包括但不限于提供虚拟现实和混合现实体验的电子设备。


技术介绍

1、近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。


技术实现思路

1、用于与媒体项和包括至少一些虚拟元素的环境(例如,应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的一些方法和界面是麻烦、低效并且受限的。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费的时间比必要的要长,从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。

2、因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于与媒体项交互和向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。

3、通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本电脑、平板电脑或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触摸板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个手部跟踪部件。在一些实施方案中,除显示生成部件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(gui)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于gui(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与gui进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。

4、需要具有用于在三维环境内与媒体项交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于在三维环境内与媒体项交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。对于电池驱动的计算设备,此类方法和界面节省功率,并且增大电池充电之间的时间间隔。此类方法和界面还通过例如减少不必要的和/或无关的所接收输入的数量并且向用户提供改进的视觉反馈来增强设备的可操作性并且使用户-设备界面更有效。

5、根据一些实施方案,描述了一种方法。该方法包括:在与显示生成部件和一个或多个输入设备通信的计算机系统处:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。

6、根据一些实施方案,描述了一种非暂态计算机可读存储介质。在一些实施方案中,该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。

7、根据一些实施方案,描述了一种暂态计算机可读存储介质。在一些实施方案中,该暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该本文档来自技高网...

【技术保护点】

1.一种方法,包括

2.根据权利要求1所述的方法,还包括:

3.根据权利要求1至2中任一项所述的方法,其中:

4.根据权利要求1至3中任一项所述的方法,其中:

5.根据权利要求1至4中任一项所述的方法,其中:

6.根据权利要求5所述的方法,其中:

7.根据权利要求5至6中任一项所述的方法,其中,以所述第二方式显示所述第一媒体项的表示包括:将低通滤波器应用于所述第一媒体项的所述视频内容。

8.根据权利要求5至7中任一项所述的方法,还包括:

9.根据权利要求5至8中任一项所述的方法,其中,显示所述第一媒体项的所述视频内容的回放是响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视而执行的。

10.根据权利要求1至9中任一项所述的方法,其中,所述第一媒体项包括多个元素,所述多个元素包括第一元素和第二元素,并且所述方法还包括:

11.根据权利要求1至10中任一项所述的方法,还包括:

12.根据权利要求11所述的方法,其中:

13.根据权利要求11至12中任一项所述的方法,其中:

14.根据权利要求13所述的方法,其中:

15.根据权利要求13至14中任一项所述的方法,其中:

16.根据权利要求11至15中任一项所述的方法,其中:

17.根据权利要求1至16中任一项所述的方法,还包括:

18.根据权利要求1至17中任一项所述的方法,还包括:

19.根据权利要求1至18中任一项所述的方法,还包括:

20.根据权利要求1至19中任一项所述的方法,还包括:

21.根据权利要求1至20中任一项所述的方法,还包括:

22.根据权利要求1至21中任一项所述的方法,还包括:

23.根据权利要求1至22中任一项所述的方法,还包括:

24.根据权利要求1至23中任一项所述的方法,还包括:

25.根据权利要求1至24中任一项所述的方法,还包括:

26.根据权利要求25所述的方法,其中,所述导航用户界面元素包括一个或多个可选择控件,当被选择时,所述一个或多个可选择控件执行与一个或多个相应媒体项相关联的相应功能。

27.根据权利要求1至26中任一项所述的方法,还包括:

28.根据权利要求1至27中任一项所述的方法,还包括:

29.根据权利要求1至28中任一项所述的方法,还包括:

30.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至29中任一项所述的方法的指令。

31.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

32.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

33.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:

34.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

35.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

36.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:

37.一种方法,包括

38.根据权利要求37所述的方法,其中:

39.根据权利要求37至38中任一项所述的方法,其中:

40.根据权利要求37至39中任一项所述的方法,还包括:

41.根据权利要求37至40中任一项所述的方法,还包括:

42.根据权利要求37至41中任一项所述的方法,其中:

43.根据权利要求37至42中任一项所述的方法,其中:

44.根据权利要求37至43中任一项所述的方法,其中:

45.根据权利要求37至44中任一项所述的方法,其中:

46.根据权利要求37至45中任一项所述的方法,其中:

<...

【技术特征摘要】
【国外来华专利技术】

1.一种方法,包括

2.根据权利要求1所述的方法,还包括:

3.根据权利要求1至2中任一项所述的方法,其中:

4.根据权利要求1至3中任一项所述的方法,其中:

5.根据权利要求1至4中任一项所述的方法,其中:

6.根据权利要求5所述的方法,其中:

7.根据权利要求5至6中任一项所述的方法,其中,以所述第二方式显示所述第一媒体项的表示包括:将低通滤波器应用于所述第一媒体项的所述视频内容。

8.根据权利要求5至7中任一项所述的方法,还包括:

9.根据权利要求5至8中任一项所述的方法,其中,显示所述第一媒体项的所述视频内容的回放是响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视而执行的。

10.根据权利要求1至9中任一项所述的方法,其中,所述第一媒体项包括多个元素,所述多个元素包括第一元素和第二元素,并且所述方法还包括:

11.根据权利要求1至10中任一项所述的方法,还包括:

12.根据权利要求11所述的方法,其中:

13.根据权利要求11至12中任一项所述的方法,其中:

14.根据权利要求13所述的方法,其中:

15.根据权利要求13至14中任一项所述的方法,其中:

16.根据权利要求11至15中任一项所述的方法,其中:

17.根据权利要求1至16中任一项所述的方法,还包括:

18.根据权利要求1至17中任一项所述的方法,还包括:

19.根据权利要求1至18中任一项所述的方法,还包括:

20.根据权利要求1至19中任一项所述的方法,还包括:

21.根据权利要求1至20中任一项所述的方法,还包括:

22.根据权利要求1至21中任一项所述的方法,还包括:

23.根据权利要求1至22中任一项所述的方法,还包括:

24.根据权利要求1至23中任一项所述的方法,还包括:

25.根据权利要求1至24中任一项所述的方法,还包括:

26.根据权利要求25所述的方法,其中,所述导航用户界面元素包括一个或多个可选择控件,当被选择时,所述一个或多个可选择控件执行与一个或多个相应媒体项相关联的相应功能。

27.根据权利要求1至26中任一项所述的方法,还包括:

28.根据权利要求1至27中任一项所述的方法,还包括:

29.根据权利要求1至28中任一项所述的方法,还包括:

30.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至29中任一项所述的方法的指令。

31.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

32.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

33.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:

34.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

35.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

36.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:

37.一种方法,包括

38.根据权利要求37所述的方法,其中:

39.根据权利要求37至38中任一项所述的方法,其中:

40.根据权利要求37至39中任一项所述的方法,还包括:

41.根据权利要求37至40中任一项所述的方法,还包括:

42.根据权利要求37至41中任一项所述的方法,其中:

43.根据权利要求37至42中任一项所述的方法,其中:

44.根据权利要求37至43中任一项所述的方法,其中:

45.根据权利要求37至44中任一项所述的方法,其中:

46.根据权利要求37至45中任一项所述的方法,其中:

47.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求37至46中任一项所述的方法的指令。

48.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

49.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

50.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:

51.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

52.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:

53.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:

54.一种方法,包括:

55.根据权利要求54所述的方法,其中:

56.根据权利要求54至55中任一项所述的方法,其中:

57.根据权利要求54至56中任一项所述的方法,其中,以所述第一方式显示所述第一媒体项包括:

58.根据权利要求57所述的方法,其中,所述一组光线的一个或多个视觉特征是基于所述第一媒体项的边缘处的一种或多种颜色来确定的。

59.根据权利要求57至58中任一项所述的方法,其中,所述一组光线包括具有第一长度的第一光线和具有不同于所述第一长度的第二长度的第二光线。

60.根据权利要求54至59中任一项所述的方法,其中,所述第一媒体项包括所述相应类型的深度信息,并且所述第一媒体项由所述计算机系统捕获。

61.根据权利要求54至60中任一项所述的方法,其中:

62.根据权利要求61所述的方法,其中:

63.根据权利要求61至62中任一项所述的方法,其中:

64.根据权利要求61至63中任一项所述的方法,其中:

65.根据权利要求61至64中任一项所述的方法,其中:

66.根据权利要求54至65中任一项所述的方法,其中,以所述第一方式显示所述第一媒体项包括:使所述第一媒体项的一个或多个边缘在视觉上失真。

67.根据权利要求54至66中任一项所述的方法,还包括:

68.根据权利要求54至67中任一项所述的方法,其中,以所述第一方式显示所述第一媒体项包括:使所述第一媒体项的一个或多个边缘模糊。<...

【专利技术属性】
技术研发人员:I·帕斯特拉纳文森特G·M·阿波达卡B·H·博伊塞尔邱诗善G·R·克拉克W·M·霍尔德林家仰J·B·曼扎里E·M·奥尔森J·J·欧文J·拉瓦兹M·埃斯塔尼罗德里格斯V·萨兰B·L·施米特钦W·A·索伦帝诺三世M·I·温斯坦
申请(专利权)人:苹果公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1