当前位置: 首页 > 专利查询>苹果公司专利>正文

用于与三维环境进行交互的设备、方法和图形用户界面技术

技术编号:37864934 阅读:10 留言:0更新日期:2023-06-15 20:54
计算机系统显示三维环境的视图,该视图包括在第一位置处的具有第一表面的第一用户界面对象,该第一用户界面对象在被满足第一标准的用户输入激活时使得执行第一操作。在显示第一用户界面时,计算机系统检测手部在物理环境中的第一移动,并且作为响应,根据确定手部的第一移动满足第二标准但不满足第一标准,计算机系统在第一位置处使第一用户界面对象的第一表面变形,包括相对于第一表面的第二部分移动第一表面的第一部分,而不执行第一操作。该手部在物理环境中的定位对应于距离三维环境中的第一位置至少第一阈值距离的定位。中的第一位置至少第一阈值距离的定位。中的第一位置至少第一阈值距离的定位。

【技术实现步骤摘要】
【国外来华专利技术】用于与三维环境进行交互的设备、方法和图形用户界面
[0001]相关专利申请
[0002]本申请是2021年9月23日提交的美国专利申请17/483,761的继续申请,其要求2020年9月25日提交的美国临时专利申请63/083,821的优先权,这些专利申请各自通过引用整体并入本文。


[0003]本公开整体涉及具有显示生成部件和提供计算机生成的现实(CGR)体验的一个或多个输入设备(包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备)的计算机系统。

技术介绍

[0004]近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮),以及其他图形)。
[0005]但用于与包括至少一些虚拟元素的环境(例如,应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费比所需时间更长的时间,从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

技术实现思路

[0006]因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更高效且更直观。所公开的系统、方法和用户界面减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题,这些计算机系统具有显示生成部件和一个或多个输入设备。此类系统、方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规系统、方法和用户界面。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。
[0007]根据一些实施方案,在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图,包括在三维环境中的第一位置处显示具有第一表面的第一用户界面对象,其中第一用户界面对象在由满足第一标准的用户输入激活时导致执行第一操作。该方法还包括在三维环境中的第一位置处显示具有第一表面的第一用户界面对象时,检测手部在物理环境中的第一
移动,其中在手部的整个第一移动期间,手部在物理环境中的定位在三维环境中具有对应位置,该对应位置与三维环境中的第一位置相距至少第一阈值距离;该方法还包括响应于检测到手部在物理环境中的第一移动:根据确定手部的第一移动满足第二标准并且不满足第一标准,在三维环境中的第一位置处使第一用户界面对象的第一表面变形,而不执行第一操作,其中使第一用户界面对象的第一表面变形包括相对于第一表面的第二部分移动第一表面的第一部分,第一表面的第二部分不同于第一表面的第一部分。
[0008]根据一些实施方案,在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图,包括在三维环境中的第一位置处显示对应于第一操作和不同于第一操作的第二操作的第一用户界面对象。该方法还包括在显示三维环境的第一视图时并且在第一用户界面对象具有输入焦点时,检测第一手指集合相对于手部的连接到第一手指集合的部分的移动。该方法还包括响应于检测到第一手指集合相对于手部的连接到第一手指集合的部分的移动:根据确定第一手指集合相对于手部的连接到第一手指集合的部分的移动满足第一标准,其中第一标准要求第一手指集合相对于手部的连接到第一手指集合的部分的特性移动速度超过第一阈值速度以便满足第一标准,执行第一操作;以及根据确定第一手指集合相对于手部的连接到第一手指集合的部分的移动满足不同于第一标准的第二标准,执行第二操作,其中第二标准包括当第一手指集合相对于手部的连接到第一手指集合的部分的特性移动速度不超过第一阈值速度时能够满足的要求。
[0009]根据一些实施方案,在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图,包括在三维环境中的第一位置处显示第一用户界面对象,其中第一用户界面对象在由满足第一标准的用户输入激活时导致执行第一操作。该方法还包括:在显示三维环境的第一视图时,检测手部在物理环境中的第一移动,其中显示三维环境的第一视图包括在三维环境中的第一位置处显示第一用户界面对象。该方法还包括响应于检测到手部在物理环境中的第一移动,基于手部在物理环境中的第一移动来改变三维环境的第一视图中的第一用户界面对象的外观,包括:根据确定手部的第一移动满足第一标准,其中第一标准要求在手部的第一移动期间手部以第一方式移动以便满足所述第一标准,执行与第一用户界面对象相关联的第一操作,以及改变第一用户界面对象的外观以指示已经执行了第一操作;以及根据确定手部的第一移动不满足第一标准,将第一用户界面对象从三维环境中对应于手部在物理环境中的定位的相应位置移开,而不执行第一操作。
[0010]根据一些实施方案,在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图,包括显示围绕第一显示生成部件的物理环境的表示,以及在三维环境中的对应于物理环境中的第一定位的第一位置处显示具有第一表面的第一用户界面对象。该方法还包括在显示三维环境的第一视图时,检测第一人在物理环境中的移动,其中第一人不是与计算机系统通信的一个或多个第一输入设备的用户。该方法还包括响应于检测到第一人在物理环境中的移动:根据确定第一人在物理环境中的移动与物理环境中的对应于第一用户界面对象的第一定位具有第一空间关系,根据第一人在物理环境中的移动在三维环境的第一视图中移动第一用户界面对象的第一表面。
[0011]根据一些实施方案,在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图,包括在三维环境中的对应于物理环境中的第一定位的第一位置处显示具有第一表面的第一用户界面对象。该方法还包括在显示三维环境的第一视图时,包括在三维环境中的第一位置处显示具有第一表面的第一用户界面对象,检测第一用户的生物计量数据的变化,并且响应于检测到第一用户的生物计量数据的变化,根据第一用户的生物计量数据的变化来改变第一用户界面对象中的第一表面的外观。该方法还包括在显示具有已经基于第一用户的生物计量数据的改变而改变的外观的第一用户界面对象时,检测第一用户的第一移动,并且响应于检测到第一用户的第一移动,根据第一用户的第一移动改变第一用户界面对象的外观。
[0012]本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法,包括:在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处:经由所述第一显示生成部件显示三维环境的第一视图,包括在所述三维环境中的第一位置处显示具有第一表面的第一用户界面对象,其中所述第一用户界面对象在由满足第一标准的用户输入激活时使得执行第一操作;在所述三维环境中的所述第一位置处显示具有所述第一表面的所述第一用户界面对象时,检测手部在物理环境中的第一移动,其中在所述手部的整个所述第一移动期间,所述手部在所述物理环境中的定位在所述三维环境中具有与所述三维环境中的所述第一位置相距至少第一阈值距离的对应位置;以及响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述手部的所述第一移动满足第二标准并且不满足所述第一标准,在所述三维环境中的所述第一位置处使所述第一用户界面对象的所述第一表面变形,而不执行所述第一操作,其中使所述第一用户界面对象的所述第一表面变形包括相对于所述第一表面的第二部分移动所述第一表面的第一部分,所述第一表面的所述第二部分不同于所述第一表面的所述第一部分。2.根据权利要求1所述的方法,包括:响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述第一标准根据所述手部的所述第一移动被满足,执行所述第一操作并且使所述第一用户界面对象的所述第一表面变形,其中使所述第一用户界面对象的所述第一表面变形包括相对于所述第一表面的第四部分移动所述第一表面的第三部分,所述第一表面的所述第四部分不同于所述第一表面的所述第三部分。3.根据权利要求2所述的方法,其中在所述三维环境中的所述第一位置处使所述第一用户界面对象的所述第一表面变形包括:根据确定所述第二标准根据所述手部的所述第一移动被满足,在所述三维环境中相对于所述第一表面的所述第二部分将所述第一表面的所述第一部分移动第一量;以及根据确定所述第一标准根据所述手部的所述第一移动被满足,在所述三维环境中相对于所述第一表面的所述第四部分将所述第一表面的所述第三部分移动第二量,其中所述第二量大于所述第一量。4.根据权利要求1至3中任一项所述的方法,其中使所述第一用户界面对象的所述第一表面变形不包括将所述第一用户界面对象作为整体从所述三维环境中的所述第一位置平移到第二位置。5.根据权利要求1至4中任一项所述的方法,其中使所述第一用户界面对象的所述第一表面变形不包括响应于所述手部的所述第一移动而将所述第一用户界面对象的至少一部分从所述第一用户界面对象的所述部分的原始位置移动到所述物理环境中与所述第一用户界面对象的所述部分的所述原始位置对应的定位。6.根据权利要求1至5中任一项所述的方法,包括:检测所述手部在所述物理环境中的满足所述第二标准的第二移动,其中在所述手部的整个所述第二移动期间,所述手部在所述物理环境中的定位在所述三维环境中具有与所述三维环境中的所述第一位置相距至少所述第一阈值距离的对应位置,其中所述手部的所述
第一移动是在所述物理环境的第一区域中执行的,并且所述手部的所述第二移动是在所述物理环境的第二区域中执行的,所述物理环境的所述第二区域与所述物理环境的所述第一区域分离;以及响应于检测到所述手部在所述物理环境中的所述第二移动:根据确定所述手部的所述第二移动满足所述第二标准并且不满足所述第一标准,在所述三维环境中的所述第一位置处使所述第一用户界面对象的所述第一表面变形,而不执行所述第一操作,其中:响应于检测到所述手部的所述第一移动使所述第一用户界面对象的所述第一表面变形包括使所述第一表面变形与所述物理环境的所述第一区域的相应定位无关的量;以及响应于检测到所述手部的所述第二移动使所述第一用户界面对象的所述第一表面变形包括使所述第一表面变形与所述物理环境的所述第二区域的相应定位无关的量。7.根据权利要求1至6中任一项所述的方法,包括:在响应于检测到所述手部的所述第一移动并且根据确定所述手部的所述第一移动满足所述第二标准来使所述第一用户界面对象变形时,检测满足所述第一标准;以及响应于检测到满足所述第一标准,执行所述第一操作。8.根据权利要求1至7中任一项所述的方法,其中执行所述第一操作包括在所述三维环境中执行与所述第一用户界面对象相关联的第一动作,其中所述第一动作导致所述第一用户界面对象外部的所述三维环境中的一个或多个改变。9.根据权利要求1至8中任一项所述的方法,其中使所述第一用户界面对象的所述第一表面变形包括以基于所述手部在所述物理环境中的特性移动速度而选择的相应方式相对于所述第一表面的所述第二部分来移动所述第一表面的所述第一部分。10.根据权利要求1至9中任一项所述的方法,其中使所述第一用户界面对象的所述第一表面变形包括以基于所述手部在所述物理环境中的特性移动方向而选择的相应方式相对于所述第一表面的所述第二部分来移动所述第一表面的所述第一部分。11.根据权利要求1至10中任一项所述的方法,其中使所述第一用户界面对象的所述第一表面变形包括以基于所述手部在所述物理环境中的特性移动量而选择的相应方式相对于所述第一表面的所述第二部分来移动所述第一表面的所述第一部分。12.根据权利要求1至11中任一项所述的方法,包括:在以变形状态显示所述第一用户界面对象的所述第一表面时,检测所述手部在所述物理环境中的所述第一移动的停止;以及响应于检测到所述手部在所述物理环境中的所述第一移动的所述停止,在所述三维环境中的所述第一位置处恢复所述第一用户界面对象的所述第一表面,包括显示所述第一用户界面对象的所述第一表面的所述第一部分和所述第二部分在某时间段内的振荡移动。13.根据权利要求1至12中任一项所述的方法,其中:所述第二标准包括第一移动标准,当所述手部的所述第一移动包括第一手指相对于所述手部的连接到所述第一手指的部分的移动时,满足所述第一移动标准。14.根据权利要求1至13中任一项所述的方法,其中:使所述第一用户界面对象的所述第一表面变形包括在相应方向上相对于所述第一表面的所述第二部分和第五部分来移动所述第一表面的所述第一部分,其中所述第一表面的
所述第二部分和所述第五部分连接到所述第一表面的所述第一部分的不同侧。15.根据权利要求1至14中任一项所述的方法,其中:所述第二标准包括第二移动标准,当所述手部的所述第一移动包括第一手指在所述物理环境中在第一方向上的移动时,满足所述第二移动标准。16.根据权利要求1至15中任一项所述的方法,其中:使所述第一用户界面对象的所述第一表面变形包括相对于所述第一表面的所述第二部分在与所述手部的所述第一移动的特性移动方向对应的相应方向上移动所述第一表面的所述第一部分,同时保持所述第一表面的所述第一部分和所述第一表面的所述第二部分之间的连接。17.根据权利要求1至16中任一项所述的方法,其中:使所述第一用户界面对象的所述第一表面变形包括在所述手部的所述第一移动期间显示所述第一用户界面对象的所述第一表面的所述第一部分和所述第二部分的振荡移动。18.根据权利要求1至17中任一项所述的方法,其中:所述第二标准包括第三移动标准,当所述手部的所述第一移动包括第一手指在所述物理环境中以至少第一阈值速度移动时,满足所述第三移动标准。19.根据权利要求1至18中任一项所述的方法,其中使所述第一用户界面对象的所述第一表面变形包括:根据确定所述手部的所述第一移动包括第一手指相对于所述手部的连接到所述第一手指的部分移动到预设位置中,在相应方向上相对于所述第一表面的所述第二部分和第六部分移动所述第一表面的所述第一部分,其中所述第一表面的所述第二部分和所述第六部分连接到所述第一表面的所述第一部分的不同侧;根据确定所述手部的所述第一移动包括所述第一手指在相应方向上的移动,相对于所述第一表面的所述第二部分在与所述手部的所述第一移动的特性移动方向对应的相应方向上移动所述第一表面的所述第一部分,同时保持所述第一表面的所述第一部分和所述第一表面的所述第二部分之间的连接;以及根据确定所述手部的所述第一移动包括所述第一手指以大于阈值速度的特性移动速度移动,显示所述第一用户界面对象的所述第一表面的所述第一部分和所述第二部分的振荡移动。20.根据权利要求1至19中任一项所述的方法,包括:响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述手部的所述第一移动包括所述手部在相应方向上的移动和所述手部的满足所述第一标准的所述第一移动,以根据所述手部在所述相应方向上的所述移动的量选择的幅度执行与所述第一用户界面对象相关联的操作。21.根据权利要求1至20中任一项所述的方法,包括:响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述手部的所述第一移动包括所述手部以大于相应阈值速度的特性移动速度移动并且所述手部的所述第一移动满足所述第一标准,执行与所述第一用户界面对象相关联的离散操作。22.根据权利要求1至21中任一项所述的方法,其中:
在所述三维环境的所述第一视图中显示具有所述第一表面的所述第一用户界面对象包括:显示所述第一用户界面对象的具有所述第一表面的第一显示属性集合的相应值的所述第一表面,其中基于所述三维环境的第一部分的外观以第一方式调整所述相应值,所述第一部分相对于所述三维环境的所述第一视图的视点位于所述第一表面之后;并且在所述三维环境中的所述第一位置处使所述第一用户界面对象的所述第一表面变形包括:显示所述第一用户界面对象的具有所述第一表面的所述第一显示属性集合的相应值的所述第一表面,其中基于所述三维环境的相对于所述三维环境的所述第一视图的所述视点位于所述第一表面之后的所述第一部分的所述外观以第二方式调整所述相应值,其中所述第二方式不同于所述第一方式,并且所述第二方式基于响应于所述手部的所述第一移动而执行的所述第一表面的所述变形。23.根据权利要求1至22中任一项所述的方法,包括:检测所述手部在所述物理环境中满足所述第二标准的第三移动,其中所述手部在所述物理环境中的定位在所述三维环境中具有与所述三维环境中的所述第一位置相距小于所述第一阈值距离的对应位置;以及响应于检测到所述手部在所述物理环境中的所述第三移动:根据确定所述手部的所述第三移动满足所述第二标准并且不满足所述第一标准,在所述三维环境中的所述第一位置处使所述第一用户界面对象的所述第一表面变形,而不执行所述第一操作。24.根据权利要求1至23中任一项所述的方法,包括:检测注视输入在所述三维环境中从第一位置到第二位置的移动:响应于检测到所述注视输入在所述三维环境中从所述第一位置到所述第二位置的所述移动:根据确定所述注视输入的当前位置在由所述第一用户界面对象占据的区域中,显示具有第一外观的所述第一用户界面对象;以及根据确定所述注视输入的所述当前位置在远离所述第一用户界面对象的区域中,显示具有不同于所述第一外观的第二外观的所述第一用户界面对象。25.根据权利要求24所述的方法,其中显示具有所述第一外观的所述第一用户界面对象包括根据移动到由所述第一用户界面对象占据的所述区域中的所述注视输入来使所述第一用户界面对象的所述第一表面变形。26.根据权利要求1至25中任一项所述的方法,其中所述第一标准包括要求在与所述三维环境中的所述第一用户界面对象对应的区域处检测到注视输入,并且要求所述注视输入在其当前位置处满足预定义的稳定性和持续时间标准,以便满足所述第一标准。27.根据权利要求26所述的方法,其中所述三维环境的所述第一视图包括多个用户界面对象,并且其中响应于所述手部的所述第一移动、根据确定在所述手部的所述第一移动期间所述注视输入指向所述第一用户界面对象来使所述第一用户界面对象变形。28.一种计算机系统,所述计算机系统包括:第一显示生成部件;一个或多个第一输入设备;一个或多个处理器;以及
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:经由所述第一显示生成部件显示三维环境的第一视图,包括在所述三维环境中的第一位置处显示具有第一表面的第一用户界面对象,其中所述第一用户界面对象在由满足第一标准的用户输入激活时使得执行第一操作;在所述三维环境中的所述第一位置处显示具有所述第一表面的所述第一用户界面对象时,检测手部在物理环境中的第一移动,其中在所述手部的整个所述第一移动期间,所述手部在所述物理环境中的定位在所述三维环境中具有与所述三维环境中的所述第一位置相距至少第一阈值距离的对应位置;以及响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述手部的所述第一移动满足第二标准并且不满足所述第一标准,在所述三维环境中的所述第一位置处使所述第一用户界面对象的所述第一表面变形,而不执行所述第一操作,其中使所述第一用户界面对象的所述第一表面变形包括相对于所述第一表面的第二部分移动所述第一表面的第一部分,所述第一表面的所述第二部分不同于所述第一表面的所述第一部分。29.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括第一显示生成部件和一个或多个第一输入设备的计算机系统执行时,使得所述计算机系统执行包括以下的操作:经由所述第一显示生成部件显示三维环境的第一视图,包括在所述三维环境中的第一位置处显示具有第一表面的第一用户界面对象,其中所述第一用户界面对象在由满足第一标准的用户输入激活时使得执行第一操作;在所述三维环境中的所述第一位置处显示具有所述第一表面的所述第一用户界面对象时,检测手部在物理环境中的第一移动,其中在所述手部的整个所述第一移动期间,所述手部在所述物理环境中的定位在所述三维环境中具有与所述三维环境中的所述第一位置相距至少第一阈值距离的对应位置;以及响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述手部的所述第一移动满足第二标准并且不满足所述第一标准,在所述三维环境中的所述第一位置处使所述第一用户界面对象的所述第一表面变形,而不执行所述第一操作,其中使所述第一用户界面对象的所述第一表面变形包括相对于所述第一表面的第二部分移动所述第一表面的第一部分,所述第一表面的所述第二部分不同于所述第一表面的所述第一部分。30.一种方法,包括:在与第一显示生成部件和一个或多个输入设备通信的计算机系统处:经由所述第一显示生成部件显示三维环境的第一视图,包括在所述三维环境中的第一位置处显示对应于第一操作和不同于所述第一操作的第二操作的第一用户界面对象;在显示所述三维环境的所述第一视图时并且在所述第一用户界面对象具有输入焦点时,检测第一手指集合相对于手部的连接到所述第一手指集合的部分的移动;响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:
根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足第一标准,执行所述第一操作,其中所述第一标准要求所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的特性移动速度超过第一阈值速度以便满足所述第一标准;以及根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足不同于所述第一标准的第二标准,执行所述第二操作,其中所述第二标准包括当所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述特性移动速度不超过所述第一阈值速度时能够满足的要求。31.根据权利要求30所述的方法,其中所述第一操作和所述第二操作对应于调整与所述第一用户界面对象相关联的第一控制功能的不同方式。32.根据权利要求30至31中任一项所述的方法,其中所述第一手指集合包括所述手部的单个手指。33.根据权利要求30至32中任一项所述的方法,其中:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动的开始,以第一方式改变所述第一用户界面对象的外观。34.根据权利要求33所述的方法,包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足所述第一标准,以不同于所述第一方式的第二方式改变所述第一用户界面对象的外观。35.根据权利要求33至34中任一项所述的方法,包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足所述第二标准,以不同于所述第一方式的第三方式改变所述第一用户界面对象的外观。36.根据权利要求30至33中任一项所述的方法,其中所述第一用户界面对象包括参考部分和能够根据用户输入相对于所述参考部分移动的可调整部分,并且所述方法包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足所述第二标准,以对应于所述第一手指集合的所述特性移动速度的第一速度移动所述第一用户界面对象的所述可调整部分的第一部分,并且以小于所述第一速度的第二速度移动所述第一用户界面对象的所述可调整部分的第二部分。37.根据权利要求30至36中任一项所述的方法,包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分
的所述移动满足不同于所述第一标准和所述第二标准的第三标准,执行不同于所述第一操作和所述第二操作的第三操作,其中所述第三标准要求所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述特性移动速度不超过所述第一阈值速度,并且要求所述第一手指集合的所述移动保持超过第一阈值持续时间。38.根据权利要求30至37中任一项所述的方法,包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:从所述第一用户界面对象的所述第一位置揭示未在所述三维环境的所述第一视图中显示的多个用户界面对象中的一个或多个用户界面对象,包括将所述多个用户界面对象中的所述一个或多个用户界面对象从所述第一用户界面对象的所述第一位置移动到所述三维环境的所述第一视图中。39.根据权利要求30至38中任一项所述的方法,包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足所述第一标准,生成第一音频输出;以及根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足所述第二标准,生成第二音频输出,其中所述第一音频输出在所述第一音频输出和所述第二音频输出的一个或多个特性上不同于所述第二音频输出。40.根据权利要求39所述的方法,其中:生成所述第一音频输出包括根据所述第一手指集合的所述移动的所述特性移动速度选择所述第一音频输出的第一特性;并且生成所述第二音频输出包括根据所述第一手指集合的所述移动的所述特性移动速度选择所述第二音频输出的第二特性。41.根据权利要求30至40中任一项所述的方法,包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一用户界面对象是第一类型的控件,根据与所述第一类型的控件相关联的第一音频输出配置文件生成相应的音频输出;以及根据确定所述第一用户界面对象是第二类型的控件,根据与所述第二类型的控件相关联的第二音频输出配置文件生成相应的音频输出,其中所述第一音频输出配置文件不同于所述第二音频输出配置文件。42.根据权利要求30至41中任一项所述的方法,其中:所述三维环境包括所述第一用户界面对象和一个或多个第二用户界面对象,所述第一用户界面对象和所述一个或多个第二用户界面对象在具有输入焦点时能够响应于所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的移动而被激活;并且响应于所述第一用户界面对象和所述一个或多个第二用户界面对象的激活而生成的相应音频输出在所述相应音频输出的一个或多个特性中具有预设的对应关系。43.根据权利要求30至42中任一项所述的方法,包括:
在检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足所述第一标准之后,检测所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的继续移动;以及响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述继续移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述继续移动满足不同于所述第一标准和所述第二标准的第四标准,放弃执行所述第一操作,其中所述第四标准要求所述第一手指集合的所述继续移动包括所述第一手指集合的所述移动的所述特性移动速度降低到低于第二阈值速度以便满足所述第四标准。44.根据权利要求30至43中任一项所述的方法,其中:所述第一标准要求所述第一手指集合的所述移动包括第一预设手指的满足所述第一阈值速度的移动,以便满足所述第一标准。45.根据权利要求30至44中任一项所述的方法,其中在注视输入指向所述第一用户界面对象时,所述第一用户界面对象保持所述输入焦点,并且所述方法包括:响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述注视输入未指向所述第一用户界面对象,放弃执行所述第一操作或所述第二操作。46.根据权利要求45所述的方法,包括:检测所述注视输入从第二位置到所述第一位置的移动;以及响应于检测到所述注视输入到所述第一位置的所述移动:在所述三维环境中显示具有第一视觉指示的所述第一用户界面对象。47.根据权利要求45至46中任一项所述的方法,其中所述三维环境的所述第一视图包括多个用户界面对象,并且所述方法包括:响应于检测到所述注视输入到所述第一位置的所述移动,将所述输入焦点移位到所述第一用户界面对象。48.一种计算机系统,所述计算机系统包括:第一显示生成部件;一个或多个输入设备;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:经由所述第一显示生成部件显示三维环境的第一视图,包括在所述三维环境中的第一位置处显示对应于第一操作和不同于所述第一操作的第二操作的第一用户界面对象;在显示所述三维环境的所述第一视图时并且在所述第一用户界面对象具有输入焦点时,检测第一手指集合相对于手部的连接到所述第一手指集合的部分的移动;响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分
的所述移动满足第一标准,执行所述第一操作,其中所述第一标准要求所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的特性移动速度超过第一阈值速度以便满足所述第一标准;以及根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足不同于所述第一标准的第二标准,执行所述第二操作,其中所述第二标准包括当所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述特性移动速度不超过所述第一阈值速度时能够满足的要求。49.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括第一显示生成部件和一个或多个输入设备的计算机系统执行时,使得所述计算机系统执行包括以下的操作:经由所述第一显示生成部件显示三维环境的第一视图,包括在所述三维环境中的第一位置处显示对应于第一操作和不同于所述第一操作的第二操作的第一用户界面对象;在显示所述三维环境的所述第一视图时并且在所述第一用户界面对象具有输入焦点时,检测第一手指集合相对于手部的连接到所述第一手指集合的部分的移动;响应于检测到所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动:根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足第一标准,执行所述第一操作,其中所述第一标准要求所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的特性移动速度超过第一阈值速度以便满足所述第一标准;以及根据确定所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述移动满足不同于所述第一标准的第二标准,执行所述第二操作,其中所述第二标准包括当所述第一手指集合相对于所述手部的连接到所述第一手指集合的所述部分的所述特性移动速度不超过所述第一阈值速度时能够满足的要求。50.一种方法,包括:在与第一显示生成部件和一个或多个第一输入设备通信的计算机系统处:经由所述第一显示生成部件显示三维环境的第一视图,包括在所述三维环境中的第一位置处显示第一用户界面对象,其中所述第一用户界面对象在由满足第一标准的用户输入激活时使得执行第一操作;在显示所述三维环境的所述第一视图时,检测手部在物理环境中的第一移动,所述显示所述三维环境的所述第一视图包括在所述三维环境中的所述第一位置处显示所述第一用户界面对象;以及响应于检测到所述手部在所述物理环境中的所述第一移动:基于所述手部在所述物理环境中的所述第一移动,改变所述三维环境的所述第一视图中的所述第一用户界面对象的外观,包括:根据确定所述手部的所述第一移动满足所述第一标准,执行与所述第一用户界面对象相关联的所述第一操作,并且改变所述第一用户界面对象的所述外观以指示已执行所述第一操作,其中所述第一标准要求在所述手部的所述第一移动期间所述手部以第一方式移动以便满足所述第一标准;以及
根据确定所述手部的所述第一移动不满足所述第一标准,移动所述第一用户界面对象远离所述三维环境中对应于所述手部在所述物理环境中的定位的相应位置,而不执行所述第一操作。51.根据权利要求50所述的方法,其中所述手部在所述物理环境中的所述第一移动对应于所述手部的表示在所述三维环境内朝向所述三维环境中的所述第一位置的移动,并且所述方法包括:响应于检测到所述手部在所述物理环境中的所述第一移动,经由所述第一显示生成部件显示所述手部的所述表示在所述三维环境中朝向所述三维环境中的所述第一位置移动。52.根据权利要求50至51中任一项所述的方法,其中所述第一标准要求所述手部的所述第一移动包括所述手部的第一手指相对于所述手部的连接到所述第一手指的部分的移动。53.根据权利要求50至52中任一项所述的方法,包括:响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述手部的所述第一移动满足所述第一标准,结合执行所述第一操作生成第一音频输出。54.根据权利要求50至53中任一项所述的方法,包括:响应于检测到所述手部在所述物理环境中的所述第一移动:根据确定所述手部的所述...

【专利技术属性】
技术研发人员:P
申请(专利权)人:苹果公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1