【技术实现步骤摘要】
【国外来华专利技术】用于使用增强现实进行建模、测量和绘图的系统、方法和图形用户界面
[0001]相关专利申请
[0002]本申请要求2020年1月24日提交的美国临时申请序列号62/965,710、2019年9月27日提交的美国临时申请序列号62/907,527和2020年9月23日提交的美国专利申请序列号17/030,209的优先权,并且是2020年9月23日提交的美国专利申请序列号17/030,209的延续。
[0003]这整体涉及用于虚拟/增强现实的计算机系统,包括但不限于用于使用虚拟/增强现实环境对物理环境和/或对象进行建模和注释的电子设备。
技术介绍
[0004]增强和/或虚拟现实环境可用于对物理环境和其中的对象进行建模和注释,方法是提供物理环境和其中的对象的不同视图并且使用户能够将注释诸如测量和绘图叠加在物理环境和其中的对象上,并且可视化注释与物理环境和其中的对象之间的交互。但是使用增强和/或虚拟现实对物理环境和对象进行建模和注释的常规方法繁琐、低效且有限。在某些情况下,使用增强和/或虚拟现实对物理环境和对象进行建模和注释的常规方法在功能上受到限制。在某些情况下,使用增强和/或虚拟现实对物理环境和对象进行建模和注释的常规方法需要多个单独的输入(例如,一系列手势和按钮按下等)来实现预期的结果(例如,通过激活多个显示的用户界面元素来访问不同的建模、测量和/或绘图功能)。在某些情况下,使用增强和/或虚拟现实对物理环境和对象进行建模和注释的常规方法仅限于实时的实施方式;在其他情况下,常规方法限于使用先前捕获的媒体的实 ...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法,包括:在具有显示生成部件、输入设备和处于物理环境中的一个或多个相机的计算机系统处:经由所述一个或多个相机捕获所述物理环境的表示,包括当所述一个或多个相机的视野移动时更新所述表示以包括在所述一个或多个相机的所述视野中的所述物理环境的相应部分的表示;在捕获所述物理环境的所述表示之后,显示包括用于请求显示所述物理环境的第一正交视图的可激活用户界面元素的用户界面;经由所述输入设备接收对应于所述可激活用户界面元素的用于请求显示所述物理环境的第一正交视图的用户输入;以及响应于接收到所述用户输入,基于所捕获的所述物理环境的一个或多个部分的表示来显示所述物理环境的所述第一正交视图。2.根据权利要求1所述的方法,其中基于所捕获的所述物理环境的所述一个或多个部分的表示的所述物理环境的所述第一正交视图为简化的正交视图,其中所述简化的正交视图简化所述物理环境的所述一个或多个部分的所述表示的外观。3.根据权利要求1至2中任一项所述的方法,包括:标识所述物理环境中的一个或多个壁、一个或多个地板和/或一个或多个天花板,以及所述物理环境的特征的边缘;其中所述物理环境的所述第一正交视图包括所标识的一个或多个壁、地板、天花板和特征的表示,由垂直于所标识的一个或多个壁、地板、天花板和特征显示的投影线表示。4.根据权利要求1至3中任一项所述的方法,其中所述第一正交视图基于第一视角,并且所述方法包括:在基于所捕获的所述物理环境的所述一个或多个部分的表示显示所述物理环境的所述第一正交视图之后,经由所述输入设备接收对应于第二可激活用户界面元素的用于请求显示所述物理环境的第二正交视图的第二用户输入;以及响应于接收到所述第二用户输入,基于所捕获的所述物理环境的所述一个或多个部分的表示显示所述物理环境的所述第二正交视图,其中所述第二正交视图基于不同于所述第一视角的第二视角。5.根据权利要求1至4中任一项所述的方法,其中:所捕获的所述视野的表示包括各自与所捕获的所述视野的表示的边缘形成相应角度的一个或多个边缘,并且各自与所捕获的所述视野的表示的边缘形成相应角度的所述一个或多个边缘对应于平行于所述第一正交视图的边缘显示的一个或多个边缘。6.根据权利要求1至5中任一项所述的方法,其中:所捕获的所述视野的表示包括形成斜角的至少一组边缘;以及在所捕获的所述视野的表示中形成斜角的所述至少一组边缘对应于所述正交视图中的至少一组垂直边缘。7.一种计算机系统,包括:显示生成部件;
输入设备;处于物理环境中的一个或多个相机;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:经由所述一个或多个相机捕获所述物理环境的表示,包括当所述一个或多个相机的视野移动时更新所述表示以包括在所述一个或多个相机的所述视野中的所述物理环境的相应部分的表示;在捕获所述物理环境的所述表示之后,显示包括用于请求显示所述物理环境的第一正交视图的可激活用户界面元素的用户界面;经由所述输入设备接收对应于所述可激活用户界面元素的用于请求显示所述物理环境的第一正交视图的用户输入;以及响应于接收到所述用户输入,基于所捕获的所述物理环境的一个或多个部分的表示来显示所述物理环境的所述第一正交视图。8.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由包括显示生成部件、输入设备和处于物理环境中的一个或多个相机的计算机系统执行时,使得所述计算机系统:经由所述一个或多个相机捕获所述物理环境的表示,包括当所述一个或多个相机的视野移动时更新所述表示以包括在所述一个或多个相机的所述视野中的所述物理环境的相应部分的表示;在捕获所述物理环境的所述表示之后,显示包括用于请求显示所述物理环境的第一正交视图的可激活用户界面元素的用户界面;经由所述输入设备接收对应于所述可激活用户界面元素的用于请求显示所述物理环境的第一正交视图的用户输入;以及响应于接收到所述用户输入,基于所捕获的所述物理环境的一个或多个部分的表示来显示所述物理环境的所述第一正交视图。9.一种计算机系统,包括:显示生成部件;输入设备;处于物理环境中的一个或多个相机;用于经由所述一个或多个相机捕获所述物理环境的表示的装置,包括用于当所述一个或多个相机的视野移动时更新所述表示以包括在所述一个或多个相机的所述视野中的所述物理环境的相应部分的表示的装置;在捕获所述物理环境的所述表示之后启用的装置,用于显示包括用于请求显示所述物理环境的第一正交视图的可激活用户界面元素的用户界面;用于经由所述输入设备接收对应于所述可激活用户界面元素的用于请求显示所述物理环境的第一正交视图的用户输入的装置;以及响应于接收到所述用户输入而启用的装置,用于基于所捕获的所述物理环境的一个或多个部分的表示来显示所述物理环境的所述第一正交视图。
10.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、输入设备和处于物理环境中的一个或多个相机,所述信息处理装置包括:用于经由所述一个或多个相机捕获所述物理环境的表示的装置,包括用于当所述一个或多个相机的视野移动时更新所述表示以包括在所述一个或多个相机的所述视野中的所述物理环境的相应部分的表示的装置;在捕获所述物理环境的所述表示之后启用的装置,用于显示包括用于请求显示所述物理环境的第一正交视图的可激活用户界面元素的用户界面;用于经由所述输入设备接收对应于所述可激活用户界面元素的用于请求显示所述物理环境的第一正交视图的用户输入的装置;以及响应于接收到所述用户输入而启用的装置,用于基于所捕获的所述物理环境的一个或多个部分的表示来显示所述物理环境的所述第一正交视图。11.一种计算机系统,包括:显示生成部件;输入设备;处于物理环境中的一个或多个相机;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至6所述的方法中的任一种方法的指令。12.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由包括显示生成部件、输入设备和处于物理环境中的一个或多个相机的计算机系统执行时,使得所述计算机系统执行根据权利要求1至6所述的方法中的任一种方法。13.一种位于计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、输入设备和处于物理环境中的一个或多个相机、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器,所述图形用户界面包括根据权利要求1至6所述的方法中的任一种方法显示的用户界面。14.一种计算机系统,包括:显示生成部件;输入设备;处于物理环境中的一个或多个相机;以及用于执行根据权利要求1至6所述的方法中的任一种方法的装置。15.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、输入设备和处于物理环境中的一个或多个相机,所述信息处理装置包括:用于执行根据权利要求1至6所述的方法中的任一种方法的装置。16.一种方法,包括:在具有显示生成部件、输入设备和处于物理环境中的一个或多个相机的计算机系统处:经由所述一个或多个相机捕获指示所述物理环境的信息,包括当所述一个或多个相机的视野移动时指示在所述一个或多个相机的所述视野中的所述物理环境的相应部分的信
息,其中所述物理环境的所述相应部分包括所述物理环境的多个主要特征和所述物理环境的一个或多个次级特征;以及在捕获指示所述物理环境的所述信息之后,显示用户界面,包括同时显示:以对所述物理环境的对应的多个主要特征的第一保真度水平生成的所述多个主要特征的图形表示;以及以对所述物理环境的对应的一个或多个次级特征的第二保真度水平生成的次级特征的一个或多个图形表示,其中所述第二保真度水平低于所述第一保真度水平。17.根据权利要求16所述的方法,其中所述物理环境的所述多个主要特征包括一个或多个壁和/或一个或多个地板。18.根据权利要求16至17中任一项所述的方法,其中所述物理环境的所述主要特征包括一个或多个门和/或一个或多个窗口。19.根据权利要求16至18中任一项所述的方法,其中所述物理环境的所述一个或多个次级特征包括一件或多件家具。20.根据权利要求16至19中任一项所述的方法,其中以对所述物理环境的所述对应的一个或多个次级特征的所述第二保真度水平生成的所述一个或多个次级特征的所述一个或多个图形表示包括表示所述一个或多个次级特征的一个或多个图标。21.根据权利要求16至20中任一项所述的方法,其中所述一个或多个次级特征的所述一个或多个图形表示包括在所述用户界面中勾勒出与所述物理环境的所述一个或多个次级特征所占据的物理环境相对应的相应区域的相应的三维几何形状。22.根据权利要求16至21中任一项所述的方法,其中所述一个或多个次级特征的所述一个或多个图形表示包括预定义的占位符家具。23.根据权利要求16至22中任一项所述的方法,其中所述一个或多个次级特征的所述一个或多个图形表示包括所述一个或多个次级特征的计算机辅助设计(CAD)表示。24.根据权利要求16至23中任一项所述的方法,其中所述一个或多个次级特征的所述一个或多个图形表示部分透明。25.根据权利要求16至24中任一项所述的方法,其中所述一个或多个次级特征包括一个或多个建筑物自动化设备,并且所述一个或多个次级特征的所述一个或多个图形表示包括所述图形表示对应于所述一个或多个建筑物自动化设备的图形指示。26.根据权利要求25所述的方法,包括:响应于在对应于相应的建筑物自动化设备的相应图形指示处接收输入,显示用于控制所述相应的建筑物自动化设备的至少一个方面的至少一个控件。27.根据权利要求16至26中任一项所述的方法,其中:所述用户界面为第一用户界面,所述第一用户界面包括所述物理环境的第一视图和第一用户界面元素,其中响应于所述第一用户界面元素的激活而显示所述物理环境的所述第一视图;所述用户界面包括第二用户界面元素,其中响应于所述第二用户界面元素的激活,显示不同于所述第一视图的所述物理环境的第二视图;以及所述用户界面包括第三用户界面元素,其中响应于所述第三用户界面元素的激活,显示不同于所述第一视图和所述第二视图的所述物理环境的第三视图。
28.一种计算机系统,包括:显示生成部件;输入设备;处于物理环境中的一个或多个相机;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:经由所述一个或多个相机捕获指示所述物理环境的信息,包括当所述一个或多个相机的视野移动时指示在所述一个或多个相机的所述视野中的所述物理环境的相应部分的信息,其中所述物理环境的所述相应部分包括所述物理环境的多个主要特征和所述物理环境的一个或多个次级特征;以及在捕获指示所述物理环境的所述信息之后,显示用户界面,包括同时显示:以对所述物理环境的对应的多个主要特征的第一保真度水平生成的所述多个主要特征的图形表示;以及以对所述物理环境的对应的一个或多个次级特征的第二保真度水平生成的次级特征的一个或多个图形表示,其中所述第二保真度水平低于所述第一保真度水平。29.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由包括显示生成部件、输入设备和处于物理环境中的一个或多个相机的计算机系统执行时,使得所述计算机系统:经由所述一个或多个相机捕获指示所述物理环境的信息,包括当所述一个或多个相机的视野移动时指示在所述一个或多个相机的所述视野中的所述物理环境的相应部分的信息,其中所述物理环境的所述相应部分包括所述物理环境的多个主要特征和所述物理环境的一个或多个次级特征;以及在捕获指示所述物理环境的所述信息之后,显示用户界面,包括同时显示:以对所述物理环境的对应的多个主要特征的第一保真度水平生成的所述多个主要特征的图形表示;以及以对所述物理环境的对应的一个或多个次级特征的第二保真度水平生成的次级特征的一个或多个图形表示,其中所述第二保真度水平低于所述第一保真度水平。30.一种计算机系统,包括:显示生成部件;输入设备;处于物理环境中的一个或多个相机;用于经由所述一个或多个相机捕获指示所述物理环境的信息的装置,所述信息包括当所述一个或多个相机的视野移动时指示在所述一个或多个相机的所述视野中的所述物理环境的相应部分的信息,其中所述物理环境的所述相应部分包括所述物理环境的多个主要特征和所述物理环境的一个或多个次级特征;以及在捕获指示所述物理环境的所述信息之后启用的装置,用于显示用户界面,包括用于同时显示以下各项的装置:以对所述物理环境的对应的多个主要特征的第一保真度水平生成的所述多个主要特
征的图形表示;以及以对所述物理环境的对应的一个或多个次级特征的第二保真度水平生成的次级特征的一个或多个图形表示,其中所述第二保真度水平低于所述第一保真度水平。31.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、输入设备和处于物理环境中的一个或多个相机,所述信息处理装置包括:用于经由所述一个或多个相机捕获指示所述物理环境的信息的装置,所述信息包括当所述一个或多个相机的视野移动时指示在所述一个或多个相机的所述视野中的所述物理环境的相应部分的信息,其中所述物理环境的所述相应部分包括所述物理环境的多个主要特征和所述物理环境的一个或多个次级特征;以及在捕获指示所述物理环境的所述信息之后启用的装置,用于显示用户界面,包括用于同时显示以下各项的装置:以对所述物理环境的对应的多个主要特征的第一保真度水平生成的所述多个主要特征的图形表示;以及以对所述物理环境的对应的一个或多个次级特征的第二保真度水平生成的次级特征的一个或多个图形表示,其中所述第二保真度水平低于所述第一保真度水平。32.一种计算机系统,包括:显示生成部件;输入设备;处于物理环境中的一个或多个相机;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求16至27所述的方法中的任一种方法的指令。33.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由包括显示生成部件、输入设备和处于物理环境中的一个或多个相机的计算机系统执行时,使得所述计算机系统执行根据权利要求16至27中所述的方法中的任一种方法。34.一种位于计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、输入设备和处于物理环境中的一个或多个相机、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器,所述图形用户界面包括根据权利要求16至27所述的方法中的任一种方法显示的用户界面。35.一种计算机系统,包括:显示生成部件;输入设备;处于物理环境中的一个或多个相机;以及用于执行根据权利要求16至27所述的方法中的任一种方法的装置。36.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、输入设备和处于物理环境中的一个或多个相机,所述信息处理装置包括:用于执行根据权利要求16至27所述的方法中的任一种方法的装置。
37.一种方法,包括:在具有显示生成部件和一个或多个输入设备的计算机系统处:经由所述显示生成部件显示:物理环境的表示,其中所述物理环境的所述表示包括第一物理对象的表示,所述第一物理对象占据所述物理环境中的第一物理空间并且具有第一相应对象属性;以及虚拟对象,所述虚拟对象在所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理空间不同的第二物理空间的位置处;检测对应于所述虚拟对象的第一输入,其中所述第一输入的移动对应于相对于所述第一物理对象的所述表示在所述物理环境的所述表示中移动所述虚拟对象的请求;以及当检测所述第一输入时,基于所述第一输入的所述移动在所述物理环境的所述表示中至少部分地移动所述虚拟对象,其中:根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中未被具有所述第一相应对象属性的物理对象占据的物理空间的一个或多个位置的请求,在所述物理环境的所述表示中至少部分地移动所述虚拟对象包括将所述虚拟对象移动第一量;以及根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的一个或多个位置的请求,在所述物理环境的所述表示中至少部分地移动所述虚拟对象包括将所述虚拟对象移动小于所述第一量的第二量,移动通过对应于所述物理环境中的与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置的至少一个子集。38.根据权利要求37所述的方法,其中所述物理环境的所述表示对应于所述物理环境的第一视图,并且所述方法包括:根据确定所述虚拟对象在所述物理环境的所述表示中的相应位置使得所述虚拟对象的一个或多个部分与所述物理环境中的相应的物理对象的一个或多个表示重叠并且所述虚拟对象的一个或多个部分对应于所述物理环境中的从所述物理环境的所述第一视角来看被一个或多个相应的物理对象遮挡的物理空间,改变与相应的物理对象的所述一个或多个表示重叠的所述虚拟对象的所述一个或多个部分的外观。39.根据权利要求37至38中任一项所述的方法,其中所述物理环境的所述表示对应于所述物理环境的第一视图,并且所述方法包括:响应于检测到对应于所述虚拟对象的所述第一输入,显示所述虚拟对象周围的轮廓,包括:在继续显示所述虚拟对象周围的所述轮廓时,根据确定所述虚拟对象在所述物理环境的所述表示中的相应位置使得所述虚拟对象的所述一个或多个部分与所述物理环境中的相应的物理对象的一个或多个表示重叠并且所述虚拟对象的所述一个或多个部分对应于所述物理环境中的从所述物理环境的所述第一视角来看被一个或多个相应的物理对象遮挡的物理空间,放弃显示与相应的物理对象的所述一个或多个表示重叠的所述虚拟对象的所述一个或多个部分。40.根据权利要求37至39中任一项所述的方法,包括:
停止检测所述第一输入;响应于停止检测所述第一输入,根据确定当所述虚拟对象在所述物理环境的所述表示中对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的相应位置时停止检测所述第一输入,将所述虚拟对象移动至所述物理环境的所述表示中对应于所述物理环境中的所述第一物理对象附近的物理空间的位置,所述物理空间不与所述第一物理对象的所述第一物理空间重叠。41.根据权利要求37至40中任一项所述的方法,包括:在所述虚拟对象移动小于所述第一量的所述第二量,移动通过对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置的至少一个子集之后,根据确定所述第一输入的所述移动满足距离阈值,将所述虚拟对象移动通过所述第一物理对象的所述第一物理空间。42.根据权利要求37至41中任一项所述的方法,包括:根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的一个或多个位置的请求:根据确定所述第一输入满足速度阈值以及确定所述第一输入对应于将所述虚拟对象移动到对应于所述物理环境中的不与所述第一物理对象的所述第一物理空间重叠的物理空间的相应位置的请求,将所述虚拟对象移动通过对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置并移动到所述相应位置。43.根据权利要求42所述的方法,包括:根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的一个或多个位置的请求:根据确定所述第一输入不满足所述速度阈值或确定所述第一输入对应于将所述虚拟对象移动到对应于所述物理环境中的不与所述第一物理对象的所述第一物理空间重叠的物理空间的相应位置的请求,放弃将所述虚拟对象移动通过对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置并移动到所述相应位置。44.根据权利要求37至42中任一项所述的方法,其中所述第一输入的初始位置在所述虚拟对象的显示区域内。45.根据权利要求37至44中任一项所述的方法,包括:检测对应于所述虚拟对象的第二输入;响应于检测到所述第二输入,根据确定所述第二输入对应于在所述物理环境的所述表示中调整所述虚拟对象大小的请求,基于所述第二输入的移动在所述物理环境的所述表示中调整所述虚拟对象的大小,其中:根据确定所述第二输入的所述移动对应于调整所述虚拟对象的大小以使得所述虚拟对象的至少部分在所述第一物理对象的边缘的预定义距离阈值内的请求,基于所述第二输入的所述移动在所述物理环境的所述表示中调整所述虚拟对象的大小包括调整所述虚拟
对象的大小以对齐到所述第一物理对象的所述边缘。46.根据权利要求45所述的方法,其中确定所述第二输入对应于调整所述虚拟对象的大小的请求包括确定所述第二输入的初始位置对应于所述虚拟对象的边缘。47.根据权利要求45至46中任一项所述的方法,其中:根据确定所述第二输入包括沿第一方向的移动,所述虚拟对象的大小调整包括沿所述第一方向调整所述虚拟对象的大小;根据确定拖动手势包括沿第二方向的移动,所述虚拟对象的大小调整包括沿所述第二方向调整所述虚拟对象的大小。48.根据权利要求37至47中任一项所述的方法,包括:在所述物理环境的所述表示中显示来自光源的改变所述第一物理对象和所述虚拟对象的所述表示的视觉外观的光;根据确定所述虚拟对象在所述物理环境的所述表示中对应于所述光源与所述第一物理对象之间的物理环境中的物理空间的位置,在所述第一物理对象的所述表示的至少部分上方显示阴影区域;以及根据确定所述第一物理对象在所述光源与对应于所述物理环境的所述表示中的所述虚拟对象的所述位置的所述物理空间之间,在所述虚拟对象的至少部分上方显示阴影区域。49.根据权利要求37至47中任一项所述的方法,包括:在所述物理环境的所述表示中显示来自光源的改变所述第一物理对象和所述虚拟对象的所述表示的视觉外观的光;根据确定所述虚拟对象在所述物理环境的所述表示中对应于所述物理环境中的位于来自所述光源的光路中的物理空间,增加所述虚拟对象的区域的亮度。50.根据权利要求37至48中任一项所述的方法,其中所述物理环境的所述表示包括在所述物理环境中占据第三物理空间并且具有第二相应的对象属性的第二物理对象的表示,并且所述方法包括:当检测到对应于相对于所述第二物理对象的所述表示在所述物理环境的所述表示中移动所述虚拟对象的请求的相应输入时,基于所述相应输入的移动,在所述物理环境的所述表示中至少部分地移动所述虚拟对象,其中:根据确定所述相应输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第二物理对象的所述第三物理空间至少部分地重叠的物理空间的一个或多个位置的请求:将所述虚拟对象至少部分地移动通过对应于所述物理环境中与所述第二物理对象的所述第三物理空间至少部分地重叠的物理空间的所述一个或多个位置的至少一个子集;以及显示对应于与所述虚拟对象的所述至少部分重叠的所述第二物理对象的所述表示的至少部分的视觉外观中的一个或多个变化。51.根据权利要求49所述的方法,其中显示对应于与所述虚拟对象的所述至少部分重叠的所述第二物理对象的所述表示的至少所述部分的所述视觉外观的所述一个或多个变化基于所述物理环境中所述第二物理对象的一个或多个对象属性。
52.一种计算机系统,包括:显示生成部件;一个或多个输入设备;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:经由所述显示生成部件显示:物理环境的表示,其中所述物理环境的所述表示包括第一物理对象的表示,所述第一物理对象占据所述物理环境中的第一物理空间并且具有第一相应对象属性;以及虚拟对象,所述虚拟对象在所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理空间不同的第二物理空间的位置处;检测对应于所述虚拟对象的第一输入,其中所述第一输入的移动对应于相对于所述第一物理对象的所述表示在所述物理环境的所述表示中移动所述虚拟对象的请求;以及当检测所述第一输入时,基于所述第一输入的所述移动在所述物理环境的所述表示中至少部分地移动所述虚拟对象,其中:根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中未被具有所述第一相应对象属性的物理对象占据的物理空间的一个或多个位置的请求,在所述物理环境的所述表示中至少部分地移动所述虚拟对象包括将所述虚拟对象移动第一量;以及根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的一个或多个位置的请求,在所述物理环境的所述表示中至少部分地移动所述虚拟对象包括将所述虚拟对象移动小于所述第一量的第二量,移动通过对应于所述物理环境中的与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置的至少一个子集。53.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,当所述指令由包括显示生成部件和一个或多个输入设备的计算机系统执行时,使所述计算机系统执行以下操作:经由所述显示生成部件显示:物理环境的表示,其中所述物理环境的所述表示包括第一物理对象的表示,所述第一物理对象占据所述物理环境中的第一物理空间并且具有第一相应对象属性;以及虚拟对象,所述虚拟对象在所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理空间不同的第二物理空间的位置处;检测对应于所述虚拟对象的第一输入,其中所述第一输入的移动对应于相对于所述第一物理对象的所述表示在所述物理环境的所述表示中移动所述虚拟对象的请求;以及当检测所述第一输入时,基于所述第一输入的所述移动在所述物理环境的所述表示中至少部分地移动所述虚拟对象,其中:根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中未被具有所述第一相应对象属性的物理对象占据的
物理空间的一个或多个位置的请求,在所述物理环境的所述表示中至少部分地移动所述虚拟对象包括将所述虚拟对象移动第一量;以及根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的一个或多个位置的请求,在所述物理环境的所述表示中至少部分地移动所述虚拟对象包括将所述虚拟对象移动小于所述第一量的第二量,移动通过对应于所述物理环境中的与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置的至少一个子集。54.一种计算机系统,包括:显示生成部件;一个或多个输入设备;用于经由所述显示生成部件显示以下各项的装置:物理环境的表示,其中所述物理环境的所述表示包括第一物理对象的表示,所述第一物理对象占据所述物理环境中的第一物理空间并且具有第一相应对象属性;以及虚拟对象,所述虚拟对象在所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理空间不同的第二物理空间的位置处;用于检测对应于所述虚拟对象的第一输入的装置,其中所述第一输入的移动对应于相对于所述第一物理对象的所述表示在所述物理环境的所述表示中移动所述虚拟对象的请求;以及当检测所述第一输入时启用的装置,用于基于所述第一输入的所述移动在所述物理环境的所述表示中至少部分地移动所述虚拟对象,其中:根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中未被具有所述第一相应对象属性的物理对象占据的物理空间的一个或多个位置的请求,用于在所述物理环境的所述表示中至少部分地移动所述虚拟对象的所述装置包括用于将所述虚拟对象移动第一量的装置;以及根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的一个或多个位置的请求,用于在所述物理环境的所述表示中至少部分地移动所述虚拟对象的所述装置包括用于将所述虚拟对象移动小于所述第一量的第二量,移动通过对应于所述物理环境中的与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置的至少一个子集的装置。55.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件和一个或多个输入设备,所述信息处理装置包括:用于经由所述显示生成部件显示以下各项的装置:物理环境的表示,其中所述物理环境的所述表示包括第一物理对象的表示,所述第一物理对象占据所述物理环境中的第一物理空间并且具有第一相应对象属性;以及虚拟对象,所述虚拟对象在所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理空间不同的第二物理空间的位置处;用于检测对应于所述虚拟对象的第一输入的装置,其中所述第一输入的移动对应于相
对于所述第一物理对象的所述表示在所述物理环境的所述表示中移动所述虚拟对象的请求;以及当检测所述第一输入时启用的装置,用于基于所述第一输入的所述移动在所述物理环境的所述表示中至少部分地移动所述虚拟对象,其中:根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中未被具有所述第一相应对象属性的物理对象占据的物理空间的一个或多个位置的请求,用于在所述物理环境的所述表示中至少部分地移动所述虚拟对象的所述装置包括用于将所述虚拟对象移动第一量的装置;以及根据确定所述第一输入的所述移动对应于将所述虚拟对象移动通过所述物理环境的所述表示中的对应于所述物理环境中与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的一个或多个位置的请求,用于在所述物理环境的所述表示中至少部分地移动所述虚拟对象的所述装置包括用于将所述虚拟对象移动小于所述第一量的第二量,移动通过对应于所述物理环境中的与所述第一物理对象的所述第一物理空间至少部分地重叠的物理空间的所述一个或多个位置的至少一个子集的装置。56.一种计算机系统,包括:显示生成部件;一个或多个输入设备;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求37至51所述的方法中的任一种方法的指令。57.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,当所述指令由包括显示生成部件和一个或多个输入设备的计算机系统执行时,使所述计算机系统执行根据权利要求37至51所述的方法中的任一种方法。58.一种位于计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、一个或多个输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器,所述图形用户界面包括根据权利要求37至51所述的方法中的任一种方法显示的用户界面。59.一种计算机系统,包括:显示生成部件;一个或多个输入设备;以及用于执行根据权利要求37至51所述的方法中的任一种方法的装置。60.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件和一个或多个输入设备,所述信息处理装置包括:用于执行根据权利要求37至51所述的方法中的任一种方法的装置。61.一种方法,包括:在具有显示生成部件和一个或多个输入设备的计算机系统处:经由所述显示生成部件显示第一先前捕获的媒体的第一表示,其中所述第一媒体的所述第一表示包括物理环境的表示;
在显示所述第一媒体的所述第一表示时,接收对应于对与所述物理环境的第一部分相对应的所述第一表示的部分进行注释的请求的输入;响应于接收到所述输入,在对应于所述物理环境的所述第一部分的所述第一表示的所述部分上显示注释,所述注释具有基于所述物理环境确定的位置、取向或比例中的一者或多者;以及在接收到所述输入之后,在所显示的第二先前捕获的媒体的第二表示的部分上显示所述注释,其中所述第二先前捕获的媒体不同于所述第一先前捕获的媒体,并且所述第二表示的所述部分对应于所述物理环境的所述第一部分。62.根据权利要求61所述的方法,包括:在接收到与注释所述第一表示的所述部分的所述请求相对应的所述输入之后,以及在所显示的所述第二媒体的第二表示的所述部分上显示所述注释之前:显示从所述第一媒体的所述第一表示的显示到在所述第一媒体的所述第一表示中表示的并且表示至少部分地显示在所述第一媒体的所述第一表示中的一个或多个注释的所述物理环境的三维模型的第一表示的显示的第一动画过渡;以及显示从所述三维模型的所述第一表示的显示到在所述第二媒体的所述第二表示中表示的并且表示至少部分地显示在所述第二媒体的所述第二表示中的一个或多个注释的所述物理环境的所述三维模型的第二表示的显示的第二动画过渡;以及显示从所述三维模型的所述第二表示的显示到所述第二媒体的所述第二表示的显示的第三动画过渡。63.根据权利要求62所述的方法,包括在显示所述第一动画过渡、所述第二动画过渡和所述第三动画过渡时显示所述注释。64.根据权利要求63所述的方法,包括:根据确定从所述第一媒体的所述第一表示的显示到在所述第一媒体的所述第一表示中表示的所述物理环境的所述三维模型的所述第一表示的显示的所述第一动画过渡包括第一视角变化,响应于所述第一视角变化而更新所述注释的所述显示;根据确定从所述三维模型的所述第一表示的显示到在所述第二媒体的所述第二表示中表示的所述物理环境的所述三维模型的所述第二表示的显示的所述第二动画过渡包括第二视角变化,响应于所述第二视角变化而更新所述注释的所述显示;以及根据确定从所述三维模型的所述第二表示的显示到所述第二媒体的所述第二表示的显示的所述第三动画过渡包括第三视角变化,响应于所述第三视角变化而更新所述注释的所述显示。65.根据权利要求61至64中任一项所述的方法,包括:在接收到与注释所述第一表示的所述部分的所述请求相对应的所述输入之后,以及在所显示的所述第二媒体的第二表示的所述部分上显示所述注释之前:接收对应于对所述第二媒体的选择的输入;以及响应于接收到与对所述第二媒体的选择相对应的所述输入,显示所述第二媒体的相应表示;其中在所述第二媒体的所述第二表示的所述部分上显示所述注释是在接收到与对所述第二媒体的选择相对应的所述输入之后执行。
66.根据权利要求61至65中任一项所述的方法,包括:在对应于所述物理环境的所述第一部分的所述第一表示的所述部分上显示所述注释之后,接收与查看所述物理环境的实时表示的请求相对应的输入;响应于接收到与查看所述物理环境的当前状态的表示相对应的请求的所述输入:显示所述物理环境的所述当前状态的所述表示;以及根据确定所述物理环境的所述当前状态的所述表示对应于所述物理环境的至少所述第一部分,在对应于所述物理环境的所述第一部分的所述物理环境的所述当前状态的所述表示的部分上显示所述注释,其中所述注释如在所述物理环境的所述当前状态的所述表示中所表示的以基于所述物理环境来确定的位置、取向或比例中的一者或多者来显示。67.根据权利要求61所述的方法,其中:同时显示所述第一表示和所述第二表示;对应于注释所述第一表示的部分的请求的所述输入包括所述输入的移动;以及响应于接收到所述输入,同时:至少部分地基于所述输入的所述移动来修改所述第一表示的与所述物理环境的所述第一部分相对应的所述部分中的所述注释的第一表示;以及至少部分地基于所述输入的所述移动来修改所述第二表示的与所述物理环境的所述第一部分相对应的所述部分中的所述注释的第二表示。68.根据权利要求61至67中任一项所述的方法,其中所述注释的部分未在来自所述第二媒体的所述第二表示上显示。69.根据权利要求61至68中任一项所述的方法,包括:在显示来自所述第二先前捕获的媒体的所述第二表示时,接收对应于注释所述第二表示的对应于所述物理环境的第二部分的部分的请求的第二输入;响应于接收到所述第二输入,在对应于所述物理环境的所述第二部分的所述第二表示的所述部分上显示第二注释,所述第二注释具有基于所述物理环境确定的位置、取向或比例中的一者或多者;在接收到所述第二输入之后,在对应于所述物理环境的所述第二部分的所述第一媒体的所述第一表示的部分上显示所述第二注释。70.根据权利要求69所述的方法,其中所述第二注释的至少部分不显示在所述第一媒体的所述第一表示上。71.一种计算机系统,包括:显示生成部件;一个或多个输入设备;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:经由所述显示生成部件显示第一先前捕获的媒体的第一表示,其中所述第一媒体的所述第一表示包括物理环境的表示;在显示所述第一媒体的所述第一表示时,接收对应于对与所述物理环境的第一部分相对应的所述第一表示的部分进行注释的请求的输入;
响应于接收到所述输入,在对应于所述物理环境的所述第一部分的所述第一表示的所述部分上显示注释,所述注释具有基于所述物理环境确定的位置、取向或比例中的一者或多者;以及在接收到所述输入之后,在所显示的第二先前捕获的媒体的第二表示的部分上显示所述注释,其中所述第二先前捕获的媒体不同于所述第一先前捕获的媒体,并且所述第二表示的所述部分对应于所述物理环境的所述第一部分。72.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,当所述指令由包括显示生成部件和一个或多个输入设备的计算机系统执行时,使所述计算机系统执行以下操作:经由所述显示生成部件显示第一先前捕获的媒体的第一表示,其中所述第一媒体的所述第一表示包括物理环境的表示;在显示所述第一媒体的所述第一表示时,接收对应于对与所述物理环境的第一部分相对应的所述第一表示的部分进行注释的请求的输入;响应于接收到所述输入,在对应于所述物理环境的所述第一部分的所述第一表示的所述部分上显示注释,所述注释具有基于所述物理环境确定的位置、取向或比例中的一者或多者;以及在接收到所述输入之后,在所显示的第二先前捕获的媒体的第二表示的部分上显示所述注释,其中所述第二先前捕获的媒体不同于所述第一先前捕获的媒体,并且所述第二表示的所述部分对应于所述物理环境的所述第一部分。73.一种计算机系统,包括:显示生成部件;一个或多个输入设备;用于经由所述显示生成部件显示第一先前捕获的媒体的第一表示的装置,其中所述第一媒体的所述第一表示包括物理环境的表示;在显示所述第一媒体的所述第一表示时被启用的装置,用于接收对应于对与所述物理环境的第一部分相对应的所述第一表示的部分进行注释的请求的输入;响应于接收到所述输入启用的装置,用于在对应于所述物理环境的所述第一部分的所述第一表示的所述部分上显示注释,所述注释具有基于所述物理环境确定的位置、取向或比例中的一者或多者;以及在接收到所述输入之后启用的装置,用于在所显示的第二先前捕获的媒体的第二表示的部分上显示所述注释,其中所述第二先前捕获的媒体不同于所述第一先前捕获的媒体,并且所述第二表示的所述部分对应于所述物理环境的所述第一部分。74.一种在包括显示生成部件和一个或多个输入设备的计算机系统中使用的信息处理装置,所述信息处理装置包括:用于经由所述显示生成部件显示第一先前捕获的媒体的第一表示的装置,其中所述第一媒体的所述第一表示包括物理环境的表示;在显示所述第一媒体的所述第一表示时被启用的装置,用于接收对应于对与所述物理环境的第一部分相对应的所述第一表示的部分进行注释的请求的输入;响应于接收到所述输入启用的装置,用于在对应于所述物理环境的所述第一部分的所
述第一表示的所述部分上显示注释,所述注释具有基于所述物理环境确定的位置、取向或比例中的一者或多者;以及在接收到所述输入之后启用的装置,用于在所显示的第二先前捕获的媒体的第二表示的部分上显示所述注释,其中所述第二先前捕获的媒体不同于所述第一先前捕获的媒体,并且所述第二表示的所述部分对应于所述物理环境的所述第一部分。75.一种计算机系统,包括:显示生成部件;一个或多个输入设备;一个或多个处理器;以及存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求61至70所述的方法中的任一种方法的指令。76.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,当所述指令由包括显示生成部件和一个或多个输入设备的计算机系统执行时,使所述计算机系统执行根据权利要求61至70所述的方法中的任一种方法。77.一种位于计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、一个或多个输入设备、存储器和用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器,所述图形用户界面包括根据权利要求61至70所述的方法中的任一种方法显示的用户界面。78.一种计算机系统,包括:显示生成部件;一个或多个输入设备;以及用于执行根据权利要求61至70所述的方法中的任一种方法的装置。79.一种在包括显示生成部件和一个或多个输入设备的计算机系统中使用的信息处理装置,所述信息处理装置包括:用于执行根据权利要求61至70所述的方法中的任一种方法的装置。80.一种方法,包括:在具有显示生成部件、输入设备和处于物理环境中的一个或多个相机的计算机系统处:经由所述显示生成部件显示所述一个或多个相机的视野的第一表示;经由所述输入设备接收第一绘图输入,所述第一绘图输入对应于将第一注释添加到所述视野的所述第一表示的请求;以及响应于接收到所述第一绘图输入:在所述一个或多个相机的所述视野的所述第一表示中,沿对应于所述第一绘图输入的移动的路径显示所述第一注释;以及在沿对应于所述第一绘图输入的所述移动的所述路径显示所述第一注释之后...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。