System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于人工现实环境中的二维元素和三维元素的集成框架制造技术_技高网

用于人工现实环境中的二维元素和三维元素的集成框架制造技术

技术编号:42421514 阅读:15 留言:0更新日期:2024-08-16 16:37
本公开的各方面涉及用于人工现实(XR)环境中的二维(2D)元素和三维(3D)元素的集成框架。2D和3D集成框架可以实现两层应用编程接口(API)系统,其中开发者可以使用声明式API通过执行预定义功能来定义节点,并且命令式API通过为那些节点指定一个或多个功能来定义节点。该框架可以遍历这些节点的组件树以在第一次遍历中提取2D元素并将其添加到2D面板上。在第二次遍历中,框架可以提取3D元素,并确定2D元素和3D元素如何转换到3D世界视图中。基于该确定,框架可以将选择的2D元素和3D元素绘制到3D世界视图中,该3D世界视图可以在XR环境中的XR设备上渲染。

【技术实现步骤摘要】

本公开涉及用于人工现实(artificial reality,xr)环境中的二维(two-dimensional,2d)元素和三维(three-dimensional,3d)元素的集成框架。


技术介绍

1、人工现实(xr)设备正变得越来越普遍。随着它们变得越来越流行,在这类设备上实现的应用也变得更加复杂。增强现实(augmented reality,ar)应用可以提供将真实世界的图像与虚拟对象相结合的交互式3d体验,而虚拟现实(virtual reality,vr)应用可以提供完全独立的3d计算机环境。例如,ar应用可用于将虚拟对象叠加在由摄像头观察的真实场景的视频馈送上。然后,场景中的真实世界用户可以做出由摄像头捕获的手势,这些手势可以在真实世界用户与虚拟对象之间提供交互。混合现实(mixed reality,mr)系统可以允许光线进入用户的眼睛,这些光线部分由计算系统产生,并且部分包括现实世界中的对象反射的光线。用户可以通过头戴式显示器(head-mounted display,hmd)(例如,眼镜或头戴式设备(headset))来观察xr体验,例如ar、mr和vr体验。

2、xr体验可以包括各种二维(2d)元素的渲染,这些二维(2d)元素例如具有x轴分量和y轴分量(例如,具有长度和高度)的平面虚拟对象。同时地或分开地,xr体验可以包括三维(3d)元素的渲染,这些三维(3d)元素例如具有x轴分量、y轴分量和z轴分量(例如,具有长度、高度和宽度(即深度))的3d虚拟对象。xr体验中的2d元素的渲染通常由专用2d渲染框架处理,而3d元素的渲染由专用3d渲染框架结合xr引擎在xr hmd上处理。


技术实现思路

1、一方面,本公开提供了一种用于在人工现实环境中集成二维元素和三维元素的方法。该方法包括:获取包括多个节点的组件树,其中,通过执行一个或多个预定义功能来声明式地定义该多个节点中的一个或多个节点,并且通过执行为该多个节点中的至少一个节点指定的一个或多个功能来命令式地定义该至少一个节点,该多个节点包括一个或多个二维元素以及一个或多个三维元素;执行遍历该组件树的第一次遍历;执行遍历该组件树的第二次遍历;将从该面板中选择的、该一个或多个二维元素中的至少一个二维元素绘制到该人工现实环境中,并将该一个或多个三维元素中的至少一个三维元素绘制到该三维世界视图中,其中,该绘制基于该三维世界视图;执行遍历该组件树的第一次遍历包括:从该组件树提取该一个或多个二维元素,同时绕过该一个或多个三维元素,以及将该一个或多个二维元素添加到处于可渲染状态的面板上;该执行遍历该组件树的第二次遍历包括:确定该一个或多个二维元素和该一个或多个三维元素如何转换到三维世界视图中,以及从该组件树中提取该一个或多个三维元素。

2、另一方面,本公开提供了一种计算机可读存储介质。该计算机可读存储介质存储有指令,该指令在被计算系统执行时,使得该计算系统执行集成人工现实环境中的二维元素和三维元素的过程,该过程包括:获取包括多个节点的组件树,该多个节点包括一个或多个二维元素和一个或多个三维元素;执行遍历该组件树的第一次遍历;执行遍历该组件树的第二次遍历;将从该面板中选择的、该一个或多个二维元素中的至少一个二维元素绘制到该人工现实环境中,并将该一个或多个三维元素中的至少一个三维元素绘制到该三维世界视图中,其中,该绘制基于该第一次遍历和该第二次遍历;执行遍历该组件树的第一次遍历包括:从该组件树提取该一个或多个二维元素,以及将该一个或多个二维元素添加到处于可渲染状态的面板上;执行遍历该组件树的第二次遍历包括:确定该一个或多个二维元素和该一个或多个三维元素如何转换到三维世界视图中,以及从该组件树中提取该一个或多个三维元素。

3、又一方面,本公开提供了一种用于集成人工现实环境中的二维元素和三维元素的计算系统。该计算系统包括:一个或多个处理器;以及一个或多个存储器;该指令被该一个或多个处理器执行时,使得该计算系统执行过程,该过程包括:获取包括多个节点的组件树,该多个节点包括一个或多个二维元素和一个或多个三维元素;执行遍历该组件树的第一次遍历;执行遍历该组件树的第二次遍历;将从该面板中选择的、该一个或多个二维元素中的至少一个二维元素以及该一个或多个三维元素中的至少一个三维元素绘制到该三维世界视图中,其中,该绘制基于该第一次遍历和该第二次遍历;执行遍历该组件树的第一次遍历包括:从该组件树提取该一个或多个二维元素,以及将该一个或多个二维元素添加到处于可渲染状态的面板上;执行遍历该组件树的第二次遍历包括:确定该一个或多个二维元素和该一个或多个三维元素如何转换到三维世界视图中,以及从该组件树中提取该一个或多个三维元素。

本文档来自技高网...

【技术保护点】

1.一种用于在人工现实环境中集成二维元素和三维元素的方法,所述方法包括:

2.根据权利要求1所述的方法,

3.根据权利要求2所述的方法,

4.根据权利要求2所述的方法,

5.根据权利要求4所述的方法,其中,所述执行遍历所述组件树的第二次遍历还包括:

6.根据权利要求1所述的方法,其中,所述多个节点包括至少一个交互节点,所述至少一个交互节点定义响应于与所述一个或多个二维元素中的至少一个二维元素的交互、与所述一个或多个三维元素中的至少一个三维元素的交互、或与两者的交互的一个或多个事件。

7.根据权利要求1所述的方法,其中,所述多个节点包括至少一个布局节点,所述至少一个布局节点定义所述一个或多个二维元素中的至少一个二维元素如何在所述三维世界视图中定位、所述一个或多个三维元素中的至少一个三维元素如何在所述三维世界图中定位、或这两者。

8.根据权利要求1所述的方法,其中,所述多个节点包括至少一个物理节点,所述至少一个物理节点定义所述一个或多个二维元素中的至少一个二维元素、所述一个或多个三维元素中的至少一个三维元素、或这两者在所述人工现实环境中的动态行为。

9.根据权利要求1所述的方法,其中,所述多个节点包括以下中的至少一者:

10.一种计算机可读存储介质,所述计算机可读存储介质存储有指令,所述指令在被计算系统执行时,使得所述计算系统执行集成人工现实环境中的二维元素和三维元素的过程,所述过程包括:

11.根据权利要求10所述的计算机可读存储介质,其中,所述多个节点中的一个或多个节点是通过执行一个或多个预定义功能来声明式地定义的,并且所述多个节点中的至少一个节点是通过执行为所述至少一个节点指定的一个或多个功能来命令式地定义的。

12.根据权利要求10所述的计算机可读存储介质,其中,所述绘制还基于所述三维世界视图。

13.根据权利要求10所述的计算机可读存储介质,

14.根据权利要求13所述的计算机可读存储介质,

15.根据权利要求14所述的计算机可读存储介质,其中,所述执行遍历所述组件树的第二次遍历还包括:

16.一种用于集成人工现实环境中的二维元素和三维元素的计算系统,所述计算系统包括:

17.根据权利要求16所述的计算系统,其中,所述多个节点中的一个或多个节点是通过执行生成一个或多个节点的一个或多个预定义功能来声明式地定义的,并且所述多个节点中的至少一个节点是通过评估具有产生一个或多个节点的内容属性的相应命令式陈述来命令式地定义的。

18.根据权利要求16所述的计算系统,其中,所述多个节点包括至少一个交互节点,所述至少一个交互节点定义响应于与所述一个或多个二维元素中的至少一个二维元素的交互、与所述一个或多个三维元素中的至少一个三维元素的交互、或与两者的交互的一个或多个事件。

19.根据权利要求16所述的计算系统,其中,所述多个节点包括至少一个布局节点,所述至少一个布局节点定义所述一个或多个二维元素中的至少一个二维元素如何在所述三维世界图中定位、所述一个或多个三维元素中的至少一个三维元素如何在所述三维世界图中定位、或这两者。

20.根据权利要求16所述的计算系统,其中,所述多个节点包括至少一个物理节点,所述至少一个物理节点定义所述一个或多个二维元素中的至少一个二维元素、所述一个或多个三维元素中的至少一个三维元素、或这两者在所述人工现实环境中的动态行为。

...

【技术特征摘要】

1.一种用于在人工现实环境中集成二维元素和三维元素的方法,所述方法包括:

2.根据权利要求1所述的方法,

3.根据权利要求2所述的方法,

4.根据权利要求2所述的方法,

5.根据权利要求4所述的方法,其中,所述执行遍历所述组件树的第二次遍历还包括:

6.根据权利要求1所述的方法,其中,所述多个节点包括至少一个交互节点,所述至少一个交互节点定义响应于与所述一个或多个二维元素中的至少一个二维元素的交互、与所述一个或多个三维元素中的至少一个三维元素的交互、或与两者的交互的一个或多个事件。

7.根据权利要求1所述的方法,其中,所述多个节点包括至少一个布局节点,所述至少一个布局节点定义所述一个或多个二维元素中的至少一个二维元素如何在所述三维世界视图中定位、所述一个或多个三维元素中的至少一个三维元素如何在所述三维世界图中定位、或这两者。

8.根据权利要求1所述的方法,其中,所述多个节点包括至少一个物理节点,所述至少一个物理节点定义所述一个或多个二维元素中的至少一个二维元素、所述一个或多个三维元素中的至少一个三维元素、或这两者在所述人工现实环境中的动态行为。

9.根据权利要求1所述的方法,其中,所述多个节点包括以下中的至少一者:

10.一种计算机可读存储介质,所述计算机可读存储介质存储有指令,所述指令在被计算系统执行时,使得所述计算系统执行集成人工现实环境中的二维元素和三维元素的过程,所述过程包括:

11.根据权利要求10所述的计算机可读存储介质,其中,所述多个节点中的一个或多个节点是通过执行一个或多个预定义功能来声明式地定义的,并且所述多个节点中的至少一个节点是通过执行为所述至少...

【专利技术属性】
技术研发人员:罗汉·梅塔沃尔特·J·卢埃里克·格里菲斯彭泽亚
申请(专利权)人:元平台技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1