【技术实现步骤摘要】
本专利技术涉及提供一种计算机生成渲染(cgr)环境，并且具体地讲，涉及用于识别物理对象并基于与所识别的物理对象相关联的信息更新该cgr环境的系统、方法和设备。
技术介绍
1、在设备(例如，便携式电子设备)处提供由该设备在图像或视频数据中检测到的物理对象的信息，在计算上既昂贵又耗时，这通常导致与执行图像或视频数据的分割和对象识别相关联的处理延迟相当长。例如，该设备的用户可走进一个房间，然后经历相当长的延迟，之后该设备才能识别到房间内的一切对象。
技术实现思路
1、本专利技术公开的各种具体实施包括能够更快、更有效地进行实时物理对象识别、信息检索和cgr环境更新的设备、系统和方法。在一些具体实施中，一种具有处理器、显示器和相机的设备(例如移动计算设备或头戴式设备(hmd))实现了经由相机获得物理布景(setting)的图像或视频的方法。例如，该设备可捕获实时视频流。该设备基于与图像或视频中检测到的物理对象相关联的特征，将物理对象分类为一定类别，并根据该类别来在显示器上提供cgr环境。在一些具体实施中，该设备基于对物理对象的粗略识别来对物理对象进行分类，例如，基于相对较少的信息，或者使用处理要求比其他精细识别技术更低的处理技术。此外，可认为图像或视频的特定部分包含该对象。例如，该设备可基于对象的形状、颜色、尺寸、体积、标记或与该对象相关联的任意数量的简单或复杂特征通过局域神经网络检测到该对象是膝上型电脑，并且可基于将该物理对象分类为膝上型电脑类别而显示来自资源商店的通用膝上型电脑。在一些具
2、在一些具体实施中，该设备将图像或视频的一部分(例如，一些或全部)传输到第二设备(例如，服务器、台式计算机、云计算设备等)。例如，该设备可将图像或视频的包括该物理对象的部分发送到第二设备。在一些具体实施中，该设备确定该图像或视频是否满足隐私标准。此外，该设备可基于满足隐私标准来确定是否将该图像或视频的包括该物理对象的部分传输到第二设备。在一些具体实施中，该设备将一个或多个检测到的特征或所确定的类别传输到第二设备。
3、在一些具体实施中，该设备接收与对象相关联的响应，并基于该响应来更新显示器上的cgr环境。该响应是基于由该第二设备执行的对物理对象的识别来确定的。该第二设备基于对物理对象的精细识别而对物理对象进行识别，例如，基于相对较多的信息，或者使用处理要求比用于对象分类的粗略识别技术更多的处理技术。例如，该第二设备可访问在第一设备上不可用的稳定的对象信息库，以识别特定对象或获得关于该对象的特定信息。例如，与该对象相关联的响应可包括：对子类别(例如，x品牌的膝上型计算机)的识别、对特定类型的项(例如，型号)的识别、补充信息(例如，用户手册)、与对象相关联的动画、三维姿态、计算机辅助绘图(cad)模型等。已从该第二设备接收到响应的该设备可基于该识别(例如，显示对膝上型电脑的描绘以匹配特定模型，显示与膝上型电脑相邻的用户手册等)来改变对该对象的描绘，或者可生成与该对象相关联的体验(例如，触发动画、提供三维姿态等)。在一些具体实施中，与该对象相关联的所接收的响应包括将由该设备用于识别未来图像或视频中的物理对象的识别数据(例如，属性的矢量、描述符等)。此外，在一些具体实施中，与该对象相关联的所接收的响应包括对物理对象的状况(例如，该设备是否是损坏的、未损坏的、润湿的、干燥的、竖直的或水平的等)的评估。
4、在一些具体实施中，该设备可将基于该类别显示的通用虚拟内容替换为基于与该对象相关联的所接收的响应的特定于对象的内容。
5、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中，在所述CGR环境内提供所述通用虚拟内容包括用所述通用虚拟内容替换、增强或补充所述物理对象。
3.根据权利要求1所述的方法，其中，所述通用虚拟内容是从驻留在所述第一设备上的资产商店中确定的。
4.根据权利要求1所述的方法，其中，所述特定于对象的内容是基于关于所述物理对象的信息的。
5.根据权利要求1所述的方法，其中，确定与所述物理对象相关联的通用虚拟内容是基于对所述物理对象的粗略识别的。
6.根据权利要求1所述的方法，其中，所述图像的所述一部分不包括所述图像内容的第二部分。
7.根据权利要求1所述的方法，其中，与所述物理对象相关联的所述特征是形状、颜色、大小、体积或标记。
8.根据权利要求1所述的方法，还包括：
9.根据权利要求1所述的方法，还包括：
10.根据权利要求1所述的方法，还包括：
11.根据权利要求1所述的方法，其中，与所述物理对象相关联的所述响应包括识别数据，所述识别数据将由所述第一设备用于在
12.根据权利要求1所述的方法，其中，与所述物理对象相关联的所述响应包括对所述物理对象的状况的评估。
13.根据权利要求1所述的方法，其中，所述第一设备或所述第二设备是头戴式设备(HMD)。
14.根据权利要求1所述的方法，其中，所述第一设备或所述第二设备是移动电子设备。
15.一种系统，包括：
16.根据权利要求15所述的系统，其中，在所述CGR环境内提供所述通用虚拟内容包括用所述通用虚拟内容替换、增强或补充所述物理对象。
17.根据权利要求16所述的系统，其中，所述通用虚拟内容是从驻留在所述第一设备上的资产商店中确定的。
18.根据权利要求16所述的系统，其中，所述通用虚拟内容是基于关于所述物理对象的信息的。
19.根据权利要求15所述的系统，其中，确定与所述物理对象相关联的通用虚拟内容是基于对所述物理对象的粗略识别的。
20.一种非暂态计算机可读存储介质，存储程序指令，所述程序指令能够执行以执行操作，所述操作包括：
...【技术特征摘要】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中，在所述cgr环境内提供所述通用虚拟内容包括用所述通用虚拟内容替换、增强或补充所述物理对象。
3.根据权利要求1所述的方法，其中，所述通用虚拟内容是从驻留在所述第一设备上的资产商店中确定的。
4.根据权利要求1所述的方法，其中，所述特定于对象的内容是基于关于所述物理对象的信息的。
5.根据权利要求1所述的方法，其中，确定与所述物理对象相关联的通用虚拟内容是基于对所述物理对象的粗略识别的。
6.根据权利要求1所述的方法，其中，所述图像的所述一部分不包括所述图像内容的第二部分。
7.根据权利要求1所述的方法，其中，与所述物理对象相关联的所述特征是形状、颜色、大小、体积或标记。
8.根据权利要求1所述的方法，还包括：
9.根据权利要求1所述的方法，还包括：
10.根据权利要求1所述的方法，还包括：
11.根据权利要求1所述的方法，其中，与所述物理对象相关联的所述响应包括识别数据，所述识别数据将由所述第一设...
【专利技术属性】
技术研发人员：E·维尔马，D·乌布利希，A·布莱希施米特，M·H·拜格，CY·李，T·巴特拉，
申请(专利权)人：苹果公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。