用于在真实世界图像中组合增强现实对象的方法和装置制造方法及图纸

一种方法，包括：在增强现实(AR)应用的第一时间接收与第一帧相关联的第一深度图像，第一深度图像表示存储第一深度图像的真实世界空间的至少第一部分；在AR应用的第一时间之后的第二时间接收与第二帧相关联的第二深度图像，第二深度图像表示真实世界空间的至少第二部分；通过至少将存储的第一深度图像和第二深度图像混合来生成真实世界图像；接收组合真实世界图像中的AR对象的渲染的AR对象；以及显示与AR对象组合的真实世界图像。与AR对象组合的真实世界图像。与AR对象组合的真实世界图像。

【技术实现步骤摘要】
【国外来华专利技术】用于在真实世界图像中组合增强现实对象的方法和装置


[0001]实施例涉及在增强现实系统中的场景表示。

技术介绍

[0002]增强现实(AR)可以包括将三维(3D)图形与真实世界的几何融合。随着3D对象在真实世界几何中到处移动，3D对象当在AR显示器上被渲染时能够出现在真实世界对象的前面或后面。例如，类人对象当在AR显示器上被渲染时可以出现在真实世界几何中的一件家具、半墙和/或一棵树等的前面或后面。
[0003]然而，当前的AR系统能够具有不准确和/或不稳定的深度数据，这能够导致真实世界对象和/或3D对象的部分在AR显示器上被渲染时出现(例如，在正确的深度和/或位置)和/或不出现。例如，当类人从真实世界对象(例如，半墙)后面移出时，当类人的一部分(例如，腿)应该出现时，该类人的该部分在AR显示器上被渲染时可能不会出现。可替代地，当类人移动到真实世界对象(例如，半墙)后面的位置时，当类人的一部分(例如，腿)不应当出现时，类人对象的该部分在AR显示器上被渲染时可能会出现。这能够导致当前AR系统中的不如期望的用户体验。

技术实现思路

[0004]在一般方面，一种包括一个或多个处理器以及存储指令的存储器的装置、设备、系统、非暂时性计算机可读介质(已在其上存储可以在计算机系统上被执行的计算机可执行程序代码)和/或方法可以利用下述方法来施行过程，所述方法包括：在增强现实(AR)应用的第一时间接收与第一帧相关联的第一深度图像，所述第一深度图像表示真实世界空间的至少第一部分；存储所述第一深度图像；在所述AR应用的所述第一时间之后的第二时间接收与第二帧相关联的第二深度图像，所述第二深度图像表示所述真实世界空间的至少第二部分；通过至少将所存储的第一深度图像与所述第二深度图像混合来生成真实世界图像；接收渲染的AR对象；组合在所述真实世界图像中的所述AR对象；以及，显示与所述AR对象相组合的所述真实世界图像。
[0005]实施方式可以包括以下特征中的一个或多个。例如，所述第一深度图像可以是表示在与所述AR应用相关联的缓冲器中存储的所述AR应用的帧的多个深度图像中的一个。所述第一深度图像可以是表示在与所述AR应用相关联的缓冲器中存储的所述AR应用的帧的多个深度图像中的一个，所述方法可以进一步包括：选择在所述缓冲器中存储的所述多个深度图像的一部分；基于所述多个深度图像的所述部分生成数据结构，所述数据结构表示所述真实世界空间，所述数据结构包括深度信息、位置信息和方向信息；以及，存储所生成的数据结构。所述第一深度图像可以是表示在与所述AR应用相关联的缓冲器中存储的所述AR应用的帧的多个深度图像中的一个，所述方法可以进一步包括：接收在所述缓冲器中存储的所述多个深度图像的一部分；基于所述多个深度图像的所述部分生成多个表面元素(面元)，所述多个面元表示所述真实世界空间；以及，存储所生成的多个面元。
[0006]例如，所述方法可以进一步包括：接收包括深度信息、位置信息和方向信息的数据结构；将所述数据结构渲染为第三深度图像；以及，将所述第三深度图像与所述真实世界图像混合。所述方法可以进一步包括：接收表示所述真实世界空间的多个面元；将所述多个面元渲染为第三深度图像；以及，将所述第三深度图像与所述真实世界图像混合。对所述真实世界图像中的所述AR对象的所述组合可以包括：基于深度用所述AR对象中的一部分像素替换在所述真实世界图像中的一部分像素。将所存储的第一深度图像与所述第二深度图像的所述混合可以包括：用所存储的第一深度图像的一部分替换在所述第二深度图像中的一部分像素。所述第二深度图像能够缺失至少一个像素；以及，将所存储的第一深度图像与所述第二深度图像混合包括用所存储的第一深度图像的一部分替换所述至少一个像素。所述方法进一步包括：接收表示所述真实世界空间的多个面元；以及，渲染所述多个面元。所述第二深度图像可以缺失至少一个像素，并且所述方法进一步包括：用所渲染的多个面元的一部分替换所述至少一个像素。所存储的第一深度图像可以包括位置置信度，所述位置置信度指示所述第一深度图像表示在某个位置处的所述真实世界空间的可能性。
[0007]在另一个一般方面，一种包括一个或多个处理器以及存储指令的存储器的装置、设备、系统、非暂时性计算机可读介质(已在其上存储可以在计算机系统上被执行的计算机可执行程序代码)和/或方法可以利用下述方法来施行过程，所述方法包括：接收与增强现实(AR)应用的帧相关联的深度数据，所述深度数据表示真实世界空间的至少一部分；将所述深度数据作为表示所述AR应用的帧的多个深度图像中的一个存储在与所述AR应用相关联的缓冲器中；选择在所述缓冲器中存储的所述多个深度图像的一部分；基于所述多个深度图像的所述部分生成数据结构，所述数据结构表示所述真实世界空间，所述数据结构包括深度信息、位置信息和方向信息；以及，存储所生成的数据结构。
[0008]实施方式可以包括以下特征中的一个或多个。例如，所述数据结构可以包括多个表面元素(面元)。所述数据结构可以与服务器相关联地被存储。所述多个深度图像的所述部分的所述选择可以包括从执行所述AR应用的多个设备上的多个缓冲器中选择所述多个图像。所存储的深度数据可以包括位置置信度，所述位置置信度指示所述深度数据表示在某个位置处的所述真实世界空间的可能性。
[0009]在又一个一般方面，一种包括一个或多个处理器以及存储指令的存储器的装置、设备、系统、非暂时性计算机可读介质(已在其上存储可以在计算机系统上被执行的计算机可执行程序代码)和/或方法可以利用下述方法来施行过程，所述方法包括：接收与增强现实(AR)应用的帧相关联的第一深度数据，所述第一深度数据表示真实世界空间的至少一部分；接收表示与所述AR应用相关联的所述真实世界空间的至少第二部分的数据结构，所述数据结构包括深度信息、位置信息和方向信息；通过至少将所述第一深度数据与所述数据结构混合来生成真实世界图像；接收AR对象；将所述真实世界图像与所述AR对象相组合；以及，显示与所述AR对象相组合的所述真实世界图像。
[0010]实施方式可以包括以下特征中的一个或多个。例如，对所述真实世界图像中的所述AR对象的所述组合可以包括：基于深度用所述AR对象中的一部分像素替换所述真实世界图像中的一部分像素。对所存储的第一深度数据与所述数据结构的所述混合可以包括：用所存储的第一深度图像的一部分替换在所述第二深度图像中的一部分像素。所述第一深度数据可以缺失至少一个像素；以及，将所述第一深度数据与所述数据结构混合可以包括用
所述数据结构的一部分替换所述至少一个像素。所述数据结构可以包括多个表面元素(面元)。所述数据结构可以包括多个面元，以及，所述第一深度数据可以缺失至少一个像素，所述方法可以进一步包括用所述多个面元的一部分替换所述至少一个像素。表示所述真实世界空间的所述数据结构可以包括位置置信度，所述位置置信度指示所述深度数据表示在某个位置处的所述真实世界空间的可能性。所述数据结构可以从被服务器接收。
附图说明
[0011]示例实施例将通过下文给出的详细描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在增强现实AR应用的第一时间接收与第一帧相关联的第一深度图像，所述第一深度图像表示真实世界空间的至少第一部分；存储所述第一深度图像；在所述AR应用的在所述第一时间之后的第二时间接收与第二帧相关联的第二深度图像，所述第二深度图像表示所述真实世界空间的至少第二部分；通过至少将所存储的第一深度图像与所述第二深度图像混合来生成真实世界图像；接收渲染的AR对象；在所述真实世界图像中组合所述AR对象；以及显示与所述AR对象相组合的所述真实世界图像。2.根据权利要求1所述的方法，其中，所述第一深度图像是表示在与所述AR应用相关联的缓冲器中存储的所述AR应用的帧的多个深度图像中的一个。3.根据权利要求1所述的方法，其中，所述第一深度图像是表示在与所述AR应用相关联的缓冲器中存储的所述AR应用的帧的多个深度图像中的一个，所述方法进一步包括：选择在所述缓冲器中存储的所述多个深度图像的一部分；基于所述多个深度图像的所述部分生成数据结构，所述数据结构表示所述真实世界空间，所述数据结构包括深度信息、位置信息和方向信息；以及存储所生成的数据结构。4.根据权利要求1所述的方法，其中，所述第一深度图像是表示在与所述AR应用相关联的缓冲器中存储的所述AR应用的帧的多个深度图像中的一个，所述方法进一步包括：接收在所述缓冲器中存储的所述多个深度图像的一部分；基于所述多个深度图像的所述部分生成多个表面元素(面元)，所述多个面元表示所述真实世界空间；以及存储所生成的多个面元。5.根据权利要求1至4中的任一项所述的方法，进一步包括：接收包括深度信息、位置信息和方向信息的数据结构；将所述数据结构渲染为第三深度图像；以及将所述第三深度图像与所述真实世界图像混合。6.根据权利要求1至4中的任一项所述的方法，进一步包括：接收表示所述真实世界空间的多个面元；将所述多个面元渲染为第三深度图像；以及将所述第三深度图像与所述真实世界图像混合。7.根据权利要求1至6中的任一项所述的方法，其中，在所述真实世界图像中组合所述AR对象包括：基于深度利用所述AR对象中的一部分像素替换在所述真实世界图像中的一部分像素。8.根据权利要求1至7中的任一项所述的方法，其中，将所存储的第一深度图像与所述第二深度图像混合包括：利用所存储的第一深度图像的一部分替换在所述第二深度图像中的一部分像素。9.根据权利要求1至7中的任一项所述的方法，其中
所述第二深度图像缺失至少一个像素；以及将所存储的第一深度图像与所述第二深度图像混合包括利用所存储的第一深度图像的一部分替换所述至少一个像素。10.根据权利要求1至9中的任一项所述的方法，进一步包括：接收表示所述真实世界空间的多个面元；以及渲染所述多个面元，其中所述第二深度图像缺失至少一个像素，以及将所存储的第一深度图像与所述第二深度图像混合包括利用所渲染的多个面元的一部分替换所述至少一个像素。11.根据权利要求1至10中的任一项所述的方法，其中，所存储的第一深度图像包括位置置信度，所述位置置信度指示所述第一深度图像表示在一个位置处...

【专利技术属性】
技术研发人员：埃里克，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：