用于呈现图像的方法、电子设备和存储介质技术

本公开的实施例涉及用于呈现图像的方法、电子设备和计算机存储介质，涉及信息处理领域。根据该方法，经由双目图像采集装置获取关于环境的、包括标志对象的双目图像对；从双目图像对中的第一图像识别标志对象，以用于基于双目图像采集装置相对于所识别的标志对象的位姿信息，确定与所识别的标志对象相对应的虚拟对象的深度信息；基于双目图像对，经由深度预测神经网络模型，生成关于环境的深度图；以及基于深度信息和深度图，确定虚拟对象未被环境遮挡的可见部分；以及将可见部分与第一图像进行融合，以便于呈现。由此，能够可实时构建虚实遮挡关系，实现真实物体与虚拟模型的深度交互。互。互。

【技术实现步骤摘要】
用于呈现图像的方法、电子设备和存储介质


[0001]本公开的实施例总体涉及信息处理领域，具体涉及用于呈现图像的方法、电子设备和计算机存储介质。

技术介绍

[0002]在5G背景下，增强现实和虚拟现实将成为未来用户获取内容资源的主要技术手段。如今中小学已有的教学方式已经有了很大的不同，在增强现实和虚拟现实等新技术的帮助下，能够让中小学生更加直接的投入到学习中。学生们可以“感受”他们正在学习的概念，通过虚实融合的实验环境，更安全更全面的理解所需的知识。
[0003]虽然如今只需借助集成的增强现实开发工具包，例如苹果公司发布的ARkit，谷歌公司发布的ARcore等，就可以帮助开发者实现增强现实环境的构建，虚拟场景交互等AR技术功能。然而，当前增强现实开发工具包中，其与虚拟空间或虚拟物体的交互能力仍具有一定的局限性，其原有的空间定位能力不能支持实时的虚实物体的关系建立，无法获得进一步的浸入式交互体验。

技术实现思路

[0004]提供了一种用于呈现图像的方法、电子设备以及计算机存储介质，能够可实现实时构建虚实遮挡关系，实现真实物体与虚拟模型的深度交互。
[0005]根据本公开的第一方面，提供了一种用于呈现图像的方法。该方法包括：经由双目图像采集装置获取关于环境的、包括标志对象的双目图像对；从双目图像对中的第一图像识别标志对象，以用于基于双目图像采集装置相对于所识别的标志对象的位姿信息，确定与所识别的标志对象相对应的虚拟对象的深度信息；基于双目图像对，经由深度预测神经网络模型，生成关于环境的深度图；以及基于深度信息和深度图，确定虚拟对象未被环境遮挡的可见部分；以及将可见部分与第一图像进行融合，以便于呈现。
[0006]根据本公开的第二方面，提供了一种电子设备。该电子设备包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据第一方面所述的方法。
[0007]在本公开的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
[0008]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0009]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
[0010]图1是根据本公开的实施例的信息处理环境100的示意图。
[0011]图2是根据本公开的实施例的用于呈现图像的方法200的示意流程图。
[0012]图3是根据本公开实施例的深度预测神经网络模型300的示意框图。
[0013]图4是根据本公开的实施例的用于生成关于环境的深度图的方法400的示意流程图。
[0014]图5是根据本公开的实施例的用于生成具有当前尺度的最终视差图的方法500的示意流程图。
[0015]图6是根据本公开的实施例的用于生成具有下一尺度的视差图的方法600的示意流程图。
[0016]图7是根据本公开的实施例的上采样过程700的示意图。
[0017]图8是根据本公开的实施例的深度预测神经网络模型800的网络架构图。
[0018]图9是根据本公开的实施例的用于生成具有多个尺度的多个特征图对的方法900的示意流程图。
[0019]图10是根据本公开的实施例的用于生成残差视差图的方法1000的示意流程图。
[0020]图11是用来实现本公开实施例的用于呈现图像的方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0023]如上所述，为了正确虚实关系的建立，需要实时计算真实环境的深度信息。在预测深度信息的方法中，深度学习有关的算法可以预测输入的真实环境图像所对应的深度信息，并且性能远远超过传统的深度预测系统。但是已有的深度学习算法因为其所需的算力需求远远大于移动设备的性能，对于在移动设备上实时的建立虚实遮挡关系有很大的挑战。已有的深度学习算法因为其所需的算力需求远远大于移动设备的性能，对于在移动设备上实时的建立虚实遮挡关系有很大的挑战。
[0024]为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于呈现图像的方案。在该方案中，计算设备经由双目图像采集装置获取关于环境的、包括标志对象的双目图像对，并从双目图像对中的第一图像识别标志对象，以用于基于双目图像采集装置相对于所识别的标志对象的位姿信息，确定与所识别的标志对象相对应的虚拟对象的深度信息。计算设备基于双目图像对，经由深度预测神经网络模型，生成关于环境的深度图，以及基于深度信息和深度图，确定虚拟对象未被环境遮挡的可见部分。计算设备将可见部分与第一图像进行融合，以便于呈现。以此方式，能够可实
现实时构建虚实遮挡关系，实现真实物体与虚拟模型的深度交互。
[0025]在下文中，将结合附图更详细地描述本方案的具体示例。
[0026]图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。信息处理环境100可以包括计算设备110、环境120、标志对象130、与标志对象130相对应的虚拟对象140和融合结果150。
[0027]计算设备110例如包括但不限于智能手机、个人数字助理、可穿戴设备。可穿戴设备例如包括但不限于增强现实(Augmented Reality)眼镜、增强现实头盔等。计算设备110可以包括双目图像采集装置111或者可以与双目图像采集装置111耦合，以获取关于环境120的双目图像对。
[0028]环境120为真实环境，其中包括真实物体。如图1所示，包括实验铁架台。应当理解，实验铁架台只是示例，环境120也可以包括其他物体。
[0029]虚拟对象140可以包括虚拟三维模型。如图1所示虚拟对象为虚拟的托盘和锥形漏斗三维模型，但是这仅是示例，虚拟对象40可以是任何其他虚拟三维模型。
[0030]计算设备110用于经由双目图像采集装置111获取关于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于呈现图像的方法，包括：经由双目图像采集装置获取关于环境的、包括标志对象的双目图像对；从所述双目图像对中的第一图像识别所述标志对象，以用于基于所述双目图像采集装置相对于所识别的标志对象的位姿信息，确定与所识别的标志对象相对应的虚拟对象的深度信息；基于所述双目图像对，经由深度预测神经网络模型，生成关于所述环境的深度图；基于所述深度信息和所述深度图，确定所述虚拟对象未被所述环境遮挡的可见部分；以及将所述可见部分与所述第一图像进行融合，以便于呈现。2.根据权利要求1所述的方法，其中生成关于所述环境的所述深度图包括：基于所述双目图像对，经由特征提取模型，生成具有多个尺度的多个特征图对；对于所述多个尺度按照从小到大的顺序迭代执行以下步骤：基于具有当前尺度的特征图对和具有所述当前尺度的初始视差图，经由双目匹配模型，生成具有所述当前尺度的最终视差图；以及基于具有所述当前尺度的最终视差图和具有所述多个尺度中大于所述当前尺度的下一尺度的特征图对中的任一特征图，经由上采样模型，生成具有所述下一尺度的初始视差图；以及将具有所述多个尺度中最大尺度的初始视图差转换为所述深度图。3.根据权利要求2所述的方法，其中生成具有所述多个尺度的所述多个特征图对包括：对于所述双目图像对中的每个图像执行以下步骤：基于所述图像，经由初始特征提取模型，生成具有所述多个尺度的多个初始特征图；对于所述多个尺度按照从小到大的顺序迭代执行以下步骤：对具有所述多个尺度中小于当前尺度的上一尺度的最终特征图进行上采样，以生成具有所述当前尺度的中间特征图；以及基于所述中间特征图和具有所述当前尺度的初始特征图，经由卷积层，生成具有所述当前尺度的特征图。4.根据权利要求2所述的方法，其中生成具有所述下一尺度的初始视差图包括：基于具有所述多个尺度中大于所述当前...

【专利技术属性】
技术研发人员：魏逸之，周志颖，邓泳，
申请(专利权)人：苏州工业园区新国大研究院，
类型：发明
国别省市：