公开了用于增强现实环境中的物体检测的方法和系统。接收环境的图像并用其生成点云。使用点云提取深度值。从神经网络接收一个或多个候选识别简档。每个候选识别简档包括第一包围盒、标签、以及识别概率，第一包围盒围绕图像的第一部分，该第一部分包括特定物体的至少一部分。通过使用深度值修改与物体识别简档关联的尺度信息，生成虚拟几何图形，使用虚拟几何图形生成尺度匹配概率。尺度匹配概率更新神经网络。使用神经网络生成最终识别简档。最终识别简档包括第二包围盒和更新的标签，第二包围盒围绕图像的包括特定物体的第二部分。盒围绕图像的包括特定物体的第二部分。盒围绕图像的包括特定物体的第二部分。
【技术实现步骤摘要】
【国外来华专利技术】用于增强现实的物体检测系统和方法
技术介绍
[0001]增强现实(augmented reality，AR)系统将虚拟内容叠加在真实世界环境的用户视图上。随着AR软件开发工具包(software development kit，SDK)的发展，移动行业将智能手机AR引入主流。AR SDK通常提供六自由度(six degrees
‑
of
‑
freedom，6DoF)追踪能力。用户可以使用智能手机的摄像头扫描环境，智能手机实时执行视觉惯性里程计(visual inertial odometry，VIO)。在连续追踪摄像头姿势后，即可将虚拟物体放置到AR场景中，以创造一种真实物体和虚拟物体融合在一起的错觉。
[0002]一些增强现实应用旨在生成自然地呈现在真实世界环境中的虚拟物体。生成脱离环境的虚拟物体(例如，在浴室中的床)会妨碍增强现实应用生成自然呈现的物体。因此，在此类系统中识别真实世界环境中的物体很重要，以改进增强现实显示。
技术实现思路
[0003]本公开一般涉及增强现实，更具体地但非限制性地，涉及用增强现实传感器数据增强的神经网络的物体检测。
[0004]本公开的方面包括用于增强现实环境中的物体检测方法。该方法包括：移动设备的摄像头接收环境的图像；移动设备生成点云，上述点云指示上述图像中显示的特定物体的距离；从上述点云提取深度值，上述深度值指示上述摄像头和上述特定物体之间的距离；从训练后的神经网络接收一个或多个候选识别简档(identification profile)，每个候选识别简档包括第一包围盒以及识别概率，上述第一包围盒围绕上述图像中的第一部分，该第一部分包括上述特定物体的至少一部分，上述识别概率指示上述特定物体对应于特定标签的概率；接收与上述特定标签对应的尺度信息(scale information)，上述尺度信息指示与上述特定标签对应的任意物体的几何图形；通过使用上述深度值修改上述尺度信息，生成虚拟几何图形；通过比较上述第一包围盒和上述虚拟几何图形，生成尺度匹配概率；使用上述尺度匹配概率更新上述神经网络；使用更新的上述神经网络生成最终识别简档，上述最终识别简档包括第二包围盒和更新的标签，上述第二包围盒围绕上述图像中包括上述特定物体的第二部分，上述更新的标签对应于上述特定物体。
[0005]本公开的另一方面包括一种系统，该系统包括一个或多个处理器以及非暂时性计算机可读介质，包括指令，当由上述一个或多个处理器执行时，上述指令使上述一个或多个处理器执行上述方法。
[0006]本公开的另一方面包括一种非暂时性计算机可读介质，包括指令，当由一个或多个处理器执行时，上述指令使上述一个或多个处理器执行上述方法。
[0007]本公开相比于传统技术实现了许多优势。例如，所提供的方法和系统使用神经网络，该神经网络生成改进的物体检测和识别，特点是准确度高于传统技术。通过神经网络的操作，可以执行使用增强现实传感器的尺度匹配，从而修改由神经网络识别出的候选区域。这使得神经网络生成具有更高准确度的改进的物体检测和识别。另外，在神经网络的各个阶段应用尺度匹配可以将一些候选物体排除到神经网络所考虑的范围之外，这可以减少神
经网络消耗的处理资源并提高神经网络连续层的处理速度。
[0008]从下文提供的具体实施方式中，本公开的其他应用领域将变得显而易见。应当理解，具体实施方式和具体示例虽然指示了各种实施例，但仅旨在用于说明的目的，而不旨在必然限制本公开的范围。
附图说明
[0009]图1示出了根据本专利技术实施例的包括用于AR应用的深度传感器和红绿蓝(RGB)光学传感器的计算机系统的示例。
[0010]图2示出了根据本专利技术实施例的用增强现实传感器数据增强的神经网络的框图示例。
[0011]图3示出了根据本专利技术实施例的使用图2实施例的增强神经网络进行物体检测的示例过程。
[0012]图4示出了根据本专利技术替代实施例的用增强现实传感器数据增强的神经网络的框图示例。
[0013]图5示出了根据本专利技术实施例的使用图4实施例的增强神经网络进行物体检测的示例过程。
[0014]图6示出了根据本专利技术特定实施例的用增强现实传感器数据增强的神经网络的框图示例。
[0015]图7示出了根据本专利技术实施例的使用图6实施例的增强神经网络进行物体检测的示例过程。
[0016]图8示出了根据本专利技术实施例的尺度匹配过程的执行层的示例框图。
[0017]图9示出了根据本专利技术实施例的示例计算机系统。
具体实施方式
[0018]以下描述了各种实施例。出于解释的目的，阐述了具体配置和细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，实施例也可以在没有具体细节的情况下实施。此外，为了不使所描述的实施例模糊，可以省略或简化众所周知的特征。
[0019]本公开的实施例涉及使用增强现实传感器数据增强的神经网络中的物体检测。例如，从移动设备的摄像头接收图像。使用该图像，移动设备可以生成摄像头的姿势(例如位置和方向)和图像中显示的特定物体的点云。移动设备可以使用摄像头的姿势和点云生成深度值，该深度值指示摄像头和特定物体之间的距离。移动设备可以从神经网络接收图像的各个部分的候选识别简档。每个简档可以包括第一包围盒、标签、以及概率，第一包围盒围绕图像中包括特定物体的一部分的第一部分，标签对应于特定物体，概率为标签对应于特定物体的概率。移动设备可以接收尺度信息，该尺度信息指示与上述标签对应的任意物体的几何图形。通过使用深度值修改尺度信息，可以生成虚拟几何图形。移动设备可以使用虚拟几何图形生成尺度匹配概率，该尺度匹配概率可以更新神经网络。更新的神经网络输出最终识别简档，其包括第二包围盒和新标签，第二包围盒围绕图像中包括特定物体的第二部分，新标签对应于特定物体。
[0020]例如，AR应用可以使用物体检测来选择特定虚拟物体和/或特定虚拟环境在AR场景中的放置。AR应用基于真实世界环境的背景选择特定虚拟物体或其放置，使得虚拟物体看起来好像属于真实世界环境。物体检测可以由AR应用、神经网络、或通过AR传感器数据增强的神经网络执行。例如，移动设备的摄像头可以拍摄办公环境的图像。移动设备生成图像中的物体的点云，例如桌子、椅子等，并计算与至少一个物体对应的深度值(例如，摄像头和椅子之间的距离)。神经网络生成图像中的物体的候选识别简档。每个候选识别简档包括包围图像的一部分的包围盒，该图像的一部分对应于诸如椅子之类的物体。候选识别简档还可以包括图像的该部分对应于特定标签(例如，椅子)的概率。移动设备可以接收任意椅子的尺度信息。尺度信息包括任意椅子的平均尺寸(例如，0.5到1米高、0.5到1米宽等)。然后，移动设备通过使用深度值修改尺度信息(例如，考虑物体与摄像头的距离)来生成虚拟几何图形。
[0021]然后，移动设备可以通过将候选识别简档的包围盒与虚拟几何图形进行比较来生成尺度匹配概率。尺度匹配概率可以指示识别简档的准确性。例本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：移动设备的摄像头接收环境的图像；所述移动设备生成点云，所述点云指示所述图像中显示的特定物体的距离；从所述点云提取深度值，所述深度值指示所述摄像头和所述特定物体之间的距离；从训练后的神经网络接收一个或多个候选识别简档，每个候选识别简档包括第一包围盒以及识别概率，所述第一包围盒围绕所述图像的第一部分，所述图像的第一部分包括所述特定物体的至少一部分，所述识别概率指示所述特定物体对应于特定标签的概率；接收与所述特定标签对应的尺度信息，所述尺度信息指示与所述特定标签对应的任意物体的几何图形；通过使用所述深度值修改所述尺度信息，生成虚拟几何图形；通过比较所述第一包围盒和所述虚拟几何图形，生成尺度匹配概率；使用所述尺度匹配概率更新所述神经网络；以及使用更新的所述神经网络生成最终识别简档，所述最终识别简档包括第二包围盒和更新的标签，所述第二包围盒围绕所述图像的包括所述特定物体的第二部分，所述更新的标签对应于所述特定物体。2.根据权利要求1所述的方法，其中，所述尺度信息包括与所述标签对应的所述任意物体的高度值、长度值、以及宽度值。3.根据权利要求1所述的方法，其中，所述第一包围盒由所述移动设备显示。4.根据权利要求1所述的方法，其中，所述第二包围盒由所述移动设备显示。5.根据权利要求3所述的方法，其中，所述第二包围盒的尺寸基于所述尺度信息。6.根据权利要求1所述的方法，还包括：确定更新的识别概率低于阈值；以及执行训练后的所述神经网络以提供新的识别简档。7.根据权利要求1所述的方法，其中，在训练后的所述神经网络执行非极大值抑制过程之前接收所述尺度信息。8.根据权利要求1所述的方法，其中，训练后的所述神经网络生成多个识别简档，并且所述尺度信息用于删除概率低于阈值的识别简档。9.根据权利要求1所述的方法，其中，训练后的所述神经网络生成多个识别简档，并且所述尺度信息用于组合两个或更多个识别简档。10.一种方法，包括：移动设备的摄像头接收环境的图像；所述移动设备基于所述图像生成点云，所述点云指示所述图像内的至少一个物体到所述摄像头的距离；从神经网络接收一个或多个识别简档，每个识别简档包括包围盒、标签、以及概率，所述包围盒围绕所述图像的一部分，所述标签对应于所述图像的所述一部分，所述概率为所述图像的所述一部分对应于所述标签的概率；接收尺度信息，所述尺度信息包括与所述标签对应的任意物体的尺寸；使用所述尺度信息和所述点云更新所述神经网络；以及使用更新的所述神经网络生成所述第二包围盒和标签，所述第二包围盒围绕所述图像
的第二部分，所述标签对应于所述图像的所述第二部分中显示的物体。11.根据权利要求10所述的方法，其中，更新所述神经网络包括修改所述一个或多个识别简档中的至少一个识别简档的概率。12.根据权利要求10所述的方法，其中，更新所述神经网络包括：基于所述尺度信息和所述一个或多个识别...
【专利技术属性】
技术研发人员：李翔，徐毅，田原，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。