用于评估3D点云的质量的装置和方法制造方法及图纸

本公开提供了用于评估三维(3D)点云的质量的装置和方法。装置包括：图像分割器，用于为多个图像中的每个图像生成经分割的二维(2D)图像；2D掩码生成器，用于从3D点云为多个图像中的每个图像生成2D掩码；比较器，用于将经分割的2D图像与2D掩码进行比较以获得每个图像的比较结果；以及评估器，用于基于多个图像的经聚合的比较结果来评估3D点云的质量。

【技术实现步骤摘要】
用于评估3D点云的质量的装置和方法
本公开总体上关于图形处理，更具体地关于评估三维(3D)点云的质量。
技术介绍
当前的并行图形数据处理包括被开发为用于对图形数据执行特定操作的系统和方法，这些特定操作诸如例如，线性插值、曲面细分、栅格化、纹理映射、深度测试等。传统上，图形处理器使用固定功能计算单元来处理图形数据；然而，最近，图形处理器的多个部分已经变得可编程，使得此类处理器能够支持用于处理顶点和片段数据的更广泛种类的操作。为了进一步提高性能，图形处理器典型地实现诸如流水线操作之类的处理技术，这些处理技术尝试贯穿图形流水线的不同部分并行地处理尽可能多的图形数据。具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理的量最大化。在SIMT架构中，成组的并行线程尝试尽可能频繁地一起同步地执行程序指令，以提高处理效率。可以在ShaneCook的CUDA编程(CUDAProgramming)第三章，第37-51页(2013年)中找到对SIMT架构的软件和硬件的总体概述。近年来，沉浸式体验正日益流行。为获得沉浸式体验，通常需要体积模型(例如，3D点云)。具体地，可使用多个经校准的相机来捕获3D场景的(例如，高分辨率)图像，并且可采用3D重构来创建该3D场景的3D点云。凭借所创建的3D点云，可使用(多个)虚拟相机来对3D场景导航以在(多个)虚拟相机前方呈现所需的视图，从而提供沉浸式体验。由于所创建的3D点云通常是不完美的(例如，3D场景中的对象的关键要素缺失，产生噪声等)，因此，有必要评估所创建的3D点云的质量(例如，以标识缺陷)，从而连续地改善3D点云的质量。用于评估3D点云的质量的传统方式通常是劳动密集型和时间密集型的。本领域中需要用于评估3D点云质量的高效方式。附图说明为了以能够详细理解本实施例的以上记载特征的方式，可通过参考实施例来对以上简要概括的实施例进行更具体的描述，这些实施例中的一些在所附附图中被图示。然而，应当注意，所附附图仅图示出典型实施例，并且因此不应被认为是对其范围的限制。图1是图示配置成用于实现本文中所描述的实施例的一个或多个方面的计算机系统的框图；图2A-图2D图示根据实施例的并行处理器组件；图3A-图3C是根据实施例的图形多处理器和基于多处理的GPU的框图；图4A-图4F图示在其中多个GPU通信地耦合至多个多核处理器的示例性架构；图5图示根据实施例的图形处理流水线；图6图示根据实施例的机器学习软件栈；图7图示根据实施例的通用图形处理单元；图8图示根据实施例的多GPU计算系统；图9A-图9B图示示例性深度神经网络的层；图10图示示例性递归神经网络；图11图示深度神经网络的训练和部署；图12是图示分布式学习的框图；图13图示适用于使用经训练的模型执行推断的示例性推断芯片上系统(SOC)；图14是根据实施例的处理系统的框图；图15A-图15C图示由本文中描述的实施例提供的计算系统和图形处理器；图16A-图16C图示由本文中描述的实施例提供的附加的图形处理器和计算加速器架构的框图；图17是根据一些实施例的图形处理器的图形处理引擎的框图；图18A-图18B图示根据本文中描述的实施例的包括在图形处理器核中采用的处理元件阵列的线程执行逻辑；图19图示根据实施例的附加的执行单元；图20是图示根据一些实施例的图形处理器指令格式的框图；图21是根据另一个实施例的图形处理器的框图；图22A-图22B图示根据一些实施例的图形处理器命令格式和命令序列；图23图示根据一些实施例的用于数据处理系统的示例性图形软件架构；图24A是图示根据实施例的IP核开发系统的框图；图24B图示根据本文中描述的一些实施例的集成电路封装组件的横截面侧视图；图24C图示封装组件，该封装组件包括连接到衬底的多个单元的硬件逻辑小芯片(例如，基础管芯)；图24D图示根据实施例的包括可互换小芯片的封装组件；图25是图示根据实施例的示例性芯片上系统集成电路的框图；图26A-图26B是图示根据本文中所描述的实施例的用于在SoC内使用的示例性图形处理器的框图；图27图示在其中捕获包括(多个)对象的场景的示例性环境；图28图示由多个相机中的一个相机捕获的图27的场景的图像。图29是图示根据实施例的、如何将经分割的二维(2D)图像与对应的2D掩码进行比较以获得图像的比较结果的示意图；图30是图示根据实施例的用于评估3D点云的质量的方法的流程图；图31是图示根据实施例的、如何处理图像以生成该图像的经分割的2D图像的示意图；图32是图示根据实施例的用于为每个图像生成经分割的2D图像的方法的流程图；图33是图示根据实施例的、如何处理图像以生成该图像的经分割的2D图像的示意图；图34是图示根据实施例的用于为每个图像生成经分割的2D图像的方法的流程图；图35是图示根据实施例的、如何合并针对同一图像的经分割的2D图像和另一经分割的2D图像以获得该图像的比较结果的示意图；图36是图示根据实施例的用于为每个图像生成经分割的2D图像的方法的流程图；图37是图示根据实施例的用于为每个图像生成2D掩码的方法的流程图；图38是图示根据实施例的用于将经分割的2D图像与2D掩码进行比较以获得每个图像的比较结果的方法的流程图；图39是图示根据实施例的用于将经分割的2D图像与2D掩码进行比较以获得每个图像的比较结果的方法的流程图；并且图40是图示根据实施例的用于评估3D点云的质量的装置的框图。具体实施方式在一些实施例中，图形处理单元(GPU)通信地耦合至主机/处理器核以加速图形操作、机器学习操作、模式分析操作、以及各种通用GPU(GPGPU)功能。GPU可通过总线或另一互连(例如，诸如PCIe或NVLink之类的高速互连)而通信地耦合至主机处理器/核。在其他实施例中，GPU可与核集成在同一封装或芯片上，并且通过内部处理器总线/互连(即，在封装或芯片的内部)通信地耦合至核。不论连接GPU所采用的方式如何，处理器核都可以采取工作描述符中所包含的命令/指令序列的形式将工作分配给GPU。GPU随后使用专用电路/逻辑来有效地处理这些命令/指令。在下列描述中，阐述了众多特定细节来提供更全面的理解。然而，对本领域技术人员将会显而易见的是，可在没有这些特定细节中的一个或多个细节的情况下实施本文中所描述的实施例。在其他实例中，未描述公知的特征以避免使当前实施例的细节变得模糊。在下面的描述中，为了进行解释，阐述了众多具体细节以便提供对以下描述的本公开的多个实施例的透彻理解。然而，对本领域技术人员将显而易见的是，可在没有这些特定细节中的一些细节的情况下实施本公开的实施例。在其他实例中，以框图形式本文档来自技高网...

【技术保护点】
1.一种用于评估包括对象的场景的三维3D点云的装置，所述3D点云从由多个相机捕获的多个图像创建，所述装置包括：/n图像分割器，用于为所述多个图像中的每个图像生成经分割的二维2D图像；/n2D掩码生成器，用于从所述3D点云为所述多个图像中的每个图像生成2D掩码；/n比较器，用于将所述经分割的2D图像与所述2D掩码进行比较以获得每个图像的比较结果；以及/n评估器，用于基于所述多个图像的经聚合的比较结果来评估所述3D点云。/n

【技术特征摘要】
1.一种用于评估包括对象的场景的三维3D点云的装置，所述3D点云从由多个相机捕获的多个图像创建，所述装置包括：
图像分割器，用于为所述多个图像中的每个图像生成经分割的二维2D图像；
2D掩码生成器，用于从所述3D点云为所述多个图像中的每个图像生成2D掩码；
比较器，用于将所述经分割的2D图像与所述2D掩码进行比较以获得每个图像的比较结果；以及
评估器，用于基于所述多个图像的经聚合的比较结果来评估所述3D点云。


2.如权利要求1所述的装置，其特征在于，所述图像分割器进一步用于：
利用对象检测算法检测所述场景中的对象以针对每个检测到的对象获得2D包围盒；
滤除所述场景内的感兴趣区域外部的检测到的对象；
用填补像素向外填补所述感兴趣区域内的每个2D包围盒以形成各自都具有第一尺寸的多个块；
将分割算法应用于所述多个块以生成基于块的经分割结果；以及
组合所述基于块的经分割结果以生成基于块的经分割的2D图像。


3.如权利要求2所述的装置，其特征在于，所述图像分割器进一步用于：
将所述多个图像中的每个图像划分为第一多个片和第二多个边缘片，所述第一多个片各自都具有所述第一尺寸，所述第二多个边缘片各自都具有第二尺寸，所述第二尺寸比所述第一尺寸小；
用填补像素向外填补所述第二多个边缘片以形成各自都具有所述第一尺寸的第二多个经填补的边缘片；
将分割算法应用于所述第一多个片和所述第二多个经填补的边缘片，以生成针对所述第一多个片和所述第二多个经填补的边缘片的基于片的经分割结果；
组合针对所述第一多个片和所述第二多个经填补的边缘片的所述基于片的经分割结果以生成基于片的经分割的2D图像；以及
将所述基于块的经分割的2D图像与所述基于片的经分割的2D图像合并以生成所述经分割的2D图像。


4.如权利要求3所述的装置，其特征在于，所述图像分割器进一步用于：对所述基于块的经分割的2D图像的像素的值与所述基于片的经分割的2D图像的对应像素的值执行逻辑或操作。


5.如权利要求1所述的装置，其特征在于，所述图像分割器进一步用于：
将所述多个图像中的每个图像划分为第一多个片和第二多个边缘片，所述第一多个片各自都具有第一尺寸，所述第二多个边缘片各自都具有第二尺寸，所述第二尺寸比所述第一尺寸小；
用填补像素向外填补所述第二多个边缘片以形成各自都具有所述第一尺寸的第二多个经填补的边缘片；
将分割算法应用于所述第一多个片和所述第二多个经填补的边缘片，以生成针对所述第一多个片和所述第二多个经填补的边缘片的基于片的经分割结果；以及
组合针对所述第一多个片和所述第二多个经填补的边缘片的所述基于片的经分割结果以生成基于片的经分割的2D图像。


6.如权利要求1所述的装置，其特征在于，所述2D掩码生成器进一步用于：
对每个相机的校准矩阵与所述3D点云中的点的3D位置数据执行点积操作以获得所述点的积矩阵；
通过所述点的所述积矩阵获得2D位置数据；
形成所述点的2D掩码结果，所述2D掩码结果包括所述2D位置数据和标识所述点的唯一索引；以及
组合所述3D点云中的所有点的2D掩码结果以生成每个图像的2D掩码。


7.如权利要求1所述的装置，其特征在于，所述比较器进一步用于：
将所述经分割的2D图像的像素的值与所述2D掩码的对应像素的值进行比较以确定真肯定像素和假肯定像素，其中，所述真肯定像素与所述3D点云中被正确地创建的点对应，并且所述假肯定像素与所述3D点云中待被去除的噪声点对应；以及
通过将精度计算为：精度＝TP/(TP+FP)来获得每个图像的比较结果，其中，TP表示真肯定像素的数量，并且FP表示假肯定像素的数量。


8.如权利要求1所述的装置，其特征在于，所述比较器进一步用于：
将所述经分割的2D图像的像素的值与所述2D掩码的对应像素的值进行比较以确定真肯定像素和假否定像素，其中，所述真肯定像素与所述3D点云中被正确地创建的点对应，并且所述假否定像素与所述3D点云中的本应当被创建而未被创建的点对应；以及
通过将召回率计算为：召回率＝TP/(TP+FN)来获得每个图像的比较结果，其中，TP表示真肯定像素的数量，并且FN表示假否定像素的数量。


9.如权利要求1所述的装置，其特征在于，所述评估器进一步用于：
计算所述经聚合的比较结果的和；
计算所述和的均值；以及
基于所述均值来评估所述3D点云。


10.如权利要求1所述的装置，其特征在于，所述经分割的2D图像在与所述2D掩码进行比较之前被调整。


11.如权利要求2所述的装置，其特征在于，所述对象检测算法是卷积神经网络CNN算法。


12.如权利要求2或5所述的装置，其特征在于，所述分割算法是卷积神经网络CNN算法。


13.一种用于评估包括对象的场景的三维3D点云的方法，所述3D点云从由多个相机捕获的多个图像创建，所述方法包括：
为所述多个图像中的每个图像生成经分割的二维2D图像；
从所述3D点云为所述多个图像中的每个图像生成2D掩码；<...

【专利技术属性】
技术研发人员：陈建生，童晓峰，李文龙，凌辰，A·阿兹莫尼，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US