在点云中回填点制造技术

一种用于增加点云（132）中的点的装置、系统和方法。在其中一个示例性实施例中，接收场景（110）的二维图像（121）和该场景（110）的点云（132）。将点云（132）中的至少一部分点映射到二维图像（121）以形成变换点（146）。使用二维图像（121）和变换点建立融合数据阵列（150）。使用该融合数据阵列（150）为点云（132）确定新点（164）。将新点（164）加到点云（132）中以形成新的点云（162）。

【技术实现步骤摘要】

本专利技术通常涉及点云，具体地，涉及增加点云的分辨率。更具体地，本发明涉及用于增加点云中点的数量从而增加点云的分辨率的系统和方法。
技术介绍
点云是描述三维场景的三维（3D）坐标系中点的集合。通常，点云中的点表示对象的外表面。光探测和测距（light detection and ranging，LIDAR）系统是能够产生点云的一种类型的传感器系统的一个实例。还可以使用如立体摄像机系统、移动激光成像系统和其他类型的传感器系统产生点云。点云还可用于执行各种操作如，例如，对象识别、对象分类、场景可视化、分割、二维图像数据增强和/或其他类型的操作。使用点云执行这些操作的性能水平会取决于点云的分辨率。如本文所用，点云的“分辨率”可以是点云获取的场景中的特征在点云内可辨别的细节水平。点云的分辨率可以取决于点云中点的数量和/或点云的一部分或更多部分中的点的密度。如本文所用，“点密度”衡量每单位体积内的点的数量。密度比点云的另一部分高的那部分点云比该其他部分更密集。在一些情形下，使用稀疏点云的对象识别、对象分类、分割和/或场景可视化会产生不准确的结果。例如，点云可能不够密集从而不能正确地进行对象识别或分类。一些目前可用于增加点云中点的数量的解决方案包括对场景中的对象进行假设。例如，可以假设场景中对象的形状并根据这些假设将新点加到点云中。然而，对于这些类型的解决方案，加入的新点在三维参考坐标系中的位置没有期望的准确。另外，一些目前可用的解决方案可能无法考虑场景中的实际洞穴或间隙。例如，对于一些目前可用的解决方案，新点可能加入到点云中表示场景中实际的洞穴或间隙所在的位置。此外，一些目前可用的解决方案会将连接对象的点加到点云中，而这些对象在场景中没有被连接，例如，树顶和地面。因此，希望有一种方法和装置至少考虑一些上述讨论的问题以及其他可能的问题。
技术实现思路
在其中一个示例性实施例中，装置包括图像处理系统。该图像处理系统被配置为将场景的点云中的至少一部分点映射到场景的二维图像以形成变换点。图像处理系统被配置为使用二维图像和变换点建立融合数据阵列。此外，图像处理系统被配置为使用融合数据阵列确定点云的新点并将新点加到点云中以形成新的点云。在另一个示例性实施例中，图像处理系统包括融合管理器、深度值生成器和点云管理器。融合管理器被配置为将场景的点云中的至少一部分点映射到场景的二维图像以形成变换点，而且被配置为使用二维图像和变换点建立融合数据阵列。融合数据阵列包括与含有非空深度值的填充数据向量相关联的匹配元素和与含有空的深度值的未填充数据向量相关联的非匹配元素。深度值生成器被配置为确定新的深度值以替换至少一部分空的深度值。点云管理器被配置为使用新的深度值确定点云的新点并将新点加入到点云中以形成新的点云。在又一个示例性实施例中，提供了用于向点云中增加多个点的计算机实施方法。接收场景的二维图像和场景的点云。点云中至少一部分点被映射到二维图像以形成变换点。使用二维图像和变换点建立融合数据阵列。使用融合阵列确定用于点云的新点。将新点加到点云中以形成新的点云。本文所述的任何前述实施例还能构思下列项所述的计算机实施方法。第12项：用于向点云（132）中增加多个点的计算机实施方法，该计算机实施方法包括：接收场景（110）的二维图像（121）和场景（110）的点云（132）；将点云(132)中的至少一部分点映射到二维图像（121）以形成变换点（146）；使用二维图像（121）和变换点（146）建立融合数据阵列（150）；使用融合数据阵列确定用于点云（132）的新点（164）；将新点（164）加到点云（132）中以形成新的点云（162）。第13项：根据第12项所述的计算机实施例方法，其中将点云（132）中的至少一部分点映射到二维图像（121）以形成变换点（146）包括：确定摄像机系统的位姿信息；使用该位姿信息将点云（132）的三维参考坐标系变换为以摄像机为中心的三维坐标系从而确定点云（132）中的点的以摄像机为中心的坐标；以及将具有摄像机为中心的坐标的点云（132）中的至少一部分点映射到二维图像（121）中的像素位置（124）。第14项：根据第12项所述的计算机实施方法，其中使用二维图像（121）和变换点（146）建立融合数据阵列（150）包括：形成融合数据阵列（150），其中该融合数据阵列（150）由与二维图像（121）中的像素一一对应的元素（152）组成；以及将数据向量（154）与融合数据阵列（150）中的元素相关联，其中该数据向量（154）包括含有非空的深度值的填充数据向量（154）和含有空的深度值的未填充数据向量（154）。第15项：如第14项所述的计算机实施方法，其中使用融合数据阵列（164）确定用于点云（132）的新点（164）包括：产生新的深度值（158）以替换至少一部分空的深度值；以及使用新的深度值（158）确定用于点云（132）的新点（164）。第16项：如第15项所述的计算机实施方法，其中产生新的深度值（158）以替换至少一部分空的深度值包括：将一窗口的中心设定在融合数据阵列（150）中的一个元素的位置，其中该元素与包含空的深度值的未填充数据向量（154）相关联；确定由所述窗口重叠的一部分融合数据阵列（150）中的支持元素（500）；以及使用所述支持元素（500）和线性估计算法生成新的深度值（156）以替换空的深度值。第17项：根据第16项所述的计算机实施方法，其中确定由窗口重叠的一部分融合数据阵列（500）中的支持元素包括：确定由所述窗口重叠的部分融合数据阵列（150）中的匹配元素（304、306、308、310、312、314、316）是否满足所选标准；响应于所述匹配元素（304、306、308、310、312、314、316）满足所选标准，以优良度分值（goodness score）给每个匹配元素（304、306、308、310、312、314、316）评分；通过优良度分值排序匹配元素（304、306、308、310、312、314、316）；以及选择一部分匹配元素（304、306、308、310、312、314、316）作为支持元素（500）。第18项：如第16项所述的计算机实施方法，其进一步包括：重复以下步骤：将所述窗口的中心设定在所述本文档来自技高网...

【技术保护点】
一种装置，其包括：图像处理系统（102），其被配置为将场景（110）的点云（132）中至少部分点（134）映射到所述场景（110）的二维图像（121）以形成变换点（146）；使用所述二维图像（121）和所述变换点（146）建立融合数据阵列（150）；使用所述融合数据阵列（150）为所述点云（132）确定新点（164）；以及将所述新点（164）加到所述点云（132）以形成新的点云（162）。

【技术特征摘要】
2012.11.09 US 13/673,4291.一种装置，其包括：
图像处理系统（102），其被配置为将场景（110）的点云（132）中
至少部分点（134）映射到所述场景（110）的二维图像（121）以形成变
换点（146）；
使用所述二维图像（121）和所述变换点（146）建立融合数据阵列
（150）；
使用所述融合数据阵列（150）为所述点云（132）确定新点（164）；
以及
将所述新点（164）加到所述点云（132）以形成新的点云（162）。
2.根据权利要求1所述的装置，其中所述图像处理系统（102）包括：
融合管理器（142），其被配置为将所述点云（132）中的所述至少部
分点映射到所述二维图像（121）以形成所述变换点（146），并被配置为
使用所述二维图像（121）和所述变换点（146）建立所述融合数据阵列
（150）。
3.根据权利要求2所述的装置，其中所述融合数据阵列（150）包括
与包含非空深度值的填充数据向量（154）相关联的匹配元素（304，306，
308，310，312，314，316）和与包含空的深度值的未填充数据向量（154）
相关联的非匹配元素。
4.根据权利要求3所述的装置，其中所述图像处理系统（102）进一
步包括：
深度值生成器（144），其被配置为确定新的深度值（158）以替换至
少一部分所述空的深度值。
5.根据权利要求4所述的装置，其中所述图像处理系统（102）进一
步包括：
点云管理器（145），其被配置为使用所述新的深度值（158）为所述
点云（132）确定所述新点（164）。
6.根据权利要求5所述的装置，其中所述点云管理器（145）被进一
步配置为将所述新点（164）加到所述点云（132）中以形成所述新的点
云（162）。
7.根据权利要求1所述的装置，其中所述融合数据阵列（150）由元
素（152）组成，其中所述元素（152）的每一个与包含像素位置（157）、
深度值和原像素数据（159）的至少其中之一的数据向量（154）相关联。
8.根据权利要求1所述的装置，其进一步包括：
第一传感器系统，其被配置为生成所述二维图像（121）；和
第二传感器系统，其被配置为生成所述点云（132）。
9.根据权利要求8所述的装置，其中所述第一传感器系统是摄像机
系统，并且其中所述第二传感器系统是光探测和测距系统。
10.根据权利要求9所述的装置，其中所述图像处理系统（102）被
配置为使用所述摄像机系统的位姿信息将所述点云（132）中的至少一部
分点映射到所述二维图像（121）。
11.一种图像处理系统（102），其包括：
融合管理器（142），其被配置为将场景（110）的点云（132）中的
至少一部...

【专利技术属性】
技术研发人员：T·N·蒙德亨克，Y·欧威斯克，K·科米，
申请(专利权)人：波音公司，
类型：发明
国别省市：美国;US