用于空中到地面配准的系统和方法技术方案

本发明专利技术涉及用于空中到地面配准的系统和方法。用于配准空中和地面数据的系统和方法，包括在空中和地面数据这两者中定位诸如墙壁的刚性特征，将地面刚性数据配准到空中刚性数据，以及使用来自配准的变换来变换地面数据，包括将数据分解成扇区并且对齐扇区。调节了地面数据中的变形。面数据中的变形。面数据中的变形。

【技术实现步骤摘要】
用于空中到地面配准的系统和方法
[0001]本申请是2022年12月19日提交的国际申请日为2021年6月16日的申请号为202180043623.5(PCT/US2021/070718)的，专利技术名称为“用于空中到地面配准的系统和方法”的专利申请的分案申请。
[0002]对于相关申请的交叉引用
[0003]本申请要求于2020年6月18日提交的题目为“SYSTEM AND METHOD FOR AERIAL TO GROUND REGISTRATION(用于空中到地面配准的系统和方法(代理人卷号AA249))”的美国临时申请No.63/040,789的权益。

技术介绍

[0004]点云是在3
‑
D空间中能够从诸如LIDAR传感器的传感器收集的一组点。点云配准是对齐同一场景的两个或多个3
‑
D点云的过程，因此使得能够组合来自不同源的数据以创建比如果使用单个传感器更丰富的数据集。能够在配准过程期间创建3
‑
D场景。典型的配准过程涉及：过滤传感器数据，确定点在数据集中的位置，以及将来自数据集不同部分的数据对齐/拼接在一起。常见的配准类型包括刚性、仿射和非刚性。所选的配准类型确定了将哪种变换应用于点云中的点。例如，刚性配准对点云中的所有点应用相同的变换，而非刚性配准基于位移场对点应用变换。常见的刚性配准方法包括正态分布变换(NDT)和迭代最近点(ICP)，而常见的通用配准方法包括相干点漂移(CPD)。
[0005]为了将地面数据与空中数据配准，可能存在许多障碍。相机视点和成像条件可能不同。与地面图像相比，空中图像通常是从更远的距离和不同的角度捕获的。阳光的方向会影响在空中图像中地标的外观，使特征匹配具有挑战性。在没有任何人工干预的情况下自动匹配和重建空中和地面图像可能更具挑战性。在将裁剪后的空中照片与来自地面图像的合成视图进行匹配时，已经取得了一些成功。能够使用图像数据来实现地面级模型的地理配准。GPS和文本标签能够用于大致估计位置。空中影像边缘的边缘能够映射到地面信息的二维投影，但是在获取地面信息中映射边缘所需的边缘数量方面存在问题。一些研究使用带有街景图像的地理定位地面图像。这些过程中的每一个都存在位置错误问题。考虑到大量的地理和时间变化，高精度级别的特征匹配可能非常耗时，并且不适合自动驾驶车辆的快速决策。

技术实现思路

[0006]本教导的系统和方法能够用于组合空中和地面数据以创建适用于自主驾驶车辆的数据集。空中数据能够被认为比地面数据更可靠，原因包括但不限于包括向地面数据传感器提供位置数据的GPS可能被遮挡的可能性。因此，通过在空中数据和地面数据这两者中定位相同的特征能够使用空中数据特征的位置来校正地面数据。因此，本教导的对于过程的输入是两个点云，一个是空中点云并且一个是地面点云，并且本教导的来自过程的输出是空中和地面数据的统一数据集。
[0007]本教导的空中地面方法能够包括但不限于包括收集同一地理区域的地面点云数
据和空中点云数据。地面点云数据能够比空中点云数据的点密度更高，但最优的是让空中和地面数据集的点密度一致。诸如但不限于传统体素网格过滤器的过滤器能够应用于两个数据集以实现一致的点密度。无论过滤器的选择如何，提供给过滤器的点云都能够被划分为扇区。如果扇区不包括至少预选阈值数量的点，则能够丢弃该扇区。预选阈值能够依赖于过滤器和/或依赖于应用。传统的体素网格过滤器能够提供比原始点云具有更少点数的点云，更少点数将点云表示为整体。体素是定义3D空间中的点的图形信息单位，并且表示在规则间隔的3D网格上的单个样本。体素能够包括单条数据或多条数据，诸如颜色和不透明度。体素网格过滤器能够通过以下方式在空间上平均点云中的点：将点云划分为规则的体素网格，并且将体素内的点组合成一个输出点。能够通过例如定位体素的质心或空间平均、或体素的几何中心等方法来完成组合点。选择组合方法能够基于例如准确性相对于计算强度的相对重要性。
[0008]空中
‑
地面方法能够包括在地面PC数据中定位表面。在一些配置中，能够基于消除点云中的高架特征来确定表面点，从而留下表面点。在一些配置中，能够使用传统的渐进形态过滤器来确定表面点。
[0009]点云数据能够包括变形，诸如扭曲，其能够导致配准失败。为了解决这个问题，能够将表面数据分解成扇区，该扇区足够小以至于能够线性地近似诸如扭曲的变形，但又要足够大以至于将需要平滑的扇区之间的交点数量保持在最低限度。如果扇区太小，每个扇区可能根本不包含表面点。扇区能够包括75m x 75m到125m x 125m范围的大小。在确定扇区后，就能够进行对齐。在一些配置中，能够使用传统的正态分布变换(NDT)过程来实现扇区对齐。Zaganidis et al.,Semantic
‑
assisted 3D Normal Distributions Transform for scan registration in environments with limited structure,Proceedings of the IEEE International Conference on Intelligent Robots and Systems(IROS),pp.4064
‑
4069,9/2017(Zaganidis等，用于结构受限环境中扫描配准的语义辅助3D正态分布变换，IEEE智能机器人和系统国际会议(IROS)论文集，第4064
‑
4069页，9/2017)。也能够使用其他对齐过程，尤其是在点云数据分布稀疏的情况下。如果使用NDT，对齐的第一步是计算每个扇区的NDT。NDT能够将表面数据变换为一组表示点的局部结构的正态分布，并且能够配准分布而不是匹配跨扇区的单个扫描点。为了确定扇区之间的距离，计算到/自第一扇区中的每个点到/自邻居扇区中的点的最小距离。如果最小距离低于预选阈值，则确定跨所有测量的平均距离。当平均距离小于大约0.5至1.5m范围内的预选阈值，例如0.85m时，扇区被认为是对齐的。当平均距离大于或等于预选阈值时，每个扇区都分配有通用横向墨卡托(UTM)坐标，并且会针对扇区数据的所有拐角计算NDT变换。一些扇区可能相互对齐。为了确定哪些扇区仍未与其邻居对齐，能够确定扇区边缘与其邻居边缘之间的距离。如果距离超过预选阈值，则扇区未对齐。预选阈值能够包括0.5m至1.5m的范围，例如0.85m。这些扇区能够根据它们对齐的邻居的数量进行排序。通过使用与在未对齐邻居上的几乎对齐的扇区相关联的NDT变换，具有最多对齐邻居的扇区能够首先与其剩余的(多个)未对齐邻居完全对齐。如果能够使用多于一个的NDT变换，则采取并且使用NDT变换的平均值。能够重新执行排序和对齐，直到没有剩余的扇区要对齐为止。该过程能够导致包括可从中提取墙壁特征的过滤表面数据的对齐的扇区。
[0010]为了提取墙壁特征，对齐的扇区内的表面点能够经历特征确定过程，诸如但不限
于传统的凸包过程。凸包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在空中点云(PC)数据和地面PC数据中定位墙壁的方法，包括：过滤所述空中PC数据和所述地面PC数据；在过滤的空中PC数据和所述地面PC数据内创建预选大小的扇区；对齐在所述地面PC数据中的所述扇区；识别在对齐的扇区中可能的墙壁；识别在所述空中PC数据中可能的屋顶和可能的表面；在所述可能的墙壁、所述可能的屋顶和所述可能的表面周围形成多边形；以及从所述可能的屋顶和所述可能的表面形成墙壁。2.根据权利要求1所述的方法，还包括：对所述地面PC数据进行下采样。3.根据权利要求1所述的方法，还包括：对所述地面PC数据应用体素过滤器。4.一种用于地面PC数据到空中PC数据的点云配准的系统，所述系统包括：表面网格处理器，所述表面网格处理器从所述地面PC数据创建表面网格，包括位于所述地面PC数据中的表面；扇区处理器，所述扇区处理器将所述表面网格分解成扇区，所述扇区处理器对齐所述扇区；地面刚性特征处理器，所述地面刚性特征处理器在所述对齐的扇区内定位地面刚性特征；空中刚性特征处理器，所述空中刚性特征处理器在所述空中PC数据中定位空中刚性特征；配准过程，所述配准过程通过将所述地面刚性特征配准到所述空中刚性特征来确定变换；以及变换过程，所述变换过程根据所述变换对所述地面PC数据进行变换。5.根据权利要求4所述的系统，其中，所述地面刚性特征包括墙壁。6.根据权利要求4所述的系统，其中，所述空中刚性特征包括屋顶和刚性表面。7.根据权利要求4所述的系统，还包括：过滤所述空中PC数据和所述地面PC数据的过滤器。8.根据权利要求4所述的系统，还包括：过滤所述空中PC数据和所述地面PC数据的体素过滤器。9.根据权利要求4所述的系统，其中，所述扇区处理器包括：计算机代码，所述计算机代码执行指令用于：(a)如果有更多的所述扇区要对齐，(b)选择候选相邻扇区；(c)确定在所述候选相邻扇区中各点之间的最小距离；(d)如果所述最小距离小于或等于第一阈值，则将所述候选相邻扇区标记为对齐并且返回到(b)；(e)如果所述最小距离大于所述第一阈值，取在所述候选相邻扇区中所有点之间的平均距离；
(f)如果所述平均距离小于或等于第二阈值，则将所述候选相邻扇区标记为对齐并且返回到(b)；(g)如果所述平均距离大于所述第二阈值，(1)确定每个可能不对齐扇区的每个拐角的坐标；以及(2)针对每个所述可能不对齐扇区的每个所述拐角来确定变换；(h)基于所述坐标来确定所述可能不对齐扇区的所述拐角之间的距离；(i)确定在相邻拐角中的所述拐角距离之间的关系，所述关系与连接所述拐角的线相关联；(j...

【专利技术属性】
技术研发人员：希哈尔，
申请(专利权)人：德卡产品有限公司，
类型：发明
国别省市：