【技术实现步骤摘要】
本专利技术涉及用于修复着色(colourised)三维点云的方法及系统。
技术介绍
1、生成三维点云被用于测绘许多不同的环境，诸如建筑工地、建筑物立面、工业设施、房屋内部或任何其他适用的环境。由此实现的测绘可用于获得环境的准确三维(3d)模型，其中，这些模型包括点云。这样的云的点被存储为坐标系中的坐标，该坐标系可以由记录点云的测绘仪器来定义。通常，测绘仪器通过仪器中心(特别是通过测绘仪器的所谓的结点(nodal point))构成坐标系的原点。通常通过将利用激光射束测量的距离(借助于飞行时间法)与测量距离的对准相关联来测绘点。通常，坐标系是球面坐标系，使得点通过相对于坐标系原点的距离值、仰角和方位角来表征。
2、常见的测绘仪器包括用于发出扫描射束并用于接收反射射束以便测量射束所指向的点的距离的单元。通常，这些测绘仪器还包括用于可旋转地更改射束方向(通常是垂直旋转轴线和水平旋转轴线)的装置，其中两个轴线都利用角度传感器来感测。通常，竖直轴线的旋转通过方位角来测量，并且水平轴线的旋转通过仰角来测量。如果测绘仪器被实施为激光扫描仪，则所述轴线中的一者可以是慢速轴线，而另一个可以是快速轴线。
3、可以通过观察发出与接收信号之间的时间来利用行进时间测量(飞行时间)法来计算距离。利用布置在竖直轴线和水平轴线处的所述角度传感器来实现对准角度。
4、在测绘领域中，提供着色3d点云是期望的特征，例如用于基于lidar的测绘工具。颜色特征有助于理解和导航通过场景，以及标识关注元素，从而向人类视觉系统提供比未着色的
5、为了提供更好的可视化，点云可以被数字地着色。在各种应用中，地面测绘因此由至少一个rgb传感器(例如，摄像头)的成像数据支持，所述至少一个rgb传感器通过将摄像头包括在仪器中或将摄像头与仪器安装在同一平台上来与测绘仪器组合。
6、通常，诸如摄像头之类的rgb传感器与lidar设置在同一设备上，以便提供用于对点云进行着色的颜色信息。然而，由于实际原因，lidar和rgb传感器通常被安装在设备上的不同位置处，并且因此未对准。因此，不利地是，各个传感器从不同的视点捕获现实，并且lidar与rgb传感器之间的视点上的偏差可能由于视差效应而产生人工遮挡，并且随后导致错误的rgb特征被指派到lidar点云。
7、一些lidar测量系统集成同时定位和映射(slam)和/或使得能够动态使用那些设备的附加定位技术。因此，为了沿着动态轨迹测量和重建3d场景，lidar可以由操作者携带或安装到运输平台，例如无人地面车辆(ugv)。虽然这些设备同步地获取lidar和rgb图像，但是lidar和rgb传感器的采样率显著不同。这在lidar与rgb传感器的观察点之间产生了额外的未对准，在这种情况下更关键的是，偏差不仅取决于测量设备的设计，而且还取决于载体的位移速度。因此，不利地是，由于视差效应引起的rgb投影伪像的存在甚至更严重。
8、另外，在一些应用中，lidar和rgb采集是异步地执行的，即，一个接一个地执行。lidar测量系统通常包括单个测量传感器。为了能够测量宽的区域，lidar测量系统需要机械地指向不同的方向(通常覆盖360度的场景)。这意味着设备沿着两个独立轴线(水平和垂直)的连续移动。利用rgb传感器采集图像可以被那些位移定性地影响，从而降低图像的质量。为了消除这种影响，可以顺序地获取lidar和rgb采集，从而延迟利用一个传感器(例如，rgb传感器)的采集开始，直到利用互补传感器(例如，lidar单元)的采集完成。因此，不利地是，场景中存在的移动(即，在传感器与场景之间移动的)障碍物可能导致显著的rgb投影伪像。例如，如果移动物体仅在获取rgb数据时存在于场景中，但在获取lidar数据时不存在于场景中，则该物体的rgb特征将被投影到点云的其他位置，即，投影到该物体后面的位置(来自从摄像头的视点)。
9、ep 3351899 b1公开了一种使用修复以将颜色施加到3d点云的区域的方法，在那些区域中，由于由lidar与摄像头之间的视差引起的对点的遮挡，没有来自rgb图像的可靠rgb颜色可以被指派到该点。实现用于标识这些特定区域的算法，包括使用3d数据。在没有匹配颜色可用于扫描点的情况下，它基于或通过来自周围点的颜色来着色。可以基于未着色的3d点和相邻着色点的距离或强度来估计颜色。然而，在一些情况下，这种方法可能导致不正确或不准确的颜色指派。而且，这种方法不能用于其他障碍物，例如由于区域中的移动的人或物体。
10、期望提供一种克服现有技术的问题的方法，即，在障碍物由lidar与rgb传感器之间的视差引起的情况下允许改进的修复，和/或在障碍物是由于移动障碍物(例如人或物体)引起的情况下允许改进的修复。
技术实现思路
1、因此，本专利技术的目的是提供一种用于点云的着色的改进的方法和系统。
2、另一个目的是提供这样的方法和系统，即，该方法和系统允许改进的修复以提供合成但可靠且准确的rgb特征(即，颜色信息)，其中在原始数据中存在rgb与lidar之间的显著内容差异。
3、特定的目的是提供这样的方法和系统，即，该方法和系统允许在移动物体遮挡视线的情况下改进的修复。
4、另一特定目的是提供这样的方法和系统，即，该方法和系统允许在不良照明条件的情况下改进的修复。
5、本专利技术的第一方面涉及一种对环境的3d点云进行着色的计算机实现的方法，所述方法包括：获取所述环境的点云数据和图像数据，其中，所述点云数据包括所述3d点云的每个点的坐标和强度值，并且所述图像数据通过数字摄像头获取并提供所述环境的颜色信息。所述方法还包括：
6、在公共对准空间中组合所述强度值和所述颜色信息；
7、标识点云数据的点和/或图像数据中的像素，所述点和/或所述像素受到颜色信息与点云数据之间的内容差异或异常影响；
8、针对所标识的点或像素中的每一者，由神经网络根据所组合的强度值和颜色信息的联合评估分别得出着色信息；
9、分别向所标识的点或像素中的每一者指派相应的着色信息。
10、例如，指派着色信息可以包括：替换不正确地指派的颜色或向缺少颜色信息的部分提供颜色。
11、根据一些实施方式，该方法还包括：将所指派的着色信息投影到点云空间、摄像头空间或两者。
12、根据一些实施方式，该方法还包括：基于所组合的强度值和颜色信息来确定内容差异或异常。这些内容差异或异常可能由图像数据中的不正确地指派的颜色引起(例如由于在获取图像数据时的不良照明条件)。例如，不良照明条件包括所捕获的图像数据或其部分中的阴影、反射、过度曝光和/或曝光不足。
13、根据所述方法的一个实施方式，利用测绘仪器(例如，激光扫描仪)获取所述环境的点云数据和图像数据，所述测绘仪器本文档来自技高网...
【技术保护点】
1.一种用于对环境(10)的三维点云进行着色的计算机实现的方法(100)，所述方法包括：获取(110)所述环境(10)的点云数据(60、62)和图像数据(73)，其中，
2.根据权利要求1所述的方法(100)，所述方法包括：向点云空间和/或摄像头空间投影(160)所指派(150)的着色信息。
3.根据权利要求1或权利要求2所述的方法(100)，所述方法包括：基于所组合的强度值(62)和颜色信息来确定所述内容差异或异常，特别是其中，所述内容差异或异常是由在获取(111)所述图像数据(73)时由于不良照明条件而导致的所述图像数据(73)中的不正确地指派的颜色引起的，所述不良照明条件包括阴影、反射、过度曝光和/或曝光不足中的至少一者。
4.根据前述权利要求中任一项所述的方法(100)，其中，利用包括LiDAR单元(6)和至少一个数字摄像头(7)的测绘仪器(1)来获取(110)所述环境(10)的所述点云数据(60)和所述图像数据(73)，特别是其中，所述方法(100)由所述测绘仪器(1)的计算机(8)执行，所述计算机(8)包括所述神经网络(80)，特别
5.根据权利要求4所述的方法(100)，其中，
6.根据权利要求5所述的方法(100)，其中，所述LiDAR单元(6)和所述数字摄像头(7)被设置在所述测绘仪器(1)上的不同位置处，其中，所述数字摄像头(7)到所述环境(10)的所述第一部分(13)的所述视线由于所述不同位置而被阻挡，特别是由于所述LiDAR单元(6)的仪器中心(16)与所述数字摄像头(7)的投影中心(17)之间的视差偏移而被阻挡。
7.根据权利要求5所述的方法(100)，其中，顺序地获取(110)所述环境(10)的所述点云数据(60)和所述图像数据(73)，其中，所述数字摄像头(7)到所述环境(10)的所述第一部分(13)的所述视线由于所述摄像头(7)与所述环境(10)之间的障碍物(11)而被阻挡，特别是其中，所述障碍物(11)是移动物体或人。
8.根据前述权利要求中任一项所述的方法(100)，其中，
9.根据权利要求8所述的方法(100)，其中，
10.根据权利要求1至7中任一项所述的方法(100)，其中，
11.根据权利要求10所述的方法(100)，其中，
12.根据权利要求10或权利要求11所述的方法(100)，其中，对于每个点，所述着色点云(64、65)包括至少三维坐标、强度值和RGB颜色信息，特别是其中，对于每个点，所述着色点云(64、65)还包括修复掩模(52)的掩模值。
13.根据前述权利要求中任一项所述的方法(100)，其中，
14.一种被配置用于执行根据前述权利要求中任一项所述的用于对环境(10)的三维点云进行着色的方法(100)的计算机系统，特别是其中，
15.一种计算机程序产品，所述计算机程序产品包括存储在机器可读介质上的程序代码或者由包括程序代码段的电磁波实施，并且所述计算机程序产品具有计算机可执行指令，特别地，当所述计算机可执行指令在根据权利要求14所述的计算机系统中执行时，用于执行根据权利要求1至13中任一项所述的方法(100)。
...【技术特征摘要】
1.一种用于对环境(10)的三维点云进行着色的计算机实现的方法(100)，所述方法包括：获取(110)所述环境(10)的点云数据(60、62)和图像数据(73)，其中，
2.根据权利要求1所述的方法(100)，所述方法包括：向点云空间和/或摄像头空间投影(160)所指派(150)的着色信息。
3.根据权利要求1或权利要求2所述的方法(100)，所述方法包括：基于所组合的强度值(62)和颜色信息来确定所述内容差异或异常，特别是其中，所述内容差异或异常是由在获取(111)所述图像数据(73)时由于不良照明条件而导致的所述图像数据(73)中的不正确地指派的颜色引起的，所述不良照明条件包括阴影、反射、过度曝光和/或曝光不足中的至少一者。
4.根据前述权利要求中任一项所述的方法(100)，其中，利用包括lidar单元(6)和至少一个数字摄像头(7)的测绘仪器(1)来获取(110)所述环境(10)的所述点云数据(60)和所述图像数据(73)，特别是其中，所述方法(100)由所述测绘仪器(1)的计算机(8)执行，所述计算机(8)包括所述神经网络(80)，特别是其中，所述计算机(8)被配置为控制所述lidar单元(6)和所述至少一个数字摄像头(7)。
5.根据权利要求4所述的方法(100)，其中，
6.根据权利要求5所述的方法(100)，其中，所述lidar单元(6)和所述数字摄像头(7)被设置在所述测绘仪器(1)上的不同位置处，其中，所述数字摄像头(7)到所述环境(10)的所述第一部分(13)的所述视线由于所述不同位置而被阻挡，特别是由于所述lidar单元(6)的仪器...
【专利技术属性】
技术研发人员：L·洛佩斯·费尔南德斯，伯恩哈德·麦茨勒，
申请(专利权)人：赫克斯冈技术中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。