激光点云与图像的配准的方法及系统技术方案

本发明专利技术实施例提供一种激光点云与图像的配准方法及系统，该方法包括：在待配准的数据中随机抽取预设帧数的随机数据，针对每一帧的随机数据，将随机数据中的点云图像与相机图像调整为具有一致性后，保存调整参数；对预设帧数的随机数据分别对应的调整参数进行分析，获得调整参数与惯导姿态的关联关系；根据关联关系对待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。本发明专利技术实施例过对采样部分帧的数据，进行半自动的参数调整，再将其应用到整个数据上，即可以达到较高的精度，又降低了全部调参的成本。

【技术实现步骤摘要】
激光点云与图像的配准的方法及系统
本专利技术涉及移动测量领域，更具体地，尤其涉及一种激光点云与图像的配准的方法及系统。
技术介绍
当前，移动测量技术已经成为高精度导航电子地图数据获取的主要技术之一。移动测量系统(MobileMappingSystem，MMS)是在机动车上装配GPS(全球定位系统)、CCD(视频系统)、INS(惯性导航系统)或航位推算系统等传感器和设备，在车辆高速行驶的过程中，快速采集道路及路侧地物的空间位置和属性数据，例如：道路面、车道印刷线、路面指示箭头、人行横道、交通标志牌、交通信号灯等。数据会同步存储在车载计算机系统中，经过各种软件的处理以后形成各类成果数据，用于导航电子地图的制作等。此外、MMS本身具有汽车导航功能，还可以用于道路路况、道路设施的实时监测，发现变化，便于对原有数据进行更新。单线激光点云、连续的彩色图像是MMS系统的部分主要成果。单线激光点云可以提供高精度的地物位置，但是缺少纹理和颜色信息，不易进行判读和分析。而图像数据具有丰富的纹理信息，颜色信息等都有利于地物的提取。除此之外相对图像数据而言，激光点云数据是无序的，且数据量极大。图像的处理方法更多、更快、泛化性更好。尤其今年深度学习的快速进步，将基于图像的处理能力提升到又一个新的高度上，基于点云的深度学习还是在探索、预言上，暂时尚达不到工业级的应用程度。但是直接从图像数据上获取地物精确的真实世界的位置，是非常困难的。即使是可以采集深度信息的相机，其精度跟激光点云也不具有可比性。因此激光点云数据与图像的融合具有很强的实用价值。现有的MSS上点云与图像的配准方法主要包括以下几类：(1)基于多传感器标定的半自动方法，即直接使用位置与姿态系统(PositionandOrientationSystem,POS)输出方位元素值整体补偿标定参数的方法，进行车载激光点云和图像的配准，该类方法通常需要使用标定场实现标定，且换测站时需要重新标定，标定的时间成本较高。而且，研究表明由于配准误差的来源各种各样，标定本身也具有一定误差，通常使用该方法进行配准后，点云数据和图像仍然有明显的配准差。此外，不同时段GPS信号质量、惯导漂移都不同，这类误差无法被消除。(2)基于几何配准基元的方法，分别从点云和图像中提取配准基元匹配对，例如建筑物线框轮廓和激光点云轮廓、图像和点云上的特征点对(箭头的顶点)、特征线(车道印刷线的边缘线)对。(3)基于互信息的自动配准方法，将影像依据图像的成像方式进行成像，计算所得图像与相机图像的互信息测度，求解最高互信息。然而，车载MMS中点云与图像配准由于GPS信号质量、惯导漂移的动态变化，配准误差来源多种多样，全自动的配准技术暂时还在研究阶段，还没有达到能够量产应用的水平。而使用标定场隔一段时间进行标定，这一类半自动的配准方法，会给外业采集带来较多额外负担，也很难落地实施。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的激光点云与图像的配准方法及系统。第一方面，本专利技术实施例提供一种激光点云与图像的配准方法，该方法包括：在待配准的数据中随机抽取预设帧数的随机数据，针对每一帧的随机数据，将随机数据中的点云图像与相机图像调整为具有一致性后，保存调整参数；对预设帧数的随机数据分别对应的调整参数进行分析，获得调整参数与惯导姿态的关联关系；根据关联关系对待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。优选的，所述针对每一帧的所述随机数据，将所述随机数据中的点云图像与相机图像调整为具有一致性后，保存调整参数，包括：将惯导IMU的相对位置和姿态设置为初始变换参数；针对每一帧的所述随机数据执行如下处理：采用所述初始变换参数对点云数据进行旋转和平移，以将所述点云数据投影成所述点云图像；将所述点云图像与对应帧的所述相机图像进行叠加后，对所述点云图像和/或所述相机图像进行调整，以使二者具有一致性；在确认具有一致性后，保存调整过程所对应的调整参数。优选的，对所述点云图像和/或所述相机图像进行调整，以使二者具有一致性，包括：对所述点云数据进行变换，以使投影后获得的所述点云图像与所述相机图像具有一致性；相应地，所述在确认具有一致性后，保存调整过程所对应的调整参数，包括：使用控制变量法，每次改变所述初始变换参数中的一个参数的值，并采用改变后的参数对所述点云数据进行变换，并判断所述点云图像与所述相机图像是否具有一致性；若不具有则继续改变所述初始变换参数中的一个参数的值，直至所述点云图像与所述相机图像具有一致性。优选的，所述确认具有一致性，包括：根据所述点云图像与所述相机图像的叠加图的清晰度、是否有重影以及特征点能否对齐来确认是否具有一致性。优选的，所述关联关系为线性关系；相应地，对所述预设帧数的所述随机数据分别对应的所述调整参数进行分析，获得所述调整参数与惯导姿态的关联关系，包括：采用异常检测算法剔除孤立数据，绘制散点图；根据所述散点图中散点的分布情况，采用线性拟合的方式获得所述调整参数与惯导姿态的线性关系。优选的，根据所述关联关系对所述待配准的数据中的每一帧数据中的点云图像和相机图像进行配准，包括：针对所述待配准的数据中的每一帧数据，根据惯导姿态和所述关联关系计算出所述初始变换参数；采用所述惯导姿态和所述初始变换参数将点云数据变换至相机坐标系后，投影获得所述点云图像；基于评价指标对所述点云图像与所述相机图像的一致性进行评价，并采用优化算法调整所述调整参数以对所述点云数据进行重投影和重评价，直至获得局部最优解。优选的，基于评价指标对所述点云图像与所述相机图像的一致性进行评价，并采用优化算法调整所述调整参数以对所述点云数据进行重投影和重评价，直至获得局部最优解，包括：设置代价函数为图像的互信息，所述互信息用于表示两张图像的相似度；使用剃度下降法获取对应所述互信息最小的目标调整参数；根据所述目标调整参数对所述点云数据进行调整，获得配准完成的图像。第二方面，本专利技术实施例提供了一种激光点云与图像的配准系统，该系统包括：抽取模块，用于在待配准的数据中随机抽取预设帧数的随机数据，针对每一帧的随机数据，将随机数据中的点云图像与相机图像调整为具有一致性后，保存调整参数；分析模块，用于对预设帧数的随机数据分别对应的调整参数进行分析，获得调整参数与惯导姿态的关联关系；配准模块，用于根据关联关系对待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的激光点云与图像的配准方法。第四方面，本专利技术实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的激光点云与本文档来自技高网...

【技术保护点】
1.一种激光点云与图像的配准方法，其特征在于，包括：/n在待配准的数据中随机抽取预设帧数的随机数据，针对每一帧的所述随机数据，将所述随机数据中的点云图像与相机图像调整为具有一致性后，保存调整参数；/n对所述预设帧数的所述随机数据分别对应的所述调整参数进行分析，获得所述调整参数与惯导姿态的关联关系；/n根据所述关联关系对所述待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。/n

【技术特征摘要】
1.一种激光点云与图像的配准方法，其特征在于，包括：
在待配准的数据中随机抽取预设帧数的随机数据，针对每一帧的所述随机数据，将所述随机数据中的点云图像与相机图像调整为具有一致性后，保存调整参数；
对所述预设帧数的所述随机数据分别对应的所述调整参数进行分析，获得所述调整参数与惯导姿态的关联关系；
根据所述关联关系对所述待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。


2.根据权利要求1所述的方法，其特征在于，所述针对每一帧的所述随机数据，将所述随机数据中的点云图像与相机图像调整为具有一致性后，保存调整参数，包括：
将惯导IMU的相对位置和姿态设置为初始变换参数；
针对每一帧的所述随机数据执行如下处理：
采用所述初始变换参数对点云数据进行旋转和平移，以将所述点云数据投影成所述点云图像；
将所述点云图像与对应帧的所述相机图像进行叠加后，对所述点云图像和/或所述相机图像进行调整，以使二者具有一致性；
在确认具有一致性后，保存调整过程所对应的调整参数。


3.根据权利要求2所述的方法，其特征在于，对所述点云图像和/或所述相机图像进行调整，以使二者具有一致性，包括：
对所述点云数据进行变换，以使投影后获得的所述点云图像与所述相机图像具有一致性；
相应地，所述在确认具有一致性后，保存调整过程所对应的调整参数，包括：
使用控制变量法，每次改变所述初始变换参数中的一个参数的值，并采用改变后的参数对所述点云数据进行变换，并判断所述点云图像与所述相机图像是否具有一致性；若不具有则继续改变所述初始变换参数中的一个参数的值，直至所述点云图像与所述相机图像具有一致性。


4.根据权利要求2所述的方法，其特征在于，所述确认具有一致性，包括：
根据所述点云图像与所述相机图像的叠加图的清晰度、是否有重影以及特征点能否对齐来确认是否具有一致性。


5.根据权利要求1所述的方法，其特征在于，所述关联关系为线性关系；
相应地，对所述预设帧数的所述随机数据分别对应的所述调整参数进行分析，获得所述调整参数与惯导姿态的关联关系，包括：...

【专利技术属性】
技术研发人员：惠念，刘圆，陶军，文铁谋，刘博，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：湖北;42