基于街景图像与车载激光融合的城市场景构图方法及系统技术方案

本发明专利技术属于场景构图领域，具体涉及了一种基于街景图像与车载激光融合的城市场景构图方法及系统，旨在解决现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建的问题。本发明专利技术包括：分别标定街景相机的内外参数初始值，激光雷达的外参数初始值；基于待构图场景图像构建基于图像特征的优化方程，基于激光点云构建基于点云特征的优化方程，基于每一幅待构图场景图像及对应的各站激光点云构建基于图像与激光对应的优化方程；将优化方程融入统一的全局优化框架，对待优化参数求解并迭代，获得待构图场景的三维构图。本发明专利技术实现了大规模城市场景高效、鲁棒、精确的三维构图，为融合多源数据的场景建模提供了思路。

【技术实现步骤摘要】
基于街景图像与车载激光融合的城市场景构图方法及系统
本专利技术属于场景构图领域，具体涉及了一种基于街景图像与车载激光融合的城市场景构图方法及系统。
技术介绍
城市场景的高精度三维地图在无人驾驶、智慧城市等领域有着广泛的应用与迫切的需求。由于城市场景具有规模大、动态高、结构多样等特点，其高精度三维地图的构建一直以来都是一个研究难点与关键问题。现有方法大多采用视角更大、视场更广的航拍图像进行三维构图，尽管可以实现城市场景的高效、完整建模，但构建的三维地图缺乏细节，无法应用于无人驾驶、智慧城市等领域。针对城市场景的大规模问题，现有方法多采用从运动恢复结构（SfM，StructurefromMotion）与多视图立体（MVS，MultipleViewStereo）技术进行稀疏与稠密重建。在重建过程中通过图像检索、分组或者并行化处理技术实现海量图像的高效重建。另外，在基于图像的城市场景三维构图中，有时还会引入其他辅助信息，如相机运动轨迹、相对位姿约束或者全球定位系统（GPS，GlobalPositioningSystem）、惯性测量单元（IMU，InertialMeasurementUnit）信息等，以获取更为精确的相机位姿估计结果。然而，现有的基于图像的城市场景构图方法依赖于图像局部纹理特征，易受外界环境干扰，在对动态程度高的城市场景进行构图时会存在精度低、鲁棒性差的不足，甚至出现场景漂移的现象。基于激光的城市场景三维构图方法中也存在一些利用扫描范围更广的机载激光雷达（LiDAR，LightDetectionAndRanging）数据进行城市场景构图的方法。但是与基于航拍图像的方法类似，这类方法构建的地图也存在建筑物立面细节缺乏的问题。而基于车载激光点云的城市场景构图方法主要采用LiDAR同时定位与构图（SLAM，SimultaneousLocalizationAndMapping）技术。这类方法采用基于2DLiDAR或者3DLiDAR的方式，有时还会引入如GPS或IMU等辅助信息，实现高效的定位与构图。这类方法的优势在于效率较高，但是构建的地图存在场景稀疏、信息缺失等不足。另外，为获取城市场景更为稠密的激光点云，也可以通过激光扫描仪获取的海量激光点云构建城市场景三维地图。然而，由于大型激光扫描仪的扫描范围受限以及数据采集不便，这类方法难以实现场景的完整覆盖。针对上述问题，存在一些由激光点云获取完整场景模型的方法。其中一些方法利用自相似结构或者简单块体建筑，从不完整的激光扫描结果重建完整的建筑或立面场景；另外一些方法基于曼哈顿世界假设，通过激光点云构建规整的城市场景地图。尽管上述方法有时可以取得较好的重建结果，这些方法或者依赖于用户交互，或者基于较强假设，使其拓展性较差。因此，现有的基于激光的城市场景构图方法难以兼顾场景细节的完整度与场景规模的拓展性。由于图像与激光数据差异过大、融合困难，基于两种数据融合的场景三维构图方法并不常见。其中一类主要方法是基于SLAM的方法。这类方法通过在图像与激光数据中提取并融合特征，然后引入SLAM框架之中，使其兼具视觉SLAM与激光SLAM的优势。有时，为提高系统的鲁棒性，还会进一步将IMU信息引入其中。尽管这类方法相对于基于单一（图像或激光）数据的SLAM系统在性能上有一定提升，然而由于SLAM框架的在线特征匹配与位姿优化机制，使得这类方法无法充分利用全局信息，在面向大规模场景时仍然会出现场景漂移现象。并且，这类方法更倾向于精确、高效的定位，而不注重完整、鲁棒的构图，因此其构建的三维地图应用场景较为受限。除此之外，还有一些专注三维重建的图像与激光融合方法。然而，这类方法均基于底层局部特征，且面向的对象主要是单体建筑或者小规模建筑群，在面向高动态、大规模城市场景进行构图时存在鲁棒性、拓展性较差的问题。因此，现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建。
技术实现思路
为了解决现有技术中的上述问题，即现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建的问题，本专利技术提供了一种基于街景图像与车载激光融合的城市场景构图方法，该城市场景构图方法包括：步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数初始值；所述街景相机，其内参数包括焦距、以及主点、，其外参数包括旋转矩阵以及平移矩阵；所述激光雷达，其外参数包括旋转矩阵以及平移矩阵；步骤S20，提取街景相机获取的待构图场景图像的SIFT（ScaleInvariantFeatureTransform，尺度不变特征变换）特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30；步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。在一些优选的实施例中，所述激光点云的特征包括激光点云的平面特征和边缘特征，其获取方法为：步骤S21，分别将所述激光点云中各站激光点云由直角坐标系转换为球坐标系；步骤S22，将转换后的激光点云投影至平面，并保存激光点云中各点的深度信息；步骤S23，根据激光点云在平面分布情况与深度信息，通过LeGO-LOAM法将激光点云中各点分割为地面点与非地面点；步骤S24，采用广度优先搜索法对所述非地面点按照平面分辨率和每个非地面点的深度信息进行聚类，获得激光点云分割与聚类结果；步骤S25，根据距离信息计算激光点云分割与聚类结果中每个点在平面上相对于周围点的平滑度，并根据平滑度分别进行地面点与非地面点的特征提取，获得激光点云的平面特征和边缘特征。在一些优选的实施例中，所述边缘特征匹配，其方法为：对于当前激光站对应的边缘点子集中的一个激光点，在其各候选匹配激光站中的激光站对应的边缘点集中，采用最近邻搜索法获取与激光点在平面上同一行上的最近邻点，并且在平面上下两行上获取次近邻点，实现点云的边缘特征匹配。在一些优选的实施例中，所述平面特征匹配，其方法为：对于当前激光站对应的本文档来自技高网...

【技术保护点】
1.一种基于街景图像与车载激光融合的城市场景构图方法，其特征在于，该城市场景构图方法包括：/n步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街景相 机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数初始 值；所述街景相机，其内参数包括焦距

【技术特征摘要】
1.一种基于街景图像与车载激光融合的城市场景构图方法，其特征在于，该城市场景构图方法包括：
步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街景相
机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数初始
值；所述街景相机，其内参数包括焦距、以及主点、，其外参数包括旋转矩阵以
及平移矩阵；所述激光雷达，其外参数包括旋转矩阵以及平移矩阵；
步骤S20，提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；
步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；
基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；
采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；
步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30；
步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。


2.根据权利要求1所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述激光点云的特征包括激光点云的平面特征和边缘特征，其获取方法为：
步骤S21，分别将所述激光点云中各站激光点云由直角坐标系转换为球坐标系；
步骤S22，将转换后的激光点云投影至平面，并保存激光点云中各点的深度信息；
步骤S23，根据激光点云在平面分布情况与深度信息，通过LeGO-LOAM法将激光
点云中各点分割为地面点与非地面点；
步骤S24，采用广度优先搜索法对所述非地面点按照平面分辨率和每个非地面
点的深度信息进行聚类，获得激光点云分割与聚类结果；
步骤S25，根据距离信息计算激光点云分割与聚类结果中每个点在平面上相对
于周围点的平滑度，并根据平滑度分别进行地面点与非地面点的特征提取，获得激光点云
的平面特征和边缘特征。


3.根据权利要求2所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述边缘特征匹配，其方法为：
对于当前激光站对应的边缘点子集中的一个激光点，在其各候选匹配激光站中的激
光站对应的边缘点集中，采用最近邻搜索法获取与激光点在平面上同一行上
的最近邻点，并且在平面上下两行上获取次近邻点，实现点云的边缘特征匹配。


4.根据权利要求2所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述平面特征匹配，其方法为：
对于当前激光站对应的平面点子集中的一个激光点，在其各候选匹配激光站中的激
光站对应的平面点集中，采用最近邻搜索法获取激光点在平面上同一行上的
最近邻点，并且在平面上同一行或者上下两行上获取次近邻点，以及在平
面上下两行上获取第三邻近点，实现点云的平面特征匹配。


5.根据权利要求1所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述基于图像特征的优化方程，其构建方法为：
步骤S311，根据所述街景相机的内参数初始值和外参数初始值，采用基于随机抽样一致性的三角测量法计算各特征轨迹对应场景点的三维坐标初值；
步骤S312，利用所述街景相机的内参数初始值和外参数初始值将所述各特征轨迹对应场景点的三维坐标初值进行重投影；
步骤S313，以重投影点与对应的图像SIFT特征点的像素距离为优化目标，以特征轨迹对应的场景点三维坐标以及各幅街景图像对应的街景相机的内参数和外参数为待优化参数，构建基于图像特征的优化方程。


6.根据权利要求5所述的基于街景图像与车载激光融合的城市场景构图...

【专利技术属性】
技术研发人员：高翔，陶冬冬，解则晓，于筱萱，王皓月，胡晨，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37