【技术实现步骤摘要】
本专利技术属于计算机视觉领域，特别涉及一种基于高斯泼溅的激光增强视觉三维重建方法和系统。
技术介绍
1、三维重建是利用各种传感器设备来捕捉现实世界的信息，并基于这些信息构建三维模型。三维重建在各个领域都具有广泛的应用前景。传统的三维重建算法主要基于视觉和激光雷达，基于单一传感器的三维重建算法各有其独特的优势和局限性。基于视觉的算法利用摄像头获取的图像信息，通过计算机视觉技术来推断物体的深度和三维结构。然而视觉传感器无法有效地应对纹理重复或纹理缺失的情况。这意味着在存在大量相似纹理的区域，视觉传感器可能无法准确地捕捉到场景的细节，导致重建结果不准确。而基于激光雷达的算法则利用激光雷达等传感器直接获取物体到传感器的距离信息，因此能够提供准确的深度信息，不受光照和纹理影响，但却无法捕捉到场景的颜色信息，因此，单独使用激光传感器进行场景重建时，无法生成具有真实色彩的场景模型，这在一些应用场景中可能会影响到结果的可视化效果。在实际应用中，常常结合多种传感器和算法来实现更加准确和稳健的三维重建，以满足不同场景和应用需求。融合视觉和激光的传统算法在实现照片级场景重建时面临一些挑战。首先，视觉数据和激光数据的融合具有挑战性，由于它们的信息表示方式和特征差异较大，导致融合过程受到数据不一致和校准误差等问题的影响。其次，传统算法在处理复杂场景时可能遇到困难，例如处理遮挡、反射和透明物体等情况，这可能导致算法对场景的理解产生歧义。此外，传统算法通常需要大量的计算资源和时间来处理大规模的数据，而且在面对噪声和光照变化时可能缺乏足够的精确度和鲁棒性。综上
技术实现思路
1、针对现有三维重建算法存在的跨模态数据融合困难和难以实现高质量新视角渲染的问题，本专利技术提供了一种基于高斯泼溅的激光增强视觉三维重建方法。实现了融合视觉和激光数据的高精度定位定位和高保真建图。通过融合视觉和激光数据联合计算优化相对位姿，提高了位姿计算的精度；使用三维高斯球表示场景，三维高斯泼溅从场景中渲染图像，将输入图像作为监督，利用梯度下降算法优化场景中的高斯球参数，实现高保真三维场景重建。
2、本专利技术提供了一种基于高斯泼溅的激光增强视觉三维重建方法，包括：
3、步骤1，对输入的所有图像提取特征，计算相邻图像之间的特征匹配，并利用对极约束求解相邻图像之间的相对旋转变换；
4、步骤2，基于步骤1得到的相对旋转变换作为初始值初始化相邻点云之间的位姿，并使用点到面icp算法求解点云之间的相对位姿；
5、步骤3，基于得到的特征匹配以及根据最近邻搜索得到点云之间点的匹配关系，构造包含匹配特征的重投影误差和点云配准误差的目标函数，利用非线性最小二乘法优化相对位姿；
6、步骤4，基于步骤3中优化后的相对位姿，利用高斯泼溅渲染结果调整相对位姿，将相机和场景对齐，再进一步优化位姿；
7、步骤5，基于步骤4计算的位姿，从三维高斯场景中渲染出场景的轮廓图，并根据点云和图像对场景中未表示的部分添加初始高斯球；
8、步骤6，对于新添加的高斯球，根据图像和深度优化高斯球的属性，选取若干关键帧，固定相机位姿，将深度图和rgb图像作为监督，利用梯度下降算法优化三维高斯场景中高斯球的颜色c、位置μ以及不透明度o，从而实现高保真三维场景重建。
9、进一步的，步骤1的具体实现方式如下；
10、对输入的一帧原始图像使用相机内参对图像进行去畸变处理，之后对去畸变图像提取sift特征点并计算描述子，对相邻图像计算特征匹配，并使用ransac方法进行外点剔除，得到更精确的特征匹配结果，之后利用ransac算法根据保留的特征匹配计算对极约束的本质矩阵，并利用svd算法从本质矩阵中分解出相对旋转变换。
11、进一步的，步骤2中，点到面icp算法初始位姿的旋转矩阵为步骤1求解的结果，平移向量为零，利用icp算法求解出相邻帧之间的相对位姿。
12、进一步的，步骤3的具体实现方式如下；
13、对于相邻的图像和点云，根据相对位姿和特征匹配求解出特征点的3d坐标，根据相机的内外参数将3d特征点投影到两个相机平面，将投影点坐标与特征坐标之间的距离作为重投影误差：
14、ec＝π(x；tk,p)-u
15、其中x表示3d特征点，tk表示第k帧的位姿，p表示投影矩阵，π表示投影变换，u是对应图像像素点的坐标；
16、点云经过相对位姿变换后，将最近邻点作为匹配点，计算匹配点之间的距离作为点云的配准误差：
17、
18、其中(p,q)是k，k-1帧点云中匹配的一对3d特征点，tk，tk-1分别是k，k-1帧点云的位姿，τ是变换函数，对p根据变换到新的坐标，te是雷达和相机之间的外参；
19、最终的目标函数由上述的两个误差组成，联合优化的目标函数如下：
20、
21、其中，λc和λl是权重，c和l分别为图像的重投影误差和激光点云的配准误差的标记；
22、使用步骤2中的相对位姿作为优化的初始值，使用非线性最小二乘法优化，得到最终的位姿。
23、进一步的，步骤4的具体实现方式如下；
24、根据步骤3计算的相对位姿，从三维高斯场景中渲染出场景轮廓图、深度图和rgb图像，使用高斯球集合表示一个三维场景g，场景中的每个高斯球包含属性颜色c，位置μ，半径r以及不透明度o∈[0,1]，渲染时将高斯球按照到相机的深度从小到大排序，对于图像上的像素点p，颜色的计算由下面的公式给出：
25、
26、其中，c表示渲染得到的rgb图像，n为高斯球的个数，ci表示第i个高斯球的颜色，fi表示第i个高斯球对像素p的影响大小，函数f的定义如下：
27、
28、其中，d＝(tμ)z；p是投影矩阵，t是给定的位姿，μ是高斯球的位置，f是相机焦距，o是高斯球的不透明度，x是自变量；
29、将渲染颜色的公式中的颜色特征替换为深度z或单位一，渲染出深度图d和轮廓图s；
30、将轮廓图s作为掩码，点云投影的深度图和采集的rgb图像作为真值，相机位姿作为待优化参数，利用梯度下降算法调整相机位姿，将相机与场景对齐：
31、
32、其中，tk表示第k帧位姿，c是渲染的色彩图，d是渲染的深度图。
33、最后，将包含rgb图像和深度图的输入帧记作f，f＝{c,d}，渲染本文档来自技高网...
【技术保护点】
1.一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤1的具体实现方式如下；
3.根据权利要求1的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤2中，点到面ICP算法初始位姿的旋转矩阵为步骤1求解的结果，平移向量为零，利用ICP算法求解出相邻帧之间的相对位姿。
4.根据权利要求1的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤3的具体实现方式如下；
5.根据权利要求1的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤4的具体实现方式如下；
6.根据权利要求5的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：深度图D和轮廓图S的渲染公式如下：
7.根据权利要求6的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤5的具体实现方式如下；
8.根据权利要求1的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤6中，每间隔n帧选取一个
9.一种基于高斯泼溅的激光增强视觉三维重建系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤1的具体实现方式如下；
3.根据权利要求1的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤2中，点到面icp算法初始位姿的旋转矩阵为步骤1求解的结果，平移向量为零，利用icp算法求解出相邻帧之间的相对位姿。
4.根据权利要求1的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤3的具体实现方式如下；
5.根据权利要求1的一种基于高斯泼溅的激光增强视觉三维重建方法，其特征在于：步骤...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。