【技术实现步骤摘要】
本专利技术属于智能交通，特别是一种基于三维高斯泼溅的多视图自动驾驶场景重建方法。
技术介绍
1、随着自动驾驶技术的迅速发展，车辆与云端的结合(车云一体化)成为一种趋势，这种结合能够充分利用云端强大的计算和存储能力，提高自动驾驶系统的效率和可靠性，然而，目前现有技术在数据采集、处理和传输等方面仍存在一些不足，影响了自动驾驶车辆的实时性和精确性。
2、专利名称为“一种基于三维高斯的多帧环视自动驾驶场景仿真与编辑方法”、专利号为“202311675493.4”的专利技术专利申请公开了一种利用多模态传感器数据对大规模自动驾驶场景进行三维重建仿真，通过3d高斯表征分别表示静态背景和存在多物体的动态前景，提出使用增量式的3d静态高斯场建模大规模长时序的静态背景，并利用3d高斯动态图表征动态多物体，最终通过全局3d高斯splatting实现新视图渲染；同时采用基于显式3d高斯的可控编辑技术，实现针对大规模自动驾驶场景的高效编辑，生成逼真的、多样化的corner cases驾驶场景。
3、专利名称为“一种基于双目视觉的智能驾驶三维场景的重建系统及方法”、专利号为“202410032155.7”的专利技术专利申请公开了一种智能驾驶三维场景的重建系统及方法，采用张正友棋盘标定法进行相机标定，获取相机内外参数；采集图像，采用相机标定过程得到的参数对图片进行畸变校正和立体校正；采用sobel算子对图像进行预处理；采用灰度差值的绝对值ad来计算匹配代价；采用动态规划；通过重投影矩阵对视差图进行处理，得到各点的三维坐标，并显示三维点
4、专利名称为“一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统”、专利号为“202310123079.6”的专利技术专利公开了一种自动驾驶数字孪生场景构建方法，对自动驾驶场景的多视角图像进行采集和数据预处理，并将处理后的图像数据划分为若干组；将采集的多视角图像作为输入，输出拍摄每张图像的相机对应的位置和姿态，从而获取相机内外参数序列；构建网络模型；利用处理得到的三个特征点及其组成三角形的边长构建虚拟三维空间中的等比例三角形面片，并在多视图三维重建模块中找到三个对应特征点的位置，将虚拟点云模型中的三个特征点与三角形面片中对应的三个点同时配准，对三维稠密点云进行尺度变换；将无人机采集的图像重建得到的三维稠密点云划分为空中点云模型，其他组图像重建得到的三维稠密点云划分为地面点云模型，并将若干个地面点云模型配准到空中点云模型，形成最终的自动驾驶数字孪生场景模型。
5、然而，现有技术存在以下问题：
6、(1)相机位姿估计精度的依赖性：相机位姿估计的准确性直接影响到三维重建的质量，一旦相机位姿估计误差较大，便导致后续深度图和点云的重建精度下降。
7、(2)系统初始化时间过长：系统初始化包括数据采集、预处理、相机位姿估计、多视图三维重建、点云模型尺度矫正和空地点云模型融合等多个步骤，耗时较长，严重影响系统的实时性和响应速度。
8、(3)点云模型尺度矫正的依赖性：点云模型的尺度矫正依赖于预先选择的特征点和三角形面片的准确性，一旦特征点选择不当或者存在噪声，便影响整体模型的准确性和一致性。
技术实现思路
1、为了克服上述现有技术的缺陷，本专利技术提出一种基于三维高斯泼溅的多视图自动驾驶场景重建方法，不但提高了三维重建的精度和效率，增强了系统的鲁棒性和实时性，而且实现了高保真的渲染和动态场景编辑，提供了全面的频域分析和正则化策略。本专利技术所要解决的技术问题是通过如下技术方案实现的：
2、一种基于三维高斯泼溅的多视图自动驾驶场景重建方法，包括以下步骤：
3、s1数据采集：采集的数据包括车辆周围环境的图像及时间戳，采集到的数据通过车辆内部的数据总线或无线通信方式传输到车辆的计算设备上；
4、s2快速系统初始化：将接收到的第一帧数据设为关键帧，采用高斯高通滤波器对第一帧数据进行处理，以保留图像中的大部分高频信息，首先将图像i(x，y)转换到频域表示f(u，v)，通过2d离散傅里叶变换(2d dft)来实现：
5、
6、其中，(x，y)和(u，v)分别表示图像和其频谱中的坐标；
7、i(x，y)和f(u，v)分别表示像素值和图像的频域表示；
8、频域表示f(u，v)可以表示为振幅|f(u，v)|和相位φ(f(u，v))的函数：
9、
10、
11、其中，real(f(u，v))和imag(f(u，v))分别表示f(u，v)的实部和虚部；
12、然后通过高通滤波器hhigh(u，c)有效地去除图像中的大部分低频信息，只保留高频分量，生成高斯低通滤波器hlow(u，v)，其表达式为：
13、
14、通过高斯低通滤波器，进一步得到高斯高通滤波器hhigh(u，c)：
15、
16、然后得到高通滤波后的频域图像经过逆傅里叶变换得到的空间域图像ihigh(x，y)：
17、ihigh(x，y)＝f-1(f(i(x，y))·hhigh(u，v))； (6)
18、s3关键帧选择：采取滑动窗口下的动态关键帧选择，对于当前帧i和最后一个关键帧j定义其视野覆盖率(covisibility)为可见高斯模型的交并比(intersection overunion，iou)：
19、
20、其中，gi和gj分别表示在第i帧和第j帧中可见的高斯模型；
21、当ioucov(i，j)小于设定的共识阈值，则当前帧i将被选为新的关键帧；
22、当当前帧i和最后一个关键帧j之间的相对平移tij超过设定的相对位移阈值kfm与第i帧的中值深度的乘积，则当前帧i将被选为新的关键帧：
23、
24、在确定某一帧为关键帧后，该帧需要被添加到滑动窗口中；
25、维持一个10单位大小的滑动窗口，若窗口大小超过10单位大小，则基于相对距离移除一个最不重要的关键帧；
26、当前帧i与最新关键帧的重叠系数低于共识阈值，则从当前窗口中删除关键帧：
27、
28、其中，gi和gj分别表示在第i帧和第j帧中可见的高斯模型；
29、s4车载相机位姿估计：车载相机位姿估计旨在优化当前相机姿态，相机姿态是通过在前一姿态上添加一个位移来确定的，则：
30、et+1＝et+(et-et-1)； (10)
31、在起始的几秒中完成初始位姿估计，随后最小化光度残差和深度残差，光度残差衡量的是渲染图像与实际观测图像之间的差异，其定义如下：
32、epho＝||i(g，tcw)-igt||1； (11)
33、其中，i(g，tcw)表示通过相机位姿tcw渲染的高斯图像g；
34、igt是实际观测到的图像；
35、深度残差是指渲染本文档来自技高网...
【技术保护点】
1.一种基于三维高斯泼溅的多视图自动驾驶场景重建方法，其特征是，包括以下步骤：
2.根据权利要求1所述的基于三维高斯泼溅的多视图自动驾驶场景重建方法，其特征是，步骤S3中，所述设定的共识阈值为程序开始时设定的，其取值范围为0.3-0.9。
3.根据权利要求1所述的基于三维高斯泼溅的多视图自动驾驶场景重建方法，其特征是，步骤S3中，所述设定的相对位移阈值kfm为程序开始时设定的，其取值范围为0-0.5。
【技术特征摘要】
1.一种基于三维高斯泼溅的多视图自动驾驶场景重建方法，其特征是，包括以下步骤：
2.根据权利要求1所述的基于三维高斯泼溅的多视图自动驾驶场景重建方法，其特征是，步骤s3中，所述设定的共识阈值为程序开始时...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。