【技术实现步骤摘要】
本专利技术属于图像处理领域，具体涉及一种水下三维重建方法、系统及存储介质。
技术介绍
1、随着海洋科技的不断进步，水下探测和三维重建技术在海洋资源的开发和利用中发挥着越来越重要的作用。作为一个沿海国家，我国拥有丰富的海洋资源，水下探测技术的发展对于国家的经济和安全具有重要的战略意义。因此，把海洋经济放在了重要位置。
2、水下机器人作为一种重要的水下探测载体，在水下结构的扫描和勘测中发挥着关键作用。计算机视觉技术近年来取得了突飞猛进的发展，三维重建技术已经在陆地上得到广泛应用。然而，由于水下环境的特殊性，这导致了传统的三维重建技术难以直接应用在水下场景中。
3、例如，近年来三维重建领域广受关注的技术3dgs(3d gaussian splatting)，它是一种基于高斯函数的点云重建方法。然而，目前该方法主要针对陆地上的场景，无法直接应用于水下环境。这是因为在水下拍摄的图像中，光的传播受到水的吸收和散射的影响，导致图像的质量下降，光线无法准确地达到目标物体或水下结构，从而影响三维重建的精度和准确性。
4、在三维重建领域，sfm(structure from motion)作为一种最基本的方法，这种方法用于从一系列连续的图像中恢复出相机位姿和场景的稀疏三维结构。然而，sfm输出的结果通常是稀疏点云。因此，最近在三维重建领域的进展，比如说nerf(neural radiancefield)和3dgs都是在sfm的结果之上，再实现了场景的真实感知新视角渲染。
5、然而，水下的光散射不利于构
技术实现思路
1、为了解决现有水下环境三维构建中光照不一致和光散射问题导致的残影的问题，本专利技术提供一种水下三维重建方法、系统及存储介质，以解决上述存在的技术缺陷问题。
2、第一方面，本专利技术提出了一种水下三维重建方法，该方法包括：
3、利用sfm从给定的图像序列中估计相机姿态，构建3d稀疏点云；
4、利用3dgs对不同相机姿态的水下场景进行循环渲染；其中，从3d稀疏点云初始化得到3d高斯点云，每个相机姿态对应的渲染图像通过一组3d高斯点云表示，3d高斯点云中的每个高斯点由均值，半正定协方差矩阵，不透明度和使用球谐函数参数化的与视图相关的颜色来表示；当每次3dgs的循环渲染输出渲染图片时，计算渲染图片与图像序列中的输入图像的残差，对残差进行傅里叶变换，利用低通滤波器去除高频信号，保留部分进行傅里叶逆变换，利用傅里叶逆变换后的参数优化每个高斯点的所有参数，将每个高斯点优化后的3d高斯点云输入回3dgs的循环渲染中。在3dgs迭代过程中使用低通滤波技术，构建具有光照一致的三维场景表示，并从中去除残影，以恢复光照均匀的场景。
5、优选的，利用3dgs对不同相机姿态的水下场景进行循环渲染包括：
6、从3d稀疏点云初始化得到3d高斯点云，每个相机姿态对应的渲染图像通过一组3d高斯点云表示，3d高斯点云中的每个高斯点由均值，半正定协方差矩阵，不透明度和使用球谐函数参数化的与视图相关的颜色来表示；
7、将3d高斯点云投影到2d图像中，产生2d高斯点；其中，2d高斯点的二维协方差矩阵σ'i表示为：
8、σ'i＝(jwσiwtjt)1:2,1:2
9、其中，j为投影仿射近似的雅可比矩阵，w为权重矩阵，wt和jt为j和w的转置矩阵，σi为3d高斯点云中对应高斯点的半正定协方差矩阵，1:2,1:2分别为矩阵的前两行和前两列；3d高斯点云中对应高斯点的均值投影到2d图像中，获得2d高斯点的均值；
10、计算每个像素的颜色。将3d高斯点云投影到2d图像中，便于后续对像素的处理。
11、优选的，计算每个像素的颜色包括：
12、对于每个像素，根据2d高斯点到2d图像平面的距离，从前往后遍历高斯列表，合成与视图相关的颜色，其中，r表示像素对应的射线方向；
13、利用与视图相关的颜色、二维协方差矩阵以及2d高斯点的均值计算获取像素颜色表示为：
14、
15、其中，αi为混合权重，为与视图相关的颜色，∑′i为二维协方差矩阵，μ′i为2d高斯点的均值，其中，混合权重从一组具有已知投影矩阵的图像中学习获取。
16、优选的，混合权重从一组具有已知投影矩阵的图像中学习获取，包括利用dssim在预测颜色和真实颜色之间计算损失以调节获取混合权重，表示为：
17、
18、其中，为预测颜色，c为真实颜色。
19、优选的，计算渲染图片与图像序列中的输入图像的残差r，表示为：
20、
21、其中，i为输入图像，为渲染图像。
22、优选的，对残差进行傅里叶变换，利用低通滤波器去除高频信号，保留部分进行傅里叶逆变换，表示为：
23、s＝ifft(fft(r)[0k])
24、其中，s表示焦散，r表示残差，fft和ifft分别表示傅里叶变换和傅里叶逆变换，[0：k]表示保留频率空间中绝对值最小的k个频率。
25、优选的，利用傅里叶逆变换后的参数优化每个高斯点的所有参数，表示为：
26、
27、其中g为3d高斯点云，i为输入图像，为渲染图像，优化g为优化每个高斯点的所有参数，dist()是距离度量，s为焦散，与训练图像有相同的格式，具有rgb三通道。在渲染过程中使用低通滤波技术，去除光散射引起的残影并减小图像中的高频噪声，实现光照均匀化的三维重建结果。
28、根据本专利技术的第二方面，提出了一种水下三维系统，该系统包括：
29、构建模块，被配置用于利用sfm从给定的图像序列中估计相机姿态，构建3d稀疏点云；
30、渲染模块，被配置用于利用3dgs对不同相机姿态的水下场景进行循环渲染；其中，从3d稀疏点云初始化得到3d高斯点云，每个相机姿态对应的渲染图像通过一组3d高斯点云表示，3d高斯点云中的每个高斯点由均值，半正定协方差矩阵，不透明度和使用球谐函数参数化的与视图相关的颜色来表示；当每次3dgs的循环渲染输出渲染图片时，计算渲染图片与图像序列中的输入图像的残差，对残差进行傅里叶变换，利用低通滤波器去除高频信号，保留部分进行傅里叶逆变换，利用傅里叶逆变换后的参数优化每个高斯点的所有参数，将每个高斯点优化后的3d高斯点云输入回3dgs的循环本文档来自技高网...
【技术保护点】
1.一种水下三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用3DGS对不同相机姿态的水下场景进行循环渲染包括：
3.根据权利要求2所述的方法，其特征在于，所述计算每个像素的颜色包括：
4.根据权利要求3所述的方法，其特征在于，所述混合权重从一组具有已知投影矩阵的图像中学习获取，包括利用DSSIM在预测颜色和真实颜色之间计算损失以调节获取所述混合权重，表示为：
5.根据权利要求1所述的方法，其特征在于，所述计算所述渲染图片与所述图像序列中的输入图像的残差R，表示为：
6.根据权利要求1所述的方法，其特征在于，所述对所述残差进行傅里叶变换，利用低通滤波器去除高频信号，保留部分进行傅里叶逆变换，表示为：
7.根据权利要求1所述的方法，其特征在于，所述利用傅里叶逆变换后的参数优化每个高斯点的所有参数，表示为：
8.一种水下三维重建系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器
...【技术特征摘要】
1.一种水下三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用3dgs对不同相机姿态的水下场景进行循环渲染包括：
3.根据权利要求2所述的方法，其特征在于，所述计算每个像素的颜色包括：
4.根据权利要求3所述的方法，其特征在于，所述混合权重从一组具有已知投影矩阵的图像中学习获取，包括利用dssim在预测颜色和真实颜色之间计算损失以调节获取所述混合权重，表示为：
5.根据权利要求1所述的方法，其特征在于，所述计算所述渲染图片与所述图像...
【专利技术属性】
技术研发人员：董帝渤，王壮鸿，郭乔影，林朝，王尚湋，李旭睿，
申请(专利权)人：福建理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。