【技术实现步骤摘要】
本专利技术涉及三维场景重建技术，属于计算机视觉建模，具体来说是一种实景三维场景重建方法、系统、设备和存储介质。
技术介绍
1、在高斯场景编辑的相关技术中，交互式的编辑方法仍是主流，此类方法通过提供直观的编辑工具，主要是删除功能，使用户能够直接操纵模型以达到期望的视觉效果。但这些方法普遍存在编辑效率低、依赖用户直觉、自动化程度差等缺陷。对于大规模或高复杂度的场景，交互式编辑非常耗时。每个更改都需要用户手动调整，并且无法精准的选取到待编辑的高斯椭球，这在处理大量数据或细微调整时尤其低效。此外，对于需要重复应用相同或相似编辑操作的情况，交互式方法不够灵活，智能化、自动化手段不足。
技术实现思路
1、本专利技术针对现有技术中的不足，提供一种实景三维场景重建方法、系统、设备和存储介质，旨在解决现有技术中3d场景编辑的精确性和时效性问题。本专利技术集成先进的图像语义分割技术，以优化高斯泼溅模型的后期编辑流程，全面提升模型编辑的质量与效率。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种实景三维场景重建方法，包括以下步骤：
4、采集目标场景的多角度2d图像，将2d图像转换成目标场景的高斯泼溅模型；
5、为高斯泼溅模型中的每个高斯椭球赋予语义标签，得到语义化高斯泼溅模型；
6、编辑语义化高斯泼溅模型，重建三维的目标场景。
7、为优化上述技术方案，采取的具体措施还包括：
8、进一步地，所述将2d图像转换成
9、对所有2d图像进行特征提取、特征匹配、稀疏重建和全局优化后，得到每张2d图像对应的相机位姿以及目标场景的稀疏点云；
10、基于处理好的2d图像、相机位姿及稀疏点云，使用高斯泼溅算法，生成目标场景的高斯泼溅模型。
11、进一步地，所述为高斯泼溅模型中的每个高斯椭球赋予语义标签，得到语义化高斯泼溅模型的具体过程包括：
12、对所有2d图像使用segment anything语义分割模型进行语义信息提取，生成2d分割掩码，记录2d分割掩码中每个像素点的坐标（x,y），及像素点的语义标签l；
13、获取每张2d图像的深度信息d；
14、将像素点的坐标（x,y）转化为归一化图像平面坐标 ，公式如下：
15、；
16、；
17、其中，( u0, v0)是图像的主点坐标， f x和 f y分别是相机 x轴方向的归一化焦距和 y轴方向的归一化焦距；
18、基于逆透视投影技术，利用深度信息d，结合归一化图像平面坐标和相机内外参，计算2d分割掩码中的像素点在世界坐标系中的真实坐标（x, y, z），将像素点转换成3d点，公式如下：
19、；
20、其中， r是3*3的旋转矩阵， t是3*1的平移向量；
21、将语义标签l赋予像素点在世界坐标系中对应的3d点；
22、获取高斯泼溅模型中的每个高斯椭球的固定半径范围内的所有3d点，组成集合p；
23、根据语义权重计算策略计算每个高斯椭球在所有语义类别上的置信度，公式如下：
24、；
25、式中，表示高斯椭球属于第 i个语义标签所标记的语义类别的置信度； p是集合p中的3d点，表示3d点 p与高斯椭球之间的距离，表示该3d点 p是否属于第 i个语义标签， o表示高斯椭球的透明度，|p|表示集合p中3d点的数量；
26、将置信度最高的语义标签赋予该高斯椭球；最终得到语义化高斯泼溅模型。
27、进一步地，所述获取高斯泼溅模型中的每个高斯椭球的固定半径范围内的所有3d点的方法为半径最近邻算法。
28、进一步地，所述编辑语义化高斯泼溅模型，重建三维的目标场景的具体过程为：
29、选中待编辑的高斯椭球，根据语义标签自动获取语义相同的所有高斯椭球，并高亮显示；
30、对于待编辑的高斯椭球所在区域，在目标场景中重新采集该区域的视角更全的2d图像，重新将2d图像转换成该区域的高斯泼溅模型；基于点云的最近点迭代算法，将该区域的高斯泼溅模型配准到待编辑的高斯椭球位置并替换；
31、人工构建网格模型，结合语义信息，计算待编辑高斯椭球的三维中心坐标及朝向，使得网格模型自动摆放到待编辑高斯椭球所在位置，替换掉待编辑的高斯椭球，最终得到融合了网格模型以及高斯泼溅模型的三维场景。
32、本专利技术还提出一种实景三维场景重建系统，包括：
33、图像采集设备，用于采集目标场景的多角度2d图像；
34、高斯泼溅模型构建模块，用于将2d图像转换成目标场景的高斯泼溅模型；
35、高斯椭球语义跟踪模块，用于为高斯泼溅模型中的每个高斯椭球赋予语义标签，得到语义化高斯泼溅模型；
36、模型编辑模块，用于编辑语义化高斯泼溅模型，重建三维的目标场景。
37、本专利技术还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如上所述的实景三维场景重建方法。
38、本专利技术还提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如上所述的实景三维场景重建方法。
39、本专利技术的有益效果是：
40、（1）本专利技术提出了一套针对高斯泼溅场景的模型编辑流程，从图像语义分割、高斯语义跟踪、自动化模型处理等手段实现了在3d高斯场景中对特定元素的快速识别与精确定位，达成了对编辑目标的高精度选取以及深层次优化，显著提高了编辑的准确性、精细度与效率。
41、（2）本专利技术提出了一种结合最近邻与语义权重分配的高斯椭球语义提取策略，实现了对每个高斯椭球语义信息的精确计算，提高了高斯椭球的分类精度。
42、（3）本专利技术提出了一种针对语义化高斯模型的自动化增删改查方法，实现了优质高斯、网格模型对劣质高斯模型的批量化、自动化替换，提升了高斯模型的保真程度，强化了对高斯模型的细节处理能力。
43、（4）本专利技术能显著提升编辑精度：本专利技术融合图像语义分割，确保在复杂的3d高斯场景下能精准识别与锁定编辑目标，极大增强了编辑的精确性与准确性。
44、（5）本专利技术能大幅提升编辑效率：通过本文档来自技高网...
【技术保护点】
1.一种实景三维场景重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的实景三维场景重建方法，其特征在于，所述将2D图像转换成目标场景的高斯泼溅模型具体为：
3.如权利要求1所述的实景三维场景重建方法，其特征在于，所述为高斯泼溅模型中的每个高斯椭球赋予语义标签，得到语义化高斯泼溅模型的具体过程包括：
4.如权利要求3所述的实景三维场景重建方法，其特征在于，所述获取高斯泼溅模型中的每个高斯椭球的固定半径范围内的所有3D点的方法为半径最近邻算法。
5.如权利要求1所述的实景三维场景重建方法，其特征在于，所述编辑语义化高斯泼溅模型，重建三维的目标场景的具体过程为：
6.一种实景三维场景重建系统，其特征在于，包括：
7.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如权利要求1-5任一项所述的实景三维场景重建方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序使计算机执行如权利要求1-5任一
...【技术特征摘要】
1.一种实景三维场景重建方法，其特征在于，包括以下步骤：
2.如权利要求1所述的实景三维场景重建方法，其特征在于，所述将2d图像转换成目标场景的高斯泼溅模型具体为：
3.如权利要求1所述的实景三维场景重建方法，其特征在于，所述为高斯泼溅模型中的每个高斯椭球赋予语义标签，得到语义化高斯泼溅模型的具体过程包括：
4.如权利要求3所述的实景三维场景重建方法，其特征在于，所述获取高斯泼溅模型中的每个高斯椭球的固定半径范围内的所有3d点的方法为半径最近邻算法。
5.如权...
【专利技术属性】
技术研发人员：万林承，沈姜威，钱程扬，张骏源，
申请(专利权)人：园测信息科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。