【技术实现步骤摘要】
本申请涉及视觉计算领域，尤其涉及一种场景重建方法、装置、电子设备、存储介质及产品。
技术介绍
1、随着科技的发展，虚拟现实、3d内容生成和自动驾驶等领域发展迅速。因此，需要从图片集合中重建真实世界场景，并实现逼真的新视角合成。
2、一些场景重建方法中，在根据图片进行场景重建时，将包含待重建场景的图片输入到场景重建模型，得到模型输出的场景重建结果。但是，该方案对输入图片的要求较高，当输入的图片存在遮挡时，重建的场景结果准确性不佳。
技术实现思路
1、本申请提供一种场景重建方法、装置、电子设备、存储介质及产品，用以提高场景构建结果的准确性。
2、第一方面，本申请提供一种场景重建法，包括：根据待重建场景获取第一图片，第一图片中存在至少一张含有遮挡信息的图片；将第一图片输入场景重建模型得到第一点云；其中，场景重建模型包括遮挡预测器、球谐系数预测器和三维高斯模型；遮挡预测器用于提取第一图片中的遮挡信息所对应的外观编码信息；球谐系数预测器用于根据外观编码信息得到三维高斯模型的残差球谐系数，残差球谐系数用于叠加至三维高斯模型当前的球谐系数，以更新三维高斯模型；将待重建场景对应的点云输入图形处理单元进行光栅化渲染，得到待重建场景的场景重建结果；待重建场景对应的点云包括第一点云。
3、在一种可能的实现方式中，方法还包括：根据待重建场景，获取特定外观下的第二图片；将第二图片输入到场景重建模型得到第二点云；将待重建场景对应的点云输入图形处理单元进行光栅化渲染，得到待重
4、在一种可能的实现方式中，遮挡预测器包括：第一特征提取器、通道注意力模块、空间注意力模块以及外观编码器；其中，第一特征提取器用于对第一图片进行特征提取，得到第一特征；通道注意力模块用于根据第一特征的通道关系，聚合特征的空间信息得到第二特征；空间注意力模块用于对第一特征与第二特征进行逐元素乘法得到的第三特征，进行特征提取得到静态内容，静态内容反映遮挡信息；外观编码器用于对第三特征与静态内容进行逐元素乘法得到的第四特征，进行编码得到外观编码信息。
5、在一种可能的实现方式中，通道注意力模块包括平均池化层、最大池化层、以及第一多层感知器；其中，平均池化层用于对第一特征进行平均池化得到第一结果；最大池化层用于对第一特征进行最大池化得到第二结果；第一多层感知器，用于根据第一结果和第二结果得到第二特征。
6、在一种可能的实现方式中，方法还包括：将训练图片输入场景重建模型，得到场景重建模型输出的训练场景图像；基于场景重建模型的损失函数，计算训练图片对应的标准场景图像和训练场景图像之间的误差，并根据误差，对场景重建模型进行调参，直至完成训练。
7、在一种可能的实现方式中，损失函数包括：遮挡物掩盖项、第一正则化项、第二正则化项、约束项；其中，遮挡物掩盖项基于空间注意力模块提取的静态内容得到；第一正则化项用于基于ha-nerf方法约束遮挡物掩盖项；第二正则化项用于约束残差球谐系数；约束项用于惩罚在投影后落在静态内容对应的区域内的透射率。
8、在一种可能的实现方式中，球谐系数预测器，用于根据外观编码信息、三维高斯模型当前的球谐系数以及中心位置系数，得到残差球谐系数。
9、第二方面，本申请提供一种场景重装置，包括：获取模块，用于根据待重建场景获取第一图片，第一图片中存在至少一张含有遮挡信息的图片；处理模块，用于将第一图片输入场景重建模型得到第一点云；其中，场景重建模型包括遮挡预测器、球谐系数预测器和三维高斯模型；遮挡预测器用于提取第一图片中的遮挡信息所对应的外观编码信息；球谐系数预测器用于根据外观编码信息得到三维高斯模型的残差球谐系数，残差球谐系数用于叠加至三维高斯模型当前的球谐系数，以更新三维高斯模型；重建模块，用于将待重建场景对应的点云输入图形处理单元进行光栅化渲染，得到待重建场景的场景重建结果；待重建场景对应的点云包括第一点云。
10、第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面以及第一方面各种可能的设计的场景重建方法。
11、第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计的工作流调用方法。
12、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计的工作流调用方法。
13、本申请提供的场景重建方法、装置、电子设备、存储介质及产品，通过根据待重建场景通过遮挡预测器对输入的图片进行准确的外观信息编码，同时基于球谐系数预测器根据得到的准确的外观编码信息对残差球谐系数进行计算，将计算结果与当前的球谐系数进行叠加得到更新的三维高斯模型；之后，将通过场景重建模型得到的点云输入到图形处理单元进行光栅化渲染得到准确的场景重建结果。本申请的方案通过设置遮挡预测器和球谐系数预测器可以准确的预测图片的遮挡信息，优化场景构建模型，从而即便针对输入图片存在遮挡的情况，仍可实现准确可靠地重建场景。
本文档来自技高网...【技术保护点】
1.一种场景重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述遮挡预测器包括：第一特征提取器、通道注意力模块、空间注意力模块以及外观编码器；其中，
4.根据权利要求3所述的方法，其特征在于，所述通道注意力模块包括平均池化层、最大池化层、以及第一多层感知器；其中，
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述损失函数包括：遮挡物掩盖项、第一正则化项、第二正则化项、约束项；其中，
7.根据权利要求1-6任一项所述的方法，其特征在于，所述球谐系数预测器，用于根据所述外观编码信息、所述三维高斯模型当前的球谐系数以及中心位置系数，得到所述三维高斯模型的残差球谐系数。
8.一种场景重建装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
10.一种计算机可读存储介质，其特征在于，所述计算机
11.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种场景重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述遮挡预测器包括：第一特征提取器、通道注意力模块、空间注意力模块以及外观编码器；其中，
4.根据权利要求3所述的方法，其特征在于，所述通道注意力模块包括平均池化层、最大池化层、以及第一多层感知器；其中，
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述损失函数包括：遮挡物掩盖项、第一正则化项、第二正则化项、约束项；其中，
7.根据权利要求1-...
【专利技术属性】
技术研发人员：齐越，王宇泽，杨朔，王蒙，曾令恺，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。