【技术实现步骤摘要】
本专利技术属于三维建模，具体涉及一种基于des-nerf(depth&edge losssupervision neural radiance fields，深度与边缘监督的神经辐射场)的透明表面后场景重建方法及装置。
技术介绍
1、抗锯齿神经辐射场采用了锥体采样策略，以合成高质量的抗锯齿图像。为了进一步优化大场景的坐标处理，抗锯齿神经辐射场采用了球面参数化策略。这种策略通过将无界场景坐标收缩到有界范围内，使得神经辐射场能够计算大规模场景。此外，抗锯齿神经辐射场引入了多尺度采样策略，有效平衡了抗锯齿和图像清晰度，并通过哈希编码技术将训练数据进行编码和索引，大大减少了训练过程中的数据访问和处理时间，使得抗锯齿神经辐射场在图像质量和训练速度方面实现了显著提升。
2、现有的基于抗锯齿神经辐射场的重建方法一般有nerfren(neural radiancefields with reflections)、ners(neural reflectance surfaces)和nerrf(neuralrefractive-reflective fields)。其中，nerfren是一种用于处理复杂反射场景的新视角合成方法。通过将场景分解为透射和反射两个部分，并分别用不同的神经辐射场来建模，更准确地处理反射区域的深度估计和视图合成，并利用深度平滑性和双向深度一致性约束来引导分解过程，解决了场景分解的欠约束问题，从而解决了nerf(神经辐射场)在处理复杂反射时的局限性。ners通过学习神经双向表面反射函数(brdfs)，将视图
3、然而上述重建方法中均存在一些缺点。nerfren需要手动标注透反射区域，过程十分耗时，且无法导出完整的场景模型。这意味着尽管能够生成高质量的视觉效果，但无法进一步用于物理模拟、虚拟现实或其他需要精确几何信息的应用。ners对复杂拓扑结构的重建能力有限，这使得它难以应对具有丰富几何细节和复杂表面特性的场景。nerrf仅依赖轮廓作为神经辐射场重建的监督时，可能会遇到一些挑战。轮廓信息虽然能够提供物体的大致形状，但不足以捕捉物体的复杂几何结构和表面细节。这可能导致重建的几何形状不够准确，尤其是在处理非顶点物体时，更容易出现该问题。此外，nerrf在处理具有复杂光照和遮挡关系的物体时，也可能会遇到困难。这是因为轮廓信息本身并不足以完全描述物体的三维结构，特别是在光照变化或遮挡情况下，轮廓可能会变得模糊不清。
技术实现思路
1、为了解决现有技术中所存在的上述问题，本专利技术提供了一种基于des-nerf的透明表面后场景重建方法及装置。
2、本专利技术要解决的技术问题通过以下技术方案实现：
3、第一方面，本专利技术提供了一种基于des-nerf的透明表面后场景重建方法，所述透明表面后场景重建方法包括：获取多张可见光图像对应的相机信息和真实深度图；所述多张可见光图像是相机在多个视角下对目标场景拍摄的多张图像；
4、将各可见光图像对应的相机信息和真实深度图输入神经辐射场中，并利用预构建的损失函数监督所述神经辐射场训练，在迭代更新所述神经辐射场的网络参数的次数达到预设次数后，所述神经辐射场输出所述目标场景中每个采样点的体密度和颜色；其中，所述损失函数是基于绝对深度误差损失和深度边缘感知损失构建的；所述绝对深度误差损失基于各可见光图像对应的真实深度图中每个像素点的真实深度值和各可见光图像对应的预测深度图中每个像素点的预测深度值计算得到；所述深度边缘感知损失基于各可见光图像对应的真实深度图和各可见光图像对应的预测深度图利用sobel算子计算得到；各可见光图像对应的预测深度图由所述神经辐射场对所述目标场景中的每个采样点进行光线预测得到；
5、对所述目标场景中每个采样点的体密度和颜色进行转化，得到重建后的目标场景。
6、可选的，获取多张可见光图像对应的相机信息和真实深度图，包括：
7、获取目标场景的可见光图像序列；所述可见光图像序列包括相机在多个视角下对所述目标场景拍摄的多张可见光图像；
8、利用运动恢复结构对所述可见光图像序列进行处理，生成所述目标场景的三维点云和各可见光图像对应的相机信息；
9、根据所述三维点云和各可见光图像对应的相机信息计算得到真实深度图。
10、可选的，对所述目标场景中每个采样点的体密度和颜色进行转化，得到重建后的目标场景，包括：
11、使用截断有距离符号函数对所述目标场景中每个采样点的体密度和颜色进行转化，得到重建后的目标场景。
12、可选的，所述损失函数为：
13、l＝αlrec+βlabs+γledge；
14、其中，l表示总损失；lrec表示除labs和ledge外的其他损失；labs表示所述绝对深度误差损失；ledge表示所述深度边缘感知损失；α、β、γ均为预设权重。
15、可选的，所述绝对深度误差损失的计算方式为：
16、
17、其中，表示第i个可见光图像对应的预测深度图中每个像素点的预测深度值；表示第i个可见光图像对应的真实深度图中每个像素点的真实深度值。
18、可选的，所述深度边缘感知损失的计算方式为：
19、
20、其中，n表示可见光图像的总数量；表示第i个可见光图像对应的预测深度图；表示第i个可见光图像对应的真实深度图；g(·)为所述sobel算子。
21、第二方面，本专利技术提供了一种基于des-nerf的透明表面后场景重建装置，所述透明表面后场景重建装置包括：
22、获取模块，用于获取多张可见光图像对应的相机信息和真实深度图；所述多张可见光图像是相机在多个视角下对目标场景拍摄的多张图像；
23、神经辐射场训练模块，用于将各可见光图像对应的相机信息和真实深度图输入神经辐射场中，并利用预构建的损失函数监督所述神经辐射场训练，在迭代更新所述神经辐射场的网络参数的次数达到预设次数后，所述神经辐射场输出所述目标场景中每个采样点的体密度和颜色；其中，所述损失函数是基于绝对深度误差损失和深度边缘感知损失构建的；所述绝对深度误差损失基于各可见光图像对应本文档来自技高网...
【技术保护点】
1.一种基于DES-NeRF的透明表面后场景重建方法，其特征在于，所述透明表面后场景重建方法包括：
2.根据权利要求1所述的透明表面后场景重建方法，其特征在于，获取多张可见光图像对应的相机信息和真实深度图，包括：
3.根据权利要求1所述的透明表面后场景重建方法，其特征在于，对所述目标场景中每个采样点的体密度和颜色进行转化，得到重建后的目标场景，包括：
4.根据权利要求1所述的透明表面后场景重建方法，其特征在于，所述损失函数为：
5.根据权利要求4所述的透明表面后场景重建方法，其特征在于，所述绝对深度误差损失的计算方式为：
6.根据权利要求4所述的透明表面后场景重建方法，其特征在于，所述深度边缘感知损失的计算方式为：
7.一种基于DES-NeRF的透明表面后场景重建装置，其特征在于，所述透明表面后场景重建装置包括：
8.根据权利要求7所述的透明表面后场景重建装置，其特征在于，所述获取模块，具体用于：
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的透明表面后场景重建方法。
...【技术特征摘要】
1.一种基于des-nerf的透明表面后场景重建方法，其特征在于，所述透明表面后场景重建方法包括：
2.根据权利要求1所述的透明表面后场景重建方法，其特征在于，获取多张可见光图像对应的相机信息和真实深度图，包括：
3.根据权利要求1所述的透明表面后场景重建方法，其特征在于，对所述目标场景中每个采样点的体密度和颜色进行转化，得到重建后的目标场景，包括：
4.根据权利要求1所述的透明表面后场景重建方法，其特征在于，所述损失函数为：
5.根据权利要求4所述的透明表面后场景重建方法，其特征在于，所述绝对深度误差损失的计算方式为：
6.根据权利要求4所...
【专利技术属性】
技术研发人员：吴鑫，林晓艳，郭昭祥，时宇昂，杨琛，栾超，高润，侯玮旻，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。