【技术实现步骤摘要】
本专利技术涉及三维重建，尤其涉及一种基于bim模型深度信息的nerf模型优化及渲染方法。
技术介绍
1、近年来，随着深度学习的快速发展，神经网络在计算机图形学领域，特别是在三维空间信息的表示与重建中展现出了前所未有的潜力。神经辐射场（nerf）作为其中的重要技术之一，利用神经网络隐式地表示三维空间，能够在任意分辨率下采样，与传统的点云、体素、网格等离散表示方法相比，基于隐函数的神经表示能够更加精确地捕捉和渲染复杂的三维场景，实现了高精度的三维重建效果。基于nerf的三维场景重建技术已经是近年来一项前沿、热门的研究领域，它采用一种隐式表示存储场景模型，对遥感数据或地面视觉数据进行处理，使用深度全连接网络渲染3d模型和场景。
2、但是，在现有技术中，nerf模型的构建需要大量的高质量图像数据作为输入，对于一些复杂的场景或环境获取足够的多视角图像数据可能存在困难，而且在一些细节复杂的区域，重建质量无法达到理想水平，在某些情况下可能会产生一些失真或伪影。
3、因此，寻找一种既能够实现高精度三维场景重建，又能提高三维场景重建效率的方法，是本领域技术人员亟待解决的技术问题。
技术实现思路
1、有鉴于此，本专利技术提出了一种基于bim模型深度信息的nerf模型优化及渲染方法，其能够利用bim模型的深度信息辅助nerf模型建模，增强nerf模型对场景几何信息的捕捉能力，并采用多模型积分融合的渲染策略对基于bim模型深度信息的nerf模型进行渲染，在保证渲染质量的同时,也兼顾
2、本专利技术的技术方案是这样实现的：本专利技术提供了一种基于bim模型深度信息的nerf模型优化及渲染方法，包括以下步骤：
3、s1、设置bim模型在世界坐标系下的位姿，并根据bim模型在世界坐标系下的位姿设置相机位姿；
4、s2、根据相机位姿生成当前位姿的相机影像，利用当前位姿的相机影像和射线采样点方法基于bim模型的深度信息进行建模，生成基于bim模型深度信息的nerf模型；
5、s3、使用多模型积分融合的渲染策略对基于bim模型深度信息的nerf模型进行渲染，生成当前相机位姿的融合影像。
6、在以上技术方案的基础上，优选的，步骤s2具体包括：
7、s21、根据相机位姿获取当前位姿的相机影像，并获取相机参数和多个bim模型的深度信息；
8、s22、使用射线采样点方法对当前位姿的相机影像进行第一次采样，得到相机影像的若干射线；其中，每条射线上设有若干采样点；
9、s23、根据当前位姿的相机影像生成标准nerf模型的网络结构，并初始化标准nerf模型的网络参数；
10、s24、根据当前位姿的相机影像、采样点和bim模型的深度信息构建联合损失函数；
11、s25、基于联合损失函数进行建模，生成基于bim模型深度信息的nerf模型。
12、在以上技术方案的基础上，优选的，步骤s24具体包括：
13、s241、根据当前位姿的相机影像和采样点，使用l2损失计算相机影像的颜色损失项；
14、s242、利用bim模型的深度信息计算相机影像的深度损失项；
15、s243、根据所述颜色损失项和深度损失项构建联合损失函数。
16、在以上技术方案的基础上，优选的，步骤s241具体包括：
17、使用标准的nerf模型对每条射线上的采样点进行颜色预测，得到预测颜色；
18、根据当前位姿的相机影像获取每条射线上采样点的真实颜色；
19、使用l2损失计算预测颜色和真实颜色之间的差异，得到颜色损失项。
20、在以上技术方案的基础上，优选的，所述颜色损失项的计算公式如下：
21、；
22、其中，表示第r条射线的颜色损失项，表示第r条射线的预测颜色，表示第r条射线的真实颜色，表示l2损失。
23、在以上技术方案的基础上，优选的，所述深度损失项的计算公式如下：
24、；
25、；
26、；
27、其中，表示第r条射线的深度损失项，k表示一条射线上采样点的数量，表示权重，i表示第i个采样点，表示第r条射线上所有采样点的标准方差，表示第r条射线上所有采样点的目标深度，表示第r条射线上所有采样点的预测标准方差，表示第r条射线上所有采样点的预测深度，表示采样点位置。
28、在以上技术方案的基础上，优选的，步骤s3具体包括：
29、s31、设置渲染相机的位姿，并获取渲染相机的参数；
30、s32、任意选取相机上的一条渲染射线，所述渲染射线在每条渲染射线上进行第二次采样，得到若干采样点；
31、s33、分别计算每个采样点在每个nerf模型的体密度和颜色值，并使用体密度的最优nerf模型选择策略进行积分体渲染；
32、s34、重复步骤s32-s33直至相机上所有渲染射线均进行积分体渲染，得到当前相机位姿的融合影像。
33、更进一步优选的，所述第二次采样包括精采样和粗采样，其中粗采样为64点粗采样，精采样为128点精采样。
34、在以上技术方案的基础上，优选的，步骤s33具体包括：
35、计算每个粗采样点在每个nerf模型中的体密度和颜色值；
36、根据分布的概率密度函数，计算每个精采样点在每个nerf模型中的体密度和颜色值；
37、比较每条渲染射线上粗采样点在nerf模型中的体密度和精采样点在nerf中的体密度，选择体密度最大的nerf模型作为体密度的最优nerf模型；
38、根据体密度的最优nerf模型的体密度和颜色值对渲染射线进行积分体渲染。
39、在以上技术方案的基础上，优选的，所述积分体渲染的公式为：
40、；
41、；
42、；
43、其中，表示体密度的最优nerf模型的颜色值，k表示一条射线上采样点的数量，表示权重，表示第i个采样点到第i+1个采样点之间的长度，表示体密度的最优nerf模型的体密度，表示第j个采样点到第j+1个采样点之间的距离，表示第0个采样点到第i个采样点之间的累计透射率。
44、本专利技术的nerf模型优化及渲染方法相对于现有技术具有以下有益效果：
45、通过利用bim模型的深度信息辅助nerf模型进行建模，增强nerf模型对场景几何信息的捕捉能力，并采用多模型积分融合的渲染策略对基于bim模型深度信息的nerf模型进行渲染，在保证渲染质量的同时,也兼顾了渲染的计算效率；
46、通过射线采样点方法构建了基于bim深度信息的nerf模型，在保持nerf模型灵活性的同时，利用bim深度信息提高三维场景重建的精度，最大限度地利用了bim模型提供的先验信息,提高nerf模型的收敛速度和三维场景重建效果；
47、通过本文档来自技高网...
【技术保护点】
1.一种基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，步骤S2具体包括：
3.如权利要求2所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，步骤S24具体包括：
4.如权利要求3所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，步骤S241具体包括：
5.如权利要求4所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，所述颜色损失项的计算公式如下：
6.如权利要求3所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，所述深度损失项的计算公式如下：
7.如权利要求2所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，步骤S3具体包括：
8.如权利要求7所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，所述第二次采样包括精采样和粗采样，其中粗采样为64点粗采样，精采样为1
9.如权利要求8所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，步骤S33具体包括：
10.如权利要求9所述的基于BIM模型深度信息的NeRF模型优化及渲染方法，其特征在于，所述积分体渲染的公式为：
...【技术特征摘要】
1.一种基于bim模型深度信息的nerf模型优化及渲染方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于bim模型深度信息的nerf模型优化及渲染方法，其特征在于，步骤s2具体包括：
3.如权利要求2所述的基于bim模型深度信息的nerf模型优化及渲染方法，其特征在于，步骤s24具体包括：
4.如权利要求3所述的基于bim模型深度信息的nerf模型优化及渲染方法，其特征在于，步骤s241具体包括：
5.如权利要求4所述的基于bim模型深度信息的nerf模型优化及渲染方法，其特征在于，所述颜色损失项的计算公式如下：
6.如权利要求3所述的基于bim模型深...
【专利技术属性】
技术研发人员：洪勇，谢田晋，陈新，罗书培，罗冷坤，邹炎，
申请(专利权)人：武汉光谷信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。