【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体涉及一种基于神经辐射场的用于街景及移动车辆的可编辑自由视点视图合成方法。
技术介绍
1、人类可以在他们的脑海中构想未见的场景，这大大增强了学习的有效性。从这种能力中汲取灵感，自动驾驶领域的研究人员专注于创建包含合成车辆的虚拟环境以训练感知模型。广泛的研究表明，这种方法对于解决与3d视觉决策问题相关的挑战至关重要。
2、传统的3d仿真涉及到计算机辅助设计(cad)模型的使用。然而，仅使用cad模型生成广泛和多样的街景在实际操作中证明非常低效和成本高昂。当前，已经有部分学者使用基于2d图片的生成方法来合成可编辑的街道场景图片(wei li,cw pan,rong zhang,jpren,yx ma,jin fang,fl yan,qc geng,xy huang,hj gong,et al.aads:augmentedautonomous driving simulation using data-driven algorithms.science robotics,4(28):eaaw0863,2019)，使用拍摄的实景图片或者深度图作为场景的先验知识，这些方法依然在合成和3d信息有关的旋转，阴影遮挡关系等方面存在较大问题。最近一段时间，神经辐射场(ben mildenhall,pratul p.srinivasan,matthew tancik,jonathan t.barron,raviramamoorthi,and ren ng.nerf:representing scenes
3、上述研究致力于合成具有照片级真实感的街道场景图片。然而，神经辐射场模型的训练需要采集场景的多视角图片，由于现实世界环境的复杂性，街道场景经常出现光照的变化，动态物体的改变，环境外观的改变等等，这使得在采集多视角图片时的一致性难以得到保证，无法合成不同时间段和光照条件下的具有真实感的街道场景。因此，如何解耦环境的内在属性，以匹配不同的光照条件，仍然是一个亟待解决的问题。
技术实现思路
1、为了合成具有照片级真实感的街景，本专利技术提供了一种基于神经辐射场的用于街景及移动车辆的可编辑自由视点视图合成方法。
2、为了实现上述专利技术目的，本专利技术方法采用的技术方案如下：
3、一种用于街景及移动车辆的可编辑自由视点视图合成方法，包括如下步骤：
4、s1，获取街道场景图片数据集，计算出拍摄街道场景图片时的相机位姿及相机参数；利用法线和深度预测网络，得到基于图片预测的法线和深度先验条件；
5、s2，基于所述街道场景图片数据集，利用神经辐射场算法对街道场景建立街景神经辐射场模型，使用针对街道场景的多层感知机预测场景的内在属性参数；
6、s3，根据步骤s1中街道场景图片数据集中的图片和基于图片预测的法线和深度先验，构建街景神经辐射场模型数据；利用基于物理原理的渲染方法将场景光照和所述内在属性参数结合起来，渲染出街景图片，其中，使用一组球状高斯函数表征所述场景光照；利用先验的l1损失函数和图像的l2损失函数，训练所述街景神经辐射场模型；
7、s4，收集大量车辆的3d模型，构建三维虚拟车辆模型数据集，渲染出车辆模型的多视角图片；利用神经辐射场算法对车辆建立车辆神经辐射场模型；使用针对车辆的多层感知机预测车辆的内在属性参数；
8、s5，根据步骤s4中渲染的车辆模型的多视角图片，训练所述车辆神经辐射场模型，实现对车辆的三维重建；
9、s6，结合所述街景神经辐射场模型和车辆神经辐射场模型，采用混合光线追踪算法将两者的几何外形和内在属性根据深度关系融合起来，使用基于物理原理的渲染器，合成街景及移动车辆的可编辑自由视点视图。
10、本专利技术构建了一个三维虚拟车辆模型数据集，包含多种类型、颜色、年代的车辆模型，基于车辆和场景数据，实现了场景和车辆内在属性的解耦，将车辆和谐地插入到现实世界的街道场景中，进一步实现了高真实感的自由融合，可实现大范围，多角度，可变光照的自由视点渲染和场景编辑。本专利技术首次实现了基于神经辐射场的街景及移动车辆的可编辑自由视点视图合成，弥补了这方面的研究空白。所提出的方法可广泛应用于自动驾驶，影视制作，游戏开发等领域，具有较高的实用价值和发展前景。
本文档来自技高网...【技术保护点】
1.一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤S1中，街道场景图片数据集包含前方、左前方、左后方、右前方、右后方、后方6个方向的街景图片。
3.根据权利要求1所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤S2中，根据相机位姿及参数，利用光线追踪算法，对场景进行采样，得到一系列现实世界的三维空间坐标，作为所述街景神经辐射场模型的输入。
4.根据权利要求1所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤S2中，在所述场景神经辐射场模型中，利用哈希编码算法设计编码器，对输入的坐标进行编码，使用一个3层的多层感知机作为几何预测网络，预测得到场景体素密度，再通过另一个3层的多层感知机预测场景的内在属性参数，所述内在属性参数包括：基础颜色、粗糙度、金属度和法线。
5.根据权利要求4所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在
6.根据权利要求1所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤S3中，所述一组球状高斯函数为：
7.根据权利要求6所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤S3中，根据场景的内在属性参数，计算场景中各个表面的双向反射分布函数的函数值fr：
8.根据权利要求7所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤S3中，通过光线追踪的方法，使用体渲染公式，判断光线是否与场景中物体产生碰撞；若产生了碰撞，则该光线的可见度较低，在图像中对应位置产生阴影，数学表示如下：
9.根据权利要求5所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，将网络预测的深度和法线和预先计算得出的深度和法线先验之间求L1损失函数作为监督，另外，对于法线，增加根据体素密度提取出的法线作为额外监督，其公式表达为：
10.根据权利要求7所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，将使用基于物理原理渲染的颜色和图片中真实像素颜色之间求L2损失，损失函数为：
...【技术特征摘要】
1.一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤s1中，街道场景图片数据集包含前方、左前方、左后方、右前方、右后方、后方6个方向的街景图片。
3.根据权利要求1所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤s2中，根据相机位姿及参数，利用光线追踪算法，对场景进行采样，得到一系列现实世界的三维空间坐标，作为所述街景神经辐射场模型的输入。
4.根据权利要求1所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，所述步骤s2中，在所述场景神经辐射场模型中，利用哈希编码算法设计编码器，对输入的坐标进行编码，使用一个3层的多层感知机作为几何预测网络，预测得到场景体素密度，再通过另一个3层的多层感知机预测场景的内在属性参数，所述内在属性参数包括：基础颜色、粗糙度、金属度和法线。
5.根据权利要求4所述的一种用于街景及移动车辆的可编辑自由视点视图合成方法，其特征在于，基于所述场景体素密度，根据体渲染公式进行积分，计算场景...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。