【技术实现步骤摘要】
本专利技术涉及虚拟现实建模，具体地，涉及一种基于手机相机众包数据的nerf实景建模方法及系统，同时涉及一种相应的计算机终端和计算机可读存储介质。
技术介绍
1、nerf神经网络作为一种3d建模的全新技术，具有速度快，建模精良的优点，在包括室内场景建模、实景三维建模的诸多领域得以广泛运用，也是未来虚拟现实技术、数字孪生技术实现的基础。但nerf神经网络技术在实景3d地图并未有相关运用，其原因部分在于数据来源的不足。因此，有必要使用手机相机采集众包数据的方式将nerf神经网络技术运用于实景3d地图的建模过程中。
2、经过检索发现，申请号为202110427891.9的中国专利技术专利申请《基于手机众包成像终端的室内地下应急场景三维建模方法》，该方法基于众包感知数据重建室内的固定封闭场景，但是无法实现对于动态街景的语义分割和开阔场景建模；同时该方法众包数据来源较为单一、规律性强、数据量少，对于来源广泛、语义复杂、采集量大的室外街景众包数据处理不适用。
技术实现思路
1、本专利技术针对现有技术中存在的上述不足，提供了一种基于手机相机众包数据的nerf实景建模方法及系统，同时提供了一种相应的计算机终端和计算机可读存储介质。
2、根据本专利技术的一个方面，提供了一种基于手机相机众包数据的nerf实景建模方法，包括：
3、基于手机相机获取实时环境图片，并形成众包数据；
4、对所述众包数据中的图片进行坐标对齐处理；
5、对对齐后的图片进行
6、优选地，所述基于手机相机获取实时环境图片，并形成众包数据，包括：
7、采用手机相机获取实时环境图片；
8、对所述实时环境图片进行脱敏处理，并结合与图片相关的其他信息数据，形成众包数据；
9、将所述众包数据上传至云端。
10、优选地，所述实时环境图片，包括：多个不同角度、不同高度角的拍摄者周围实时图像数据；其中，还包括对拍摄者周围实时图像数据进行如下图像处理：利用特征点匹配的方法，估计帧与帧之间的运动，进行图像对齐和稳定化处理；
11、优选地，所述脱敏处理，包括：将所述实时环境图片中的敏感信息打上马赛克。
12、优选地，所述与图片相关的其他信息数据，包括：拍摄者定位信息。
13、优选地，所述对所述众包数据中的图片进行坐标对齐处理，包括：
14、对所述众包数据中的实时环境图片进行几何上的对齐处理，使得图片分别在空间上对应到实际地理位置，得到车道级定位结果；
15、分析所述众包数据中的实时环境图片序列，估计手机相机的运动轨迹，构建稀疏的特征点地图；
16、在所述稀疏的特征点地图的基础上，通过位姿图优化方法，结合所述车道级定位结果，确定手机相机的初步位置，进而完成对所述众包数据中的图片的坐标对齐处理。
17、优选地，所述对所述众包数据中的实时环境图片进行几何上的对齐处理，使得图片分别在空间上对应到实际地理位置，包括：
18、根据众包数据上传时的gps或者基站信号，获取到拍摄地点设定距离阈值上的一个位置，作为初始位置；
19、根据所述初始位置，将周围视觉特征与导航地图中的特征通过神经网络的方式进行对齐，将周围视觉特征锁定到导航地图的路网上，实现图片分别在空间上对应到实际地理位置，得到车道级定位结果。
20、优选地，所述分析所述众包数据中的实时环境图片序列，估计相机的运动轨迹，构建稀疏的特征点地图，包括：
21、利用视觉slam技术，对采集的实时环境图片进行语义分割，通过深度学习模型，将实时环境图片中的每个像素分类到不同的语义类别(上，区分动态物体和静态环境，并移除动态物体的像素，得到语义分割结果；
22、利用所述语义分割结果指导特征点的匹配，将所有实时环境图片对齐并匹配到一个统一的全局坐标系中。
23、优选地，所述通过位姿图优化方法，结合所述车道级定位结果，确定手机相机的初步位置，进而完成对所述众包数据中的图片的坐标对齐处理，包括：
24、通过手机相机的外参进行逆透视变换投影，以估算地面的深度，得到估算的深度值；
25、将所述估算的深度值作为特征点在空间中的位置先验，为全局优化提供一致的尺度信息；
26、结合所述车道级定位结果，确定手机相机的初步位置，通过集束优化(bundleadjustment)的方式，对手机相机的位置和方向(位姿)进行优化，使得重投影的误差最小化，完成对所述众包数据中的图片的坐标对齐处理。
27、优选地，所述对对齐后的图片进行预处理，并输入至一神经辐射场景模型中，对所述神经辐射场景模型进行训练，得到训练后的nerf模型，包括：
28、针对某个特定的场景点，利用多视角的对齐后的图片，对动态物体进行替换，得到初步预处理图片；
29、获取地面的深度信息；
30、对所述初步预处理图片进行风格处理，得到预处理后图像；
31、提供一神经辐射场模型，利用所述预处理后图像和所述地面的深度信息对所述神经辐射场模型进行训练，得到训练后的nerf模型。
32、优选地，所述获取地面的深度信息，包括：
33、利用所述对齐后的图片的语义分割结果，提取出标记为地面的区域，并将估计的深度值应用于这些地面区域，生成对应的深度图；
34、对所述深度图进行滤波和平滑处理，得到地面的深度信息。
35、根据本专利技术的另一个方面，提供了一种基于手机相机众包数据的nerf实景建模系统，包括：
36、数据采集模块，该模块基于手机相机获取实时环境图片，并形成众包数据；
37、数据对齐模块，该模块用于对所述众包数据中的图片进行坐标对齐处理；
38、nerf实景建模模块，该模块用于对对齐后的图片进行预处理，并输入至一神经辐射场景模型中，对所述神经辐射场景模型进行训练，得到训练后的nerf模型，利用nerf模型生成渲染图像，完成nerf实景建模。
39、根据本专利技术的第三个方面，提供了一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，该处理器执行该计算机程序时可用于执行本专利技术上述中任一项所述的方法，或，运行本专利技术上述中所述的系统。
40、根据本专利技术的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时可用于执行本专利技术上述中任一项所述的方法，或，运行本专利技术上述中所述的系统。
41、由于采用了上述技术方案，本专利技术与现有技术相比，具有如下至少一项的有益效果：
42、本专利技术提供的基于手机相机众包数据的nerf实景建模方法及系本文档来自技高网...
【技术保护点】
1.一种基于手机相机众包数据的NeRF实景建模方法，其特征在于，包括：
2.根据权利要求1所述的基于手机相机众包数据的NeRF实景建模方法，其特征在于，所述基于手机相机获取实时环境图片，并形成众包数据，包括：
3.根据权利要求2所述的基于手机相机众包数据的NeRF实景建模方法，其特征在于，还包括如下任意一项或任意多项；
4.根据权利要求1所述的基于手机相机众包数据的NeRF实景建模方法，其特征在于，所述对所述众包数据中的图片进行坐标对齐处理，包括：
5.根据权利要求4所述的基于手机相机众包数据的NeRF实景建模方法，其特征在于，还包括如下任意一项或任意多项：
6.根据权利要求1所述的基于手机相机众包数据的NeRF实景建模方法，其特征在于，所述对对齐后的图片进行预处理，并输入至一神经辐射场景模型中，对所述神经辐射场景模型进行训练，得到训练后的NeRF模型，包括：
7.根据权利要求6所述的基于手机相机众包数据的NeRF实景建模方法，其特征在于，所述获取地面的深度信息，包括：
8.一种基于手机相机众包数
9.一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，该处理器执行该计算机程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
...【技术特征摘要】
1.一种基于手机相机众包数据的nerf实景建模方法，其特征在于，包括：
2.根据权利要求1所述的基于手机相机众包数据的nerf实景建模方法，其特征在于，所述基于手机相机获取实时环境图片，并形成众包数据，包括：
3.根据权利要求2所述的基于手机相机众包数据的nerf实景建模方法，其特征在于，还包括如下任意一项或任意多项；
4.根据权利要求1所述的基于手机相机众包数据的nerf实景建模方法，其特征在于，所述对所述众包数据中的图片进行坐标对齐处理，包括：
5.根据权利要求4所述的基于手机相机众包数据的nerf实景建模方法，其特征在于，还包括如下任意一项或任意多项：
6.根据权利要求1所述的基于手机相机众包数据的nerf实景建模方法，其特征在于，所述对对...
【专利技术属性】
技术研发人员：杨明，徐欣颜，庄瀚洋，季诺澄，戚治齐，王春香，王冰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。