一种无人机影像的高精度大场景三维建模方法技术

本发明专利技术公开了一种无人机影像的高精度大场景三维建模方法，共计三个步骤，本方法避开了采用传统倾斜摄影测量三维建模的方法，将无人机航拍影像集按圆形的环绕航迹进行划分，对划分后的影像集，通过特征提取与匹配和几何验证后，使用SFM算法恢复无人机相机的位姿，然后训练子NeRF，最后将目标视角周围的子NeRF合并，完成大场景三维模型的隐式构建；通过实验测试，达到了很好的效果，可以很好地重建光滑表面和横截面小的地物。表面和横截面小的地物。表面和横截面小的地物。

【技术实现步骤摘要】
一种无人机影像的高精度大场景三维建模方法


[0001]本专利技术涉及三维建模
，尤其涉及一种无人机影像的高精度大场景三维建模方法。

技术介绍

[0002]实景三维能够真实、有序地反映人类生产、生活和生态空间的大规模时空信息，是推动智慧城市和智能数字经济发展的重要新型集成系统。三维场景构建将传统的2D数据扩展到3D数据并作为核心数据结构来实现实景环境，代替了传统的点、线、面的纯几何可视化架构。实景三维使计算机能够全面、立体地呈现与感知各种自然资源要素的现状和空间分布，此外，还能够以高清、可视化的方式准确反映地形的空间分布、表面纹理细节以及地物的形态特征等信息。因此，实景三维模型构建是支撑遥感测绘理论和应用问题的新兴技术，具有重要的科研价值和现实意义，对数字孪生、元宇宙的发展提供了技术支撑。此外，实景三维建模在城市规划、CIM、城市交通、地质测绘、无人驾驶和虚拟地理环境等领域也得到了广泛应用。
[0003]随着地理信息数据获取手段日益丰富，通过不同数据源来构建三维场景的建模方法也层出不穷。常用三维建模方法有以下几种，例如通过Sketchup、3dMax等软件进行手动建模，以及通过Revit等软件手动构建BIM，该方法得到的模型虽然足够精细，但费时费力，效率低下，难以满足大范围场景建模的需求。或通过拉伸CAD软件中二维矢量面状建筑物到该建筑物高度得到建筑白膜的方法，该方法虽然不需要人工手动建模，但建筑物高度难以获得准确数据，并且模型缺乏纹理和形状。再有就是激光点云建模，多是通过机载激光雷达构建目标物体点云再生成三角面格网，这种方法抗光照、风速干扰能力强，精度高，但成本高，数据噪声问题和数据不一致问题仍是挑战。还有由移动的车辆捕获的街景图片建模、航空摄影测量建模等，但它们均不能重建相对完整的三维场景。至于通过网络众包途径获取的图像来进行三维建模重建效果则严重依赖于网络图片对场景的覆盖程度。
[0004]因此，本领域的技术人员致力于开发一种无人机影像的高精度大场景三维建模方法，以解决上述现有技术的不足。

技术实现思路

[0005]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是传统摄影测量三维建模不能很好重建光滑表面、横截面小的地物的缺陷问题。
[0006]为实现上述目的，本专利技术提供了一种无人机影像的高精度大场景三维建模方法，所述方法包括以下步骤：
[0007]步骤1、无人机影像的获取与处理；
[0008]步骤2、单个NeRF的构建；
[0009]步骤3、合并先前构建的NeRF，得到任意视角下的三维场景；
[0010]进一步地，对于步骤1，所述无人机影像的获取与处理按照顺序可分为无人机航拍
影像、划分影像集、批量导入影像、提取影像特征、匹配影像特征、几何验证、提取相机位姿；
[0011]所述划分影像集的划分标准为需覆盖一定的场景，且子集与相邻子集之间有较高的重叠度；所述子集由无人机环绕航线的轨迹划分而成，每一个圆形航线中拍摄的无人机影像为一个子集；
[0012]所述提取影响特征使用到SIFT算法(尺度不变特征变换，Scale Invariant Feature Transform)提取无人机航拍影像的影像特征，使用SIFTGPU显卡加速达到实时的计算速度；所述SIFT算法在不同的尺度空间上查找特征点，计算特征点的方向，同时生成描述子；
[0013]所述匹配影响特征使用到Brute
‑
force算法用于特征点匹配，Brute
‑
force算法遍历每对特征点，计算每对特征点之间的距离，根据阈值确定每对特征点是否为匹配对；对于无人机航空影像集合中的任意两幅影像，SiftGPU提取出的特征点和描述子经所述Brute
‑
force算法寻找匹配对；
[0014]所述几何验证使用到RANSAC算法随机选取匹配对，计算出拟合矩阵，通过计算拟合误差来确定匹配对是否合理；所述几何验证能够有效提高匹配精度，避免匹配错误；
[0015]所述提取相机位姿使用到增量式SFM算法用于计算相机位姿；所述增量式SFM算法可逐步进行三维重建，有效处理大规模的图像序列；所述增量式SFM算法可分为初始化、增量重建；所述初始化包括三角化、本质矩阵分解；
[0016]进一步地，对于步骤2，所述单个NeRF的构建通过预先构建全连接神经网络(MLP)并设定多分辨率哈希编码、球谐函数编码规则；所述单个NeRF的构建使处于不同位置和朝向的相机拍摄的影像的每个像素发射射线，在射线上进行粗采样；将所述采样点的坐标编码后与外观嵌入向量一起输入全连接神经网络，进行一轮细采样；利用一轮细采样的所述采样点的概率密度函数指导第二轮细采样，将采样点的坐标编码后与外观嵌入向量一起输入全连接神经网络，输出每个采样点的颜色与体密度；将第二轮细采样的所述采样点的颜色通过体渲染累积积分得到每条射线对应的像素颜色，并与真实值作比较计算LOSS，不断迭代该过程，直到LOSS降低到较低的值；
[0017]进一步地，对于步骤3，所述合并先前构建的NeRF的流程为选取子NeRF、渲染目标视角图像；所述选取子NeRF规则为以给定目标视角为圆心，以预先设定的半径作圆，若子NeRF的原点投影在圆内，那么子NeRF则被选取；所述渲染目标视角图像选用IDW反距离加权算法对渲染目标视角的图像之间进行插值；
[0018]进一步地，对于步骤3，将多个所述目标视角的图像连接形成轨迹，即可达到在三维空间中漫游的效果；
[0019]采用以上方案，本专利技术公开的一种无人机影像的高精度大场景三维建模方法，具有以下优点：
[0020](1)本专利技术的一种无人机影像的高精度大场景三维建模方法，选用无人机航拍影像作为数据源，充分利用无人机影像空间分辨率高、成像范围广和重叠率高的优点进行影像获取。
[0021](2)本专利技术的一种无人机影像的高精度大场景三维建模方法，避开了采用传统倾斜摄影测量三维建模的方法，而是提出了新的通过构建神经辐射场NeRF来重建大范围的三
维模型的方案，对无人机航拍影像集划分后进行特征提取匹配与几何验证，训练子NeRF，最后将子NeRF合并，完成大场景三维模型的隐式构建。
[0022]综上所述，本专利技术公开的一种无人机影像的高精度大场景三维建模方法，避开了采用传统倾斜摄影测量三维建模的方法，将无人机航拍影像集按圆形的环绕航迹进行划分，对划分后的影像集，通过特征提取与匹配和几何验证后，使用SFM算法恢复无人机相机的位姿，然后训练子NeRF，最后将目标视角周围的子NeRF合并，完成大场景三维模型的隐式构建；通过实验测试，达到了很好的效果，可以很好地重建光滑表面和横截面小的地物。
[0023]以下将结合具体实施方式对本专利技术的构思、具体技术方案及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。
附图说明
[0024]图1为本专利技术一种无人机影像的高精度大场景三维建模方法的流程图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机影像的高精度大场景三维建模方法，其特征在于，所述方法包括以下步骤：步骤1、无人机影像的获取与处理；步骤2、单个NeRF的构建；步骤3、合并先前构建的NeRF，得到任意视角下的三维场景。2.如权利要求1所述一种无人机影像的高精度大场景三维建模方法，其特征在于，对于步骤1，所述无人机影像的获取与处理按照顺序可分为无人机航拍影像、划分影像集、批量导入影像、提取影像特征、匹配影像特征、几何验证、提取相机位姿。3.如权利要求2所述一种无人机影像的高精度大场景三维建模方法，其特征在于，所述划分影像集的划分标准为需覆盖一定的场景，且子集与相邻子集之间有较高的重叠度；所述子集由无人机环绕航线的轨迹划分而成，每一个圆形航线中拍摄的无人机影像为一个子集；所述提取影响特征使用到SIFT算法提取无人机航拍影像的影像特征，使用SIFTGPU显卡加速达到实时的计算速度；所述SIFT算法在不同的尺度空间上查找特征点，计算特征点的方向，同时生成描述子；所述匹配影响特征使用到Brute
‑
force算法用于特征点匹配，Brute
‑
force算法遍历每对特征点，计算每对特征点之间的距离，根据阈值确定每对特征点是否为匹配对；对于无人机航空影像集合中的任意两幅影像，SiftGPU提取出的特征点和描述子经所述Brute
‑
force算法寻找匹配对；所述几何验证使用到RANSAC算法随机选取匹配对，计算出拟合矩阵，通过计算拟合误差来确定匹配对是否合理；所述几何验证能够有效提高匹配精度，避免匹配错误；所述提取相...

【专利技术属性】
技术研发人员：余卓渊，金鹏飞，石智杰，
申请(专利权)人：中国科学院地理科学与资源研究所，
类型：发明
国别省市：