面向野外未知环境的无人机影像快速三维重建方法技术

本发明专利技术公开了一种面向野外未知环境的无人机影像快速三维重建方法。该方法采用OpenMP多线程处理机制，对无人机回传图片Resize，对图片进行排序，采用并行网格式提取特征点，通过全局式运动恢复结构得到各个图像簇的稀疏点云，计算图像的深度图，通过图像Mask来约束感兴趣区域。基于深度图融合的方法，得到各个图像簇的稠密点云，合并各个簇的重建结果，得到整个场景的三维结构。本发明专利技术方法无需依赖复杂的图像采集设备及计算机设备即可实现，使用并行网格式特征提取，极大的提高了重建速度；通过点云分块与网格分块，减轻内存压力，加快了重建速度。

【技术实现步骤摘要】
面向野外未知环境的无人机影像快速三维重建方法
本专利技术涉及无人机
和三维重建领域，具体涉及一种面向野外未知环境的无人机影像快速三维重建方法。
技术介绍
当前，无人机在室外或者野外应用中，对一个场景实现快速的、全面的三维重建，在野外的林业资源保护、火灾和地震的灾后抢救、边境安防、油田或者海上平台油气设施、电力设施监测等领域都有十分重要的应用价值。对于野外场景的三维重建需求，如果基于卫星平台来实现，存在分辨率不足的问题，无法清晰构建出野外的三维场景。对于较精确的雷达激光扫描重建，既有造价昂贵的缺点，又十分笨重，在野外环境中进行三维重建十分不方便。传统的基于图像的三维重建方法大多存在运行时间长、时效性差、对设备要求高等缺点，无法满足抢险救灾、军事侦察、边境安防等快速重建的需求。针对这种需求下的快速甚至实时地三维重建，传统的方法并不能很好地解决这一问题。具体来说，传统的基于图像的三维重建方法存在如下三个方面的问题：(1)该类方法对于输入的图像数据质量要求很高，并且对于野外大场景的三维重建效果较差；(2)该类方法使用无人机进行三维重建的过程中，一般是先利用无人机全部拍摄完场景后，返回后，再对拍摄的图像进行处理，对拍摄的场景进行三维重建，不具备时效性；(3)无人机拍摄的图片分辨率很高，数据量大，传统的重建方法十分耗时，不能达到快速重建甚至实时重建的要求。因此，专利技术一种面向野外未知环境的无人机影像快速三维重建方法是十分有必要的，并且具备精确、廉价、快速等特点的野外场景三维重建方法可以应用到很多领域，具有重要的应用价值。
技术实现思路
本专利技术目的是公开一种面向野外未知环境的无人机影像快速三维重建方法。该方法通过无人机拍摄野外场景的图像，实时的将图片进行回传，在接收后，快速的进行三维重建，达到快速重建野外场景的目的。本专利技术公开了一种面向野外未知环境的无人机影像快速三维重建方法，其步骤包括：S1，首先通过无人机地面站对航拍区域进行划分，并对无人机的飞行路径进行之字形规划，无人机拍摄的正射影像完全覆盖所需拍摄的场景，进而利用无人机所携带的单个相机拍摄需重建场景的单目视觉图像序列，无人机在拍摄图像的过程中，实时将所拍摄图片与RTK信息回传给无人机地面站；S2，无人机地面站接收无人机拍摄的图片后，采用OpenMP多线程处理机制，对图片进行尺度缩放(Resize)，并提取图片中的GPS信息。S3，根据图片中的GPS信息，确定图片的邻接关系，对图片进行排序，并将图片按照每10张作为一个簇。S4，通过OpenMP多线程处理机制，并行地对每个簇中的图片进行网格式区域划分，提取每个网格区域中的特征点，并对特征点进行描述。S5，对图像每个网格区域中的特征点进行均匀化处理，即分别计算相邻特征点之间的欧式距离,如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，全部保留。S6，利用图像的中GPS信息作为先验信息，只对相邻的图像进行特征匹配；在匹配的过程中，对于误匹配的情况，采用随机抽样一致(RandomSampleConsensus,RANSAC)算法来剔除误匹配的点。S7，根据匹配的特征点，通过全局式运动恢复结构(StructureFromMotion，SFM)获取相邻图片之间的对应关系，初步获取相机在三维空间中的姿态和场景三维坐标。S8，根据图像中的GPS信息，利用光束法平差来优化相机姿态参数，得到各个图像簇的稀疏点云。S9，对各个簇的稀疏点云进行去噪，并对稀疏点云进行分块，将一整块大的点云数据切割成诸多小块。S10，采用边缘检测方法生成图像模板(Mask)，通过图像Mask来约束感兴趣区域。S11，基于深度图融合的方法，将各个深度图融合，得到各个图像簇的稠密点云。S12，在网格重建时，首先进行网格分块，再采用基于多视图几何算法进行网格重建，并对重建后的网格进行优化，以提高网格质量，增强三维重建细节。S13，对网格重建后的模型进行纹理贴图，附上纹理信息，复原真实的三维模型。S14，最后，合并各个簇的重建结果，得到整个场景的三维结构。下面详细阐述各个步骤：所述的步骤S1，无人机所搭载的相机需要带有RTK载波相位差分功能，无人机在拍摄场景时,同时可以记录拍摄点位的GPS信息。步骤S4所述的提取特征点的具体过程如下：S41，构造图像金字塔；S42，提取FAST角点；S43，利用灰度质心法，计算旋转角度；S44，计算旋转后的BRIEF描述子；S45，对每个簇中的图片进行提取特征点。所述的步骤S5，其计算图像每个网格区域中特征点之间的欧式距离，网格区域中两个特征点的坐标分别为M点(x1，y1)，N点(x2，y2)，那么这两特征点之间的欧式距离是：如果MN值小于10个像素，则删除其中任意一个特征点，如果MN值大于或等于10个像素，则全部保留这两个特征点，从而将图像每个网格区域中的特征点均匀化，确保整幅图片特征点更均匀。所述的步骤S6，采用快速层级哈希匹配方法对相邻图像之间进行特征匹配，利用局部敏感哈希将一个图像上的特征点映射成为一个哈希编码，在利用特征计算两幅图像之间匹配的时候，对于第一幅图像上的某个特征点，搜索第二幅图像上和该特征点哈希编码的欧式距离小于某个阈值的特征点，然后根据特征描述符的相似性和比率测试确定最终的匹配。步骤S6所述的随机抽样一致算法，其具体步骤包括：S61，首先从数据集中随机选出一组局内点，其数目要保证能够求解出模型的所有参数，计算出相应的模型参数。S62，用得到的模型去测试其他所有的数据点，如果某点的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，只保留目前为止局内点数目最多的模型，并将其记录为最佳模型。S63，重复执行步骤S61和步骤S62一定次数后，即达到预设的迭代次数后，使用最佳模型对应的局内点来最终求解模型参数，使用最小二乘法优化算法进行求解。S64，最后通过估计局内点与模型的错误率对进行模型评估，根据评估结果剔除误匹配的点。所述的步骤S7，在得到图像中特征点的匹配关系后，根据匹配的特征点，通过全局式运动恢复结构方法(StructureFromMotion，SFM)获取相邻图片之间的对应关系，依次建立局部图像和全局图像的相对旋转和平移矩阵，从而估算相机位姿和场景三维坐标。在计算相对旋转矩阵时，利用五点法求解本质矩阵E，然后对E矩阵进行SVD分解，选择一组最优解作为两图像之间的相对旋转矩阵。E矩阵的SVD分解如下：E＝其中U，V为正交矩阵，∑为奇异值矩阵。无人机拍摄的图像中包含有GPS信息，利用图像和GPS间的约束，使用光束法平差对相机的姿态位置进行优化调整，得到准确的相机位姿以及场景路标点，使用全局式运动恢复结构方法来输出各个图像簇的稀疏点云。所述的步骤S8，使用光束法平差依次对相本文档来自技高网...

【技术保护点】
1.一种面向野外未知环境的无人机影像快速三维重建方法，其特征在于，包括以下步骤：/nS1，首先通过无人机地面站对航拍区域进行划分，并对无人机的飞行路径进行之字形规划，无人机拍摄的正射影像完全覆盖所需拍摄的场景，进而利用无人机所携带的单个相机拍摄需重建场景的单目视觉图像序列，无人机在拍摄图像的过程中，实时将所拍摄图片与RTK信息回传给无人机地面站；/nS2，无人机地面站接收无人机拍摄的图片后，采用OpenMP多线程处理机制，对图片进行尺度缩放，并提取图片中的GPS信息；/nS3，根据图片中的GPS信息，确定图片的邻接关系，对图片进行排序，并将图片按照每10张作为一个簇；/nS4，通过OpenMP多线程处理机制，并行地对每个簇中的图片进行网格式区域划分，提取每个网格区域中的特征点，并对特征点进行描述；/nS5，对图像每个网格区域中的特征点进行均匀化处理，即分别计算相邻特征点之间的欧式距离,如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，全部保留；/nS6，利用图像的中GPS信息作为先验信息，只对相邻的图像进行特征匹配；在匹配的过程中，对于误匹配的情况，采用随机抽样一致(Random Sample Consensus,RANSAC)算法来剔除误匹配的点；/nS7，根据匹配的特征点，通过全局式运动恢复结构(Structure From Motion，SFM)获取相邻图片之间的对应关系，初步获取相机在三维空间中的姿态和场景三维坐标；/nS8，根据图像中的GPS信息，利用光束法平差来优化相机姿态参数，得到各个图像簇的稀疏点云；/nS9，对各个簇的稀疏点云进行去噪，并对稀疏点云进行分块，将一整块大的点云数据切割成诸多小块；/nS10，采用边缘检测方法生成图像模板(Mask)，通过图像Mask来约束感兴趣区域；/nS11，基于深度图融合的方法，将各个深度图融合，得到各个图像簇的稠密点云；/nS12，在网格重建时，首先进行网格分块，再采用基于多视图几何算法进行网格重建，并对重建后的网格进行优化，以提高网格质量，增强三维重建细节；/nS13，对网格重建后的模型进行纹理贴图，附上纹理信息，复原真实的三维模型；/nS14，最后，合并各个簇的重建结果，得到整个场景的三维结构。/n...

【技术特征摘要】
1.一种面向野外未知环境的无人机影像快速三维重建方法，其特征在于，包括以下步骤：
S1，首先通过无人机地面站对航拍区域进行划分，并对无人机的飞行路径进行之字形规划，无人机拍摄的正射影像完全覆盖所需拍摄的场景，进而利用无人机所携带的单个相机拍摄需重建场景的单目视觉图像序列，无人机在拍摄图像的过程中，实时将所拍摄图片与RTK信息回传给无人机地面站；
S2，无人机地面站接收无人机拍摄的图片后，采用OpenMP多线程处理机制，对图片进行尺度缩放，并提取图片中的GPS信息；
S3，根据图片中的GPS信息，确定图片的邻接关系，对图片进行排序，并将图片按照每10张作为一个簇；
S4，通过OpenMP多线程处理机制，并行地对每个簇中的图片进行网格式区域划分，提取每个网格区域中的特征点，并对特征点进行描述；
S5，对图像每个网格区域中的特征点进行均匀化处理，即分别计算相邻特征点之间的欧式距离,如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，全部保留；
S6，利用图像的中GPS信息作为先验信息，只对相邻的图像进行特征匹配；在匹配的过程中，对于误匹配的情况，采用随机抽样一致(RandomSampleConsensus,RANSAC)算法来剔除误匹配的点；
S7，根据匹配的特征点，通过全局式运动恢复结构(StructureFromMotion，SFM)获取相邻图片之间的对应关系，初步获取相机在三维空间中的姿态和场景三维坐标；
S8，根据图像中的GPS信息，利用光束法平差来优化相机姿态参数，得到各个图像簇的稀疏点云；
S9，对各个簇的稀疏点云进行去噪，并对稀疏点云进行分块，将一整块大的点云数据切割成诸多小块；
S10，采用边缘检测方法生成图像模板(Mask)，通过图像Mask来约束感兴趣区域；
S11，基于深度图融合的方法，将各个深度图融合，得到各个图像簇的稠密点云；
S12，在网格重建时，首先进行网格分块，再采用基于多视图几何算法进行网格重建，并对重建后的网格进行优化，以提高网格质量，增强三维重建细节；
S13，对网格重建后的模型进行纹理贴图，附上纹理信息，复原真实的三维模型；
S14，最后，合并各个簇的重建结果，得到整个场景的三维结构。


2.一种如权利要求1所述的面向野外未知环境的无人机影像快速三维重建方法，其特征在于，所述的步骤S1，无人机所搭载的相机需要带有RTK载波相位差分功能，无人机在拍摄场景时,同时记录拍摄点位的GPS信息。


3.一种如权利要求1所述的面向野外未知环境的无人机影像快速三维重建方法，其特征在于，步骤S4所述的提取特征点的具体过程如下：
S41，构造图像金字塔；
S42，提取FAST角点；
S43，利用灰度质心法，计算旋转角度；
S44，计算旋转后的BRIEF描述子；
S45，对每个簇中的图片进行提取特征点。


4.一种如权利要求1所述的面向野外未知环境的无人机影像快速三维重建方法，其特征在于，所述的步骤S5，其计算图像每个网格区域中特征点之间的欧式距离，网格区域中两个特征点的坐标分别为M点(x1，y1)，N点(x2，y2)，那么这两特征点之间的欧式距离是：



如果MN值小于10个像素，则删除其中任意一个特征点，如果MN值大于或等于10个像素，则全部保留这两个特征点，从而将图像每个网格区域中的特征点均匀化，确保整幅图片特征点更均匀。


5.一种如权利要求1所述的面向野外未知环境的无人机影像快速三维重建方法，其特征在于，所述的步骤S6，采用快速层级哈希匹配方法对相邻图像之间进行特征匹配，利用局部敏感哈希将一个图像上的特征点映射成为一个哈希编码，在利用特征计算两幅图像之间匹配的时候，对于第一幅图像上的某个特征点，搜索第二幅图像上和该特征点哈希编码的欧式距离小于某个阈值的特征点，然后根据特征描述符的相似性和比率测试确定最终的匹配。


6.一种如权利要求1所述的面向野外未知环境的无人机影像快速三维重建方法，其特征在于，步骤S6所述的随机抽样一致算法，其具体步骤包括：
S61，首先从数据集中随机选出一组局内点，其数目要保证能够求解出模型的所有参数，计算出相应的模型参数；
S62，用得到的模型去测试其他所有的数据点，如果某点的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，只保留目前为止局内点数目最多的模型，并将其记录为最佳模型；
S63，重复执行步骤S61和步骤S62一定次数后，即达到预设的迭代次数后，使用最佳模型对应的局内点来最终求解模型参数，使用最小二乘法优化算法进行求解；
S64，最后通过估计局内点与模型的错误率对进行模型评估，根据评估结果剔除误匹配的点。


7.一种如权利要求1所述的面向野外未知环境的无人机影像快速三维重建方法，其特征在于，所述的步骤S7，在得到图像中特征点的匹配关系后，根据匹配的特征点，通过全局式运动恢复结构方法(StructureFromMotion，SFM)获取相邻图片之间的对应关系，依次建立...

【专利技术属性】
技术研发人员：邓宝松，庞巧遇，唐荣富，桂健钧，李靖，杨楚乐，尚天赐，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京;11