一种无人机序列影像批处理三维重建方法技术

本发明专利技术公开了一种无人机序列影像批处理三维重建方法，包括以下步骤：步骤一、融合低精度GPS/INS信息的影像匹配；步骤二、建立极线图；步骤三、计算全局一致性的旋转集；步骤四、初始化相机中心点；步骤五、生成对应特征点轨迹；步骤六、初始化3D结构；步骤七、光束法平差；步骤八、稠密点云重建；步骤九、纹理映射；本发明专利技术的技术方案实现了对大数据量无人机序列影像的大场景批处理三维重建，通过利用低精度GPS/IMU先验信息进行图像匹配、建立极线图和绘制多视图中点的轨迹以及新的光束法平差优化函数等技术手段，提高了三维重建的精度与效率。

A 3D reconstruction method for UAV sequence images

The invention discloses a UAV image sequence batch 3D reconstruction method, which comprises the following steps: first, the low precision of GPS/INS information fusion image matching; step two, the establishment of epipolar line graph; step three, calculate the rotation set global consistency; step four, initialize the camera center point; step five, generate the corresponding the feature point trajectory; step six, initialize the 3D structure; step seven, bundleadjustment; step eight, dense point cloud reconstruction; step nine, texture mapping; the technical scheme of the invention realizes large batch scene 3D reconstruction of UAV image sequences of a large amount of data, the trajectory of image matching, epipolar line establishment figure drawing and multi view point and a new method of beam adjustment function optimization techniques by using low precision GPS/IMU priori information, improves the precision and efficiency of 3D reconstruction.

【技术实现步骤摘要】
一种无人机序列影像批处理三维重建方法
本专利技术涉及一种无人机序列影像批处理三维重建方法，特别是融合低精度GPS/IMU信息的无人机序列影像批处理三维重建方法。
技术介绍
无人机能够连续获取重叠度大的高精度序列影像，但获取的影像会丢失深度信息。基于图像的三维重建，是指利用多幅数码相机图像全自动恢复出场景三维结构的方法与技术。近年来三维重建技术在视频、图像三维重建处理领域获得了巨大的成功，将其应用到无人机图像处理领域，对无人机图像进行全自动重建相关的应用，可以拓展无人机的应用范围，提高无人机的应用水平。但目前对于无人机序列影像三维重建的研究尚处于起步阶段，主要存在以下问题：(1)相对于地面影像，基于无人机序列影像的三维重建一般是大数据量大场景的三维重建；(2)大多直接将计算机视觉中成熟的算法应用于无人机序列影像三维重建中；(3)没有充分利用精度不高的辅助信息。现在越来越多的成像系统都带有全球定位系统和惯性测量装置，可以获得包含三维世界地理坐标系(如WGS84)下地理坐标信息和相机姿态信息的序列图像。但是，这些系统赖高精度的地理定位设备，通过这些设备进行的标定以及获得的姿态和位置数据的精度一般都比图像的方式(例如，亚像素级的图像配准)要高。另一方面，目前的各种地理定位定向系统一般可以提供连续的但常常精度不高有时甚至不准确的位置和姿态信息，就像无人机所搭载的地理定位定姿系统。不幸的是，从这些设备得到的GPS/IMU数据达不到直接用于三维目标重建及导航等部分计算机视觉工作所要求的像素级的图像匹配精度要求。这些设备可以提供概略的相机姿态和位置信息，充分利用这些精度不高的辅助信息有望提高基于无人机序列影像三维重建的效率和精度。
技术实现思路
本专利技术所要解决的技术问题是，克服现有技术的缺点，提供一种无人机序列影像批处理三维重建方法，本专利技术通过融合低精度GPS/IMU信息，利用无人机序列影像全自动地恢复出场景三维结构，得到重构点云的相对坐标。本专利技术提供了一种无人机序列影像批处理三维重建方法，包括以下步骤：步骤一、融合低精度GPS/INS信息的影像匹配：借助于GPS/IMU系统提供的全局的位置信息，这些容易混淆的影响匹配效果的影像可以被过滤掉；假设一组影像I＝Ii，...，In以及对应的概略的位置姿态信息G＝Gi，...，Gn，以及一个可能匹配的视图对集的子集Vi；㈠位置姿态信息通过GPS和IMU获得的位置姿态信息Gi＝[Ri|ti]，其中Ri是一个3×3的旋转矩阵，ti是一个3维空间向量分别代表相机的位置和姿态角；标准GPS接收机得到的全局位置坐标是以经纬度和高程表示地球某一位置的WGS84坐标系；下一步，就是将GPS数据转换为地心地固坐标系，地心地固坐标系是一种可以在全球表示场景重建的笛卡尔坐标系统；相机的定向可以用偏航角、俯仰角和滚转角来表示，其中，偏航角是从地磁北起算的；这样，外部姿态Gi就包括了转换到了地心地固坐标系的GPS坐标和三个旋转角；再加上已知的相机的内方位参数，就可以得到每张影像Ii的完整的投影矩阵了：该投影矩阵给出了相机的位置和姿态信息的概略值，这些概略值将用于后续的处理过程中；无人机所搭载的GPS/IMU系统由于系统跳变等原因有时会获取一些明显错误的位置姿态数据，所以这些概略值在用于后续的处理过程之前，必须首先进行预处理；预处理的主要内容是剔除明显错误的数据，用前后两张影像的位置姿态数据的平均值来近似代替；需要注意的是，当错误数据出现航带的起始点或终点时，则用前后两条航带起始点或终点影像的位置姿态数据的平均值来代替；㈡视图选择为了识别可能存在共同对应特征点的影像，本专利技术为每张影像Ii选择相应的具有足够相似度的候选匹配影像集Ti＝T1...Tk。接下来，影像集将根据影像对应的GPS/IMU信息得到的概略的重叠区域标准剔除影像；如果场景的精细三维模型是可见的，影像间的重叠区域可以很容易地通过视图Ii和Ij之间相互投影的视锥体来得到；如果场景的精细三维模型是不可显示的，只能通过估计最大景深Si来限制影像Ii可见的区域；例如，给定了数字高程模型(DEM)，估算的地面高程可以限制相机拍摄地面的最大景深范围，地面高程可以由公开的全球30米分辨率的DEM数据得到；而且，最大景深值Sij可以通过影像对＜Ii，Ij＞的基线恢复出来。定义Sij：Sij＝t.d(Gi，Gj)，其中，d(.，.)表示欧氏距离，t是一个决定重建所需精度的参数。给定了这些约束条件，可以通过影像对＜Ii，Ij＞的重建计算最大景深值S：S＝min(Sij，Si，Sj)，而且，这些影像必须要有重叠，为了计算一个粗略的重叠标准定义一个平行于影像Ii且到相机中心点Gi的距离为S的平面πi；Ri和Rj表示视图Ii和Ij投影在平面πi上的图像范围；影像的重叠度可以通过下式计算：其中，a(.)表示投影矩形的面积；因为SIFT等特征描述子只能适用于旋转角度小于30度的情况，这就需要视图的投影矩阵和标准平面πi之间的夹角小于最大旋转角度α，否则就设置为0；对于每组影像对＜Ii，Ij＞计算其重叠区域其中Ij∈Ti；如果重叠区域值大于设定的阈值，Ij就被加入到子集Vi以用于后续的精细匹配；也就是说每一幅图像Ii只与同时满足以下两个条件的图像Ij进行匹配：其中，表示图像Ii和Ij拍摄时的方向角，threshold为设定的阈值；步骤二、建立极线图：首先，对每幅图像提取尺度不变特征点；本专利技术的方法是采用高效的SIFT提取算子和描述算子，这种方法对于宽基线的图像匹配具有很好的适应性，尤其本专利技术用的是公开的SiftGPU软件；图像对之间的特征点匹配应用基于CUBLAS矩阵运算库的GPU加速的图像匹配方法；在对每个候选的视图Ii匹配上相关的影像集Vi之后，利用五点算法进行几何验证；因为根据特征点描述子的匹配经常会出现错误的外点，采用RANSAC算法进行剔除；匹配的输出结果是用极线图表示的结构图，极线图由对应影像的顶点集v＝{I1...IN}和边界集ε＝{eij|i，j∈v}组成并是成对重建的，也就是由视图i和j之间的相对定向eij＝＜Pi，Pj＞和各自的影像三角化后的点集组成；其中，Pi＝Ki[I|O]，，Pj＝Kj[R|t]；步骤三、计算全局一致性的旋转集：给定了极线图接下来就是确定相机的初始位置和定向信息；根据两幅图像之间的约束，两个相机的绝对位置姿态(Ri，ti)和(Rj，tj)需要满足旋转一致性和平移方向一致性首先，视图对i和j之间的相对旋转集{Rij}通过解超定方程组可以升级为全局一致性的旋转集{Ri}，RijRi＝Rj，上述是以Ri必须为标准正交的为限制条件的；然后利用SVD(奇异值分解方法)分解使Ri满足正交约束，得到最终解可以通过解出系统初始的近似旋转矩阵(不受Ri必须为标准正交的条件限制)并用Frobenius范数将近似旋转矩阵投影到最接近的旋转矩阵的方法解决这个限制问题；并不是所有的对极几何都是一样重要的，也就是通过外极几何得到的Rij不是同等重要的；本文通过下面的公式来计算权重：其中，N＝|Fij|是视图i和j之间的内点数量，ci，cj是特征覆盖范围值，其中，α是所需内点的最小数量，表示整个影像的面积，A(Fij，r)是特征点Fij覆盖范围经过以本文档来自技高网...

【技术保护点】
一种无人机序列影像批处理三维重建方法，其特征在于，包括以下步骤：步骤一、融合低精度GPS/INS信息的影像匹配：假设一组影像I＝I

【技术特征摘要】
1.一种无人机序列影像批处理三维重建方法，其特征在于，包括以下步骤：步骤一、融合低精度GPS/INS信息的影像匹配：假设一组影像I＝Ii，...，In及对应的概略的位置姿态信息G＝Gi，...，Gn，以及一个匹配的视图对集的子集Vi；㈠位置姿态信息通过GPS和IMU获得的位置姿态信息Gi＝[Ri|ti]，其中Ri是一个3×3的旋转矩阵，ti是一个三维空间向量分别代表相机的位置和姿态角；标准GPS接收机得到的全局位置坐标是以经纬度和高程表示地球某一位置的WGS84坐标系；下一步将GPS数据转换为地心地固坐标系，相机的定向用偏航角、俯仰角和滚转角来表示，其中，偏航角从地磁北起算；此时，外部姿态Gi包括了转换到了地心地固坐标系的GPS坐标和三个旋转角；再加上已知的相机的内方位参数，则可以得到每张影像Ii的完整的投影矩阵㈡视图选择为识别可能存在共同对应特征点的影像，为每张影像Ii选择相应的具有足够相似度的候选匹配影像集Ti＝T1…Tk；接下来，影像集将根据影像对应的GPS/IMU信息得到的概略的重叠区域标准剔除影像；若场景的精细三维模型是可见的，影像间的重叠区域可通过视图Ii和Ij之间相互投影的视锥体来得到；若场景的精细三维模型是不可显示的，则通过估计最大景深Si来限制影像Ii可见的区域；且，最大景深值Sij可以通过影像对<Ii，Ij>的基线恢复出来；定义Sij：Sij＝t.d(Gi，Gj)，其中，d(.，.)表示欧氏距离，t是一个决定重建所需精度的参数；给定以上约束条件，可以通过影像对<Ii，Ij>的重建计算最大景深值S：S＝min(Sij，Si，Sj)，并且，该影像有重叠，为计算一个粗略的重叠标准定义一个平行于影像Ii到相机中心点Gi的距离为S的平面πi；Ri和Rj表示视图Ii和Ij投影在平面πi上的图像范围；影像的重叠度可以通过下式计算：其中，a(.)表示投影矩形的面积；步骤二、建立极线图：首先，对每幅图像提取尺度不变特征点，采用高效的SIFT提取算子和描述算子，图像对之间的特征点匹配应用基于CUBLAS矩阵运算库的GPU加速的图像匹配方法；在对每个候选的视图Ii匹配上相关的影像集Vi之后，利用五点算法进行几何验证；根据特征点描述子的匹配会出现错误的外点，采用RANSAC算法进行剔除；匹配的输出结果是用极线图表示的结构图，极线图由对应影像的顶点集v＝{I1...IN}和边界集ε∈{eij|i，j∈v}组成并是成对重建的，即由视图i和j之间的相对定向eij＝＜Pi，Pj＞和各自的影像三角化后的点集组成；其中，Pi＝Ki[I|O]，Pj＝Kj[R|t]；步骤三、计算全局一致性的旋转集：给定了极线图接下来确定相机的初始位置和定向信息；根据两幅图像之间的约束，两个相机的绝对位置姿态(Ri，ti)和(Rj，tj)需要满足旋转一致性和平移方向一致性首先，视图对i和j之间的相对旋转集{Rij}通过解超定方程组可以升级为全局一致性的旋转集{Ri}，RijRi＝Rj，上述以Ri为标准正交为限制条件；然后利用SVD分解使Ri满足正交约束，得到最终解通过解出系统初始的近似旋转矩阵，并用Frobenius范数将近似旋转矩阵投影到最接近的旋转矩阵；通过下面的公式来计算权重：其中，N＝|Fij|是视图i和j之间的内点数量，ci，cj是特征覆盖范围值，其中，α是所需内点的最小数量，表示整个影像的面积，A(Fij，r)是特征点Fij覆盖范围经过以为圆半径进行扩张操作后的面积；结果，具有恰当分布对应点的聚合的视图对会比那些有同样多的对应点但随机分布的视图对所占权重要高；因此，全局一致性的旋转集可以拓展为加了权重的形式：其中，为Ri的列(k＝1，2，3)，上式可以通过稀疏的最小二乘算子解算出来；步骤四、初始化相机中心点：为实现相机的中心点在地心地固坐标系下的初始化，需将旋转矩阵Ri转换为适应GPS的方式，可以通过将相对定向vij调整为相应的GPS定向其中，vij是全局坐标系中图像Ii和图像Ij之间的相对平移，是GPS坐标系中图像Ii和图像Ij之间的相对平移，可通过奇异值分解法解算R；步骤五、生成对应特征点轨迹：极线图存储了一个相对定向集和视图对<Ii，Ij>之间的对应特征点；每张影像Ii都和邻近一定数量的影像匹配，匹配的信息被存储在本地的节点；是一个单向图，Ii→Ij的匹配并不一定包含Ij←Ii的匹配；然后，对于极线图中的每张图节点Ii，节点被聚合成轨迹(track)其中f＝<xk，yk>表示特征点在影像Ik中的坐标位置；即，根据图像匹配关...

【专利技术属性】
技术研发人员：熊自明，卢浩，王明洋，马超，戎晓力，石少帅，董鑫，
申请(专利权)人：中国人民解放军理工大学，
类型：发明
国别省市：江苏,32