一种基于云边协同的双无人机三维重建方法技术

本发明专利技术公开了一种基于云边协同的双无人机三维重建方法，涉及双无人机三维重建领域，解决了现有主流的倾斜摄影技术导致重建后的结果需要作业人员进行反复人工干预，提高了重建成本，单目视觉系统重建效果不佳，而基于双目视觉立体匹配的双目相机或简单的双机平台自适应性差的问题，现提出如下方案，其包括以下步骤：首先进行平台级构建包括：S1：双无人机视觉平台；S2：无人机云系统平台；然后在进行任务段流程包括：S3：任务端层面：1)地面准备；2)稀疏点云重建；3)稠密点云重建；4)真实场景映射；5)效果评估。本方法具有测量范围广，提升系统的鲁棒性，增强对于室外环境的适应性，改善重建精度，具备易用性和场景通用性的特点。具备易用性和场景通用性的特点。具备易用性和场景通用性的特点。

【技术实现步骤摘要】
一种基于云边协同的双无人机三维重建方法


[0001]本专利技术涉及双无人机三维重建领域，尤其涉及一种基于云边协同的双无人机三维重建方法。

技术介绍

[0002]立体视觉基本原理，实现了对地形轮廓的三维重建。根据地形特征提出了基于区域分割的三维重建方法，先是使用较为经典的分水岭算法对图像进行分割，将分割出来的边界作为实际场景中的轮廓边缘，再将其相邻分割区域的全局特征以及各局部区域尺度、位置、灰度值分布特征作为立体匹配约束条件，该方法不仅缩小了匹配的搜索空间，而且还提高了效率。该方法以区域分割为基础，在不同视点观察时，看到的轮廓有一定的差异，这将导致匹配误差增大。
[0003]目前的实景三维重建系统中，主流的倾斜摄影技术由于空中三角测量和建模的繁重任务量，以及对载机尺寸和航时的需求，在大场景中很难快速获得重建效果，且大规模的空中三角测量成功率随着摄影场景规模的扩大迅速降低，导致重建后的结果经常出现航带断裂、分层和弯曲的现象，需要作业人员进行反复人工干预，提高了重建成本，而基于SFM的单目视觉系统由于维度丢失受限于特定场景，在部分重建任务上也效果不佳，如纹理重复的场景，特征点的误匹配会造成相机位姿估计错误导致重建模型不完整，此外，如上述提到的基于双目视觉立体匹配的双目相机或简单的双机平台对于室外大场景无法实现自适应，特别是在弱纹理场景(如湖面、幕墙)和大范围场景(如城市)中。由于双目匹配要求具备重叠区域，固定镜头的相机和简单的双机控制无法处理相关任务，与此类似的还有可以同时获取图像深度信息的RGBD相机，也会受限于拍摄的范围，无法实现自适应调整。因此提出一种基于云边协同的双无人机三维重建方法。

技术实现思路

[0004]本专利技术的目的在于提供一种基于云边协同的双无人机三维重建方法，解决了现有主流的倾斜摄影技术导致重建后的结果需要作业人员进行反复人工干预，提高了重建成本，单目视觉系统重建效果不佳，而基于双目视觉立体匹配的双目相机或简单的双机平台对于室外大场景无法实现自适应的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于云边协同的双无人机三维重建方法，包括以下步骤：
[0006]S1：双无人机视觉平台：
[0007]1)静态标定：两架无人机分别对所携带的单目相机进行内参的标定，使用260x260mm的正方形棋盘格标定板获取相机的焦距、光学中心以及畸变系数，静态标定采用张正友标定法，其依赖世界坐标系与相机坐标系对应点的配准过程：
[0008][0009]其中M1为相机内参矩阵,α
x
,α
y
为归一化镜头焦距,u0,v0为横向和径向畸变系数；
[0010]2)动态标定：两架无人机将同时根据任务需求在稀疏点云重建阶段与稠密点云重建阶段进行位姿调整；
[0011]3)图像采集与数据传输：双机的同步延迟时间为ms，通过5G芯片的传输速率为107
‑
700mbps；
[0012]S2：无人机云系统平台：
[0013]1)图像预处理与校正：主要是双目图像进行去噪去模糊，并进行一定程度的图像增强；
[0014]2)端到端的图像特征提取与图像匹配：
[0015](1)对双目两视图直接通过深度神经网络回归得到立体匹配的视差值，网络将以左右视图作为输入，分别经过两个网络推理而得到预测视差和更新网络估计的残差，两个网络均以包含5层卷积和反卷积的自编码机结构作为主干，在主网络结构中，输入图像首先经过包含残差分支的卷积层的特征提取，并使用点积操作计算特征向量的相似度，从而获得关于视差估计的隐式表达，其经过点积所获得的相关体计算如下：
[0016]c(x1，x2)＝∑<f1(x1)，f2(x2)>
[0017](2)随后使用上述特征进行多尺度金字塔细化，利用反卷积层得到细化的视差结果，可以将右视图进行坐标变换，并将坐标变换后的图像与左右两视图作为第二网络的输入，该网络将逐层回归出对应的残差，并更新到不同的尺度下，其更新过程如下，s代表尺度的数量：
[0018][0019](3)在网络推理的过程中，为了兼顾学习的速度和估计精度，将变更网络中卷积层和反卷积层的特征通道数量以此改变模型的大小：
[0020][0021][0022]3)深度估计：通过匹配点对计算相关像素点的深度信息，并产生深度图，在深度估计时需根据视差网络回归的结果d,等效基线长度b和相机焦距f，得到三维点的深度信息，具体计算如下：
[0023]Z＝(b*f)/d
[0024]4)点云重建：根据计算得到的稠密深度图，通过PCL库可以直接将深度信息转化为三维点云，针对不同尺度的室外场景，将进行相应的点云滤波和点云合并；
[0025]5)三角剖分：对立体三维结构进行区域剖分，以三角面作为剖分基元；
[0026]6)纹理映射：采用不同视角的二维图像进行纹理信息的填充，并对纹理接缝进行
优化，上述提及的5)与6)步骤将可以使用OpenMVS或CloudCompare软件进行集成处理；
[0027]7)效果评估：对重建效果进行基于几何映射合理性以及基于语义的评估；
[0028]S3：任务端层面：
[0029]1)地面准备：对系统设备进行初始化参数设置与调整，自检故障，完成载机平台任务载荷的安装与调试工作，并对双机平台进行静态标定；
[0030]2)稀疏点云重建：双机平台将通过动态标定调整姿态，利用云系统的(1)
‑
(5)步骤完成对于重建场景的最大景深估计，并获得稀疏点云；
[0031]3)稠密点云重建：在稀疏点云的基础上，再次对双机平台进行微调机动，对于受到光照、遮挡等因素影响的像素点进行信息填充，获得稠密点云；
[0032]4)真实场景映射：主要是将点云表示转变为真实的三维对象，完全由无人机云系统平台的6)和7)步骤完成；
[0033]5)效果评估：将用户终端、云系统和载机平台的信息进行交互，根据云系统计算的精度和用户的主观认识通过低延时网络数据链调整载机平台的位姿。
[0034]优选的，所述S1的2)动态标定中，在稀疏点云重建阶段，双机每次可以调整的高度区间在
‑
10
‑
10m，每次可以调整的等效距离(会涉及航向角的微调)为
‑
0.5
‑
0.5m，在稠密点云重建阶段，双机系统将进行姿态角的调整，俯仰角调整范围为
‑
20
‑
20，航向角调整范围为
‑
10
‑
10。
[0035]优选的，所述S2的1)图像预处理与校正中，根据任务需求对图像的重点区域进行分割，分割的算法将基于BlendMask网络进行，将可以获得针对实例的分割掩膜，可用于后续的细化过程。
[0036]优选的，所述S2的2)(1)中，第一个网络结构用以估计最后的预测视差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云边协同的双无人机三维重建方法，其特征在于，包括以下步骤：S1：双无人机视觉平台：1)静态标定：两架无人机分别对所携带的单目相机进行内参的标定，使用260x260mm的正方形棋盘格标定板获取相机的焦距、光学中心以及畸变系数，静态标定采用张正友标定法，其依赖世界坐标系与相机坐标系对应点的配准过程：其中M1为相机内参矩阵,α
x
,α
y
为归一化镜头焦距,u0,v0为横向和径向畸变系数；2)动态标定：两架无人机将同时根据任务需求在稀疏点云重建阶段与稠密点云重建阶段进行位姿调整；3)图像采集与数据传输：双机的同步延迟时间为ms，通过5G芯片的传输速率为107
‑
700mbps；S2：无人机云系统平台：1)图像预处理与校正：主要是双目图像进行去噪去模糊，并进行一定程度的图像增强；2)端到端的图像特征提取与图像匹配：(1)对双目两视图直接通过深度神经网络回归得到立体匹配的视差值，网络将以左右视图作为输入，分别经过两个网络推理而得到预测视差和更新网络估计的残差，两个网络均以包含5层卷积和反卷积的自编码机结构作为主干，在主网络结构中，输入图像首先经过包含残差分支的卷积层的特征提取，并使用点积操作计算特征向量的相似度，从而获得关于视差估计的隐式表达，其经过点积所获得的相关体计算如下：c(x1，x2)＝∑<f1(x1)，f2(x2)>(2)随后使用上述特征进行多尺度金字塔细化，利用反卷积层得到细化的视差结果，可以将右视图进行坐标变换，并将坐标变换后的图像与左右两视图作为第二网络的输入，该网络将逐层回归出对应的残差，并更新到不同的尺度下，其更新过程如下，s代表尺度的数量：(3)在网络推理的过程中，为了兼顾学习的速度和估计精度，将变更网络中卷积层和反卷积层的特征通道数量以此改变模型的大小：卷积层的特征通道数量以此改变模型的大小：3)深度估计：通过匹配点对计算相关像素点的深度信息，并产生深度图，在深度估计时需根据视差网络回归的结果d,等效基线长度b和相机焦距f，得到三维点的深度信息，具体计算如下：Z＝(b*f)/d
4)点云重建：根据计算得到的稠密深度图，通过PCL库可以直接将深度信息转化为三维点云，针对不同尺度的室外场景，将进行相应的点云滤波和点云合并；5)三角剖分：对立体三维结构进行区域剖分，以三角面作为剖分基元；6)纹理映射：采用不同视角的二维图像进行纹理信息的填充，并对纹理接缝进行优化，上述提及的5)与6)步骤将可以使用OpenMVS或CloudCompare软件进行集成处理；7)效果评估：对重建效果进行基于几何映射合理性以及基于语义的评估；S3：任务端层面：1)地面准备：对系统设备进行初始化参数设置与调整，自检故障，完成载机平台任务载荷的安装与调试工作，并对双机平台进行静态标定；2)稀疏点云重建：双机平台将通过动态标定调整姿态，利用云系统的(1)
‑

【专利技术属性】
技术研发人员：柳书博，罗健勤，张红生，李亮辰，
申请(专利权)人：陕西西工大科技园有限公司，
类型：发明
国别省市：