一种基于双无人机视频拼接的近岸海域水深测绘方法技术

本发明专利技术公开了一种基于双无人机视频拼接的近岸海域水深测绘方法，步骤如下：完成两架无人机的相机内参标定；两架无人机携带的相机面朝大海，沿着海岸线分布，保持间距拍摄视频，保证相机视野有相交部分，通过光学相机拍摄视频记录海浪的运动特征；再通过视频拼接的技术，将两架无人机拍摄的视频进行拼接；通过无人机相机位置和姿态信息，获取每一帧的正射图片；沿垂直海岸线方向固定出一条直线作为研究区域，并得到所拍摄视频的图像关键帧的正射校正图片在这条固定直线所在位置上的时间堆栈图；最后通过cBathy水深估计方法得到近岸海域水深。水深。水深。

【技术实现步骤摘要】
一种基于双无人机视频拼接的近岸海域水深测绘方法


[0001]本专利技术涉及海岸带测绘
，具体涉及一种基于双无人机视频拼接的近岸海域水深测绘方法。

技术介绍

[0002]近岸海域水深测绘的传统方法主要是由物理测量仪器完成测量，如声纳系统、激光雷达、合成孔径雷达和卫星图像等，但是由于这些测量仪器需要消耗大量的人力和财力，使得测绘的成本非常高。因此需要更多的低成本高效率的测绘方法来达到测量的目的。随着摄影测量技术的发展，出现了在岸边固定摄像头或激光雷达等传感器来记录海浪波的运动特征，但是这种方式依然需要在现场部署摄像头等测量工具以及需要合适的选址，受到安装地的限制同时其安装和拆除也需要较大的成本。
[0003]如今，随着自主系统无人机的研究日趋成熟，利用这种搭载有摄像头的机载系统的优势日益突出，目前亟待提出利用无人机和视频处理技术的低成本、高效率测绘方法。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种使用双无人机机载相机图像完成近岸海域水深估计的测量方法。
[0005]本专利技术的目的可以通过采取如下技术方案达到：
[0006]一种基于双无人机视频拼接的近岸海域水深测绘方法，所述测绘方法包括如下步骤：
[0007]S1、完成两架无人机的相机摄像头内参标定，两架无人机均搭载GPS
‑
RTK测量模块和IMU惯性测量单元，分别记录相机位置信息和相机姿态信息；
[0008]S2、操控两架无人机沿着待测量海域的海岸线飞行，保持悬停或以相同方向保持间距相同速度匀速移动拍摄视频，保证两相机之间拍摄视频的视野有相交部分；
[0009]S3、将两架无人机的相机所拍摄的视频进行视频拼接，得到全景视频，再对全景视频进行图像预处理，其中图像预处理包括图像灰度化和图像滤波；
[0010]S4、从经过图像预处理的全景视频中选取待测绘的海域，利用所记录的相机位置信息和相机姿态信息，对所述待测绘的海域生成正射校正后的图像；
[0011]S5、利用所生成的正射校正图像，在垂直海岸线方向选择一条直线，并对其进行图像处理，得到所有帧的时间堆栈图像；
[0012]S6、通过cBathy水深估计方法，对时间堆栈图像估计出相对应像素坐标点的水深信息。
[0013]进一步地，所述步骤S1中，通过数学工具完成相机内参的标定，得到内参矩阵，内参矩阵其中f
x
和f
y
是描述相机传感器在图像坐标系x轴水平方向和y轴
方向竖直方向上的像素密度，x
o
和y
o
表示相机光轴在图像坐标系中的像素偏移量。相机的内部参数(简称内参)描述了相机本身的固有属性，决定了相机从三维场景中获取的二维图像的形状和大小，因此是进行图像处理和计算几何变换的重要输入。
[0014]进一步地，所述步骤S3过程如下：定义第一架无人机拍摄的视频为A，第二架无人机拍摄的视频为B。对于每架无人机拍摄的视频，将视频每一帧按照分辨率的宽度和高度各均分为m份，视频的每一帧分为m2个网格，并用i表示第i个网格。设F
i
(t)表示视频的第i个网格的第t帧和第t+1帧之间的单应性变换矩阵，而视频的路径定义为第i个网格从第1个单应性变换矩阵到第t个单应性变换矩阵的连乘，并用C
i
(t)表示：
[0015]C
i
(t)＝F
i
(t)
·
F
i
(t
‑
1)
···
F
i
(1),1≤t≤T
‑
1,3≤T,1≤i≤m2[0016]其中T为单个视频的总帧数，用C
i
(t)表示的视频路径通过视频帧之间的变换反映出相机的运动轨迹，也记录了相机运动过程中产生抖动，能够有效描述视频的运动状态，相对应的，视频A中每个网格i的视频路径为视频B中每个网格i的视频路径为设定视频路径优化公式Θ(P
i
)如下：
[0017]其中，Ω
t
表示第t帧的邻近帧r的范围，P
i
(t)表示视频第i个网格的平滑视频路径，是视频的第i个网格从第1个单应性变换矩阵到第t个单应性变换矩阵的连乘，是经过C
i
(t)迭代优化而来的，P
i
(r)也是视频第i个网格的平滑视频路径，是视频的第i个网格从第1个单应性变换矩阵到第r个单应性变换矩阵的连乘，是经过C
i
(r)迭代优化而来的，将视频A每个网格i的平滑视频路径为定义为P
iA
(t)，将视频B每个网格i的平滑视频路径为定义为P
iB
(t)，λ表示整体权重，用于平衡||P
i
(t)
‑
C
i
(t)||和||P
i
(t)
‑
P
i
(r)||这两项，w
t,r
用于保持处于快速位移或场景变换下的运动不连续性，通过高斯函数G计算：w
t,r
＝G(||r
‑
t||)
·
G(||C
i
(r)
‑
C
i
(t)||)
[0018]其中，高斯函数G的定义为x0是高斯函数的输入变量，μ为高斯函数的均值，σ则是高斯函数的标准方差，用高斯函数计算w
t,r
能够反应出第t帧和第r帧的关系，w
t,r
越大说明第t帧和第r帧的运动关系较密切，w
t,r
越小说明第t帧和第r帧的运动关系不密切，如果场景变化过快，C
i
(r)和C
i
(t)的差异会变大，w
t,r
会变小，视频路径优化公式Θ(P
i
)使平滑视频路径专注于保持与原视频路径一致，而不会让平滑视频路径专注于快速场景切换，因此引入w
t,r
的计算利于解决快速位移、旋转和场景切换的情况；视频路径优化公式的迭代是通过计算C
i
(t)来更新P
i
(t)：
[0019][0020]其中，ξ为迭代指数，N(i)表示第i个网格的邻近网格的集合，j是集合N(i)中第j个网格，令定义E
stable
(P)为视频路径稳定公式：
[0021][0022]其中，P＝{P
i
(t)}，是所有网格i对应平滑视频路径P
i
(t)的集合，E
stable
(P)对平滑
视频路径P迭代优化，让平滑视频路径接近原视频路径，减少裁剪和失真，也让每个网格的平滑视频路径更加平滑。对于视频A和视频B的平滑视频路径P
A
和P
B
，视频拼接公式如下：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双无人机视频拼接的近岸海域水深测绘方法，其特征在于，所述测绘方法包括如下步骤：S1、完成两架无人机的相机摄像头内参标定，两架无人机均搭载GPS
‑
RTK测量模块和IMU惯性测量单元，分别记录相机位置信息和相机姿态信息；S2、操控两架无人机沿着待测量海域的海岸线飞行，保持悬停或以相同方向保持间距相同速度匀速移动拍摄视频，保证两相机之间拍摄视频的视野有相交部分；S3、将两架无人机的相机所拍摄的视频进行视频拼接，得到全景视频，再对全景视频进行图像预处理，其中图像预处理包括图像灰度化和图像滤波；S4、从经过图像预处理的全景视频中选取待测绘的海域，利用所记录的相机位置信息和相机姿态信息，对此海域生成正射校正后的图像；S5、利用所生成的正射校正图像，在垂直海岸线方向选择一条直线后进行图像处理，得到所有帧的时间堆栈图像；S6、使用cBathy水深估计方法，通过时间堆栈图像估计出相对应像素坐标点的水深信息。2.根据权利要求1所述的一种基于双无人机视频拼接的近岸海域水深测绘方法，其特征在于，所述步骤S1中，使用图像处理工具得到无人机相机的内参矩阵，而内参矩阵其中f
x
和f
y
是描述相机传感器在图像坐标系x轴水平方向和y轴方向竖直方向上的像素密度，x
o
和y
o
表示相机光轴在图像坐标系中的像素偏移量。3.根据权利要求1所述的一种基于双无人机视频拼接的近岸海域水深测绘方法，其特征在于，所述步骤S3过程如下：定义第一架无人机拍摄的视频为A，第二架无人机拍摄的视频为B。对于每架无人机拍摄的视频，将视频每一帧按照分辨率的宽度和高度各均分为m份，视频的每一帧分为m2个网格，并用i表示第i个网格，设F
i
(t)表示视频的第i个网格的第t帧和第t+1帧之间的单应性变换矩阵，而视频的路径定义为第i个网格从第1个单应性变换矩阵到第t个单应性变换矩阵的连乘，并用C
i
(t)表示：C
i
(t)＝F
i
(t)
·
F
i
(t
‑
1)
···
F
i
(1),1≤t≤T
‑
1,3≤T,1≤i≤m2其中T为单个视频的总帧数，设定视频A中每个网格i的视频路径为C
iA
(t)，视频B中每个网格i的视频路径为C
iB
(t)，视频路径优化公式Θ(P
i
)如下：其中，Ω
t
表示第t帧的邻近帧r的范围，P
i
(t)表示视频第i个网格的平滑视频路径，是视频的第i个网格从第1个单应性变换矩阵到第t个单应性变换矩阵的连乘，是经过C
i
(t)迭代优化得到，P
i
(r)也是视频第i个网格的平滑视频路径，是视频的第i个网格从第1个单应性变换矩阵到第r个单应性变换矩阵的连乘，是经过C
i
(r)迭代优化得到，将视频A每个网格i的平滑视频路径为定义为P
iA
(t)，将视频B每个网格i的平滑视频路径为定义为P
iB
(t)，λ表示整体权重，用于平衡||P
i
(t)
‑
C
i
(t)||和||P
i
(t)
‑
P
i
(r)||这两项，w
t,r
用于保持处于快速
位移或场景变换下的运动不连续性，通过高斯函数G计算：w
t,r
＝G(||r
‑
t||)
·
G(||C
i
(r)
‑
C
i
(t)||)其中，高斯函数G的定义为x0是高斯函数的自变量，μ为高斯函数的均值，σ则是高斯函数的标准方差；视频路径优化公式的迭代是通过计算C
i
(t)来更新P
i
(t)：其中，ξ为迭代指数，N(i)表示第i个网格的邻近网格的集合，j是集合N(i)中第j个网格，令定义E
stable
(P)为视频路径稳定公式：其中，P＝{P
i
(t)}，是所有网格i对应平滑视频路径P
i
(t)的集合，对于视频A和视频B的平滑视频路径P
A
和P
B
，视频拼接公式如下：E(P
A
,P
B
,H)＝E
stable
(P
A
)+E
stable
(P
B
)+β
·
E
stitch
...

【专利技术属性】
技术研发人员：裴海龙，范锦昌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：