基于多源影像匹配的无人机视觉定位方法技术

本发明专利技术提供了一种基于多源影像匹配的无人机视觉定位方法。首先，分别利用已有的多源匹配图像和真实无人机场景影像对特征提取网络进行训练；然后，利用训练好的网络对无人机影像进行特征提取，并利用位置点信息对无人机进行位置估计，减小定位搜索范围；接着，对估计位置范围内的卫星图像进行特征提取，并利用相似性度量对无人机影像与卫星图像进行特征匹配，得到无人机定位结果。本发明专利技术能够较好地解决卫星图像与无人机影像之间的异质性匹配问题，可用于多种应用场景，且计算量小，能够较好地满足无人机平台的实时性定位需求。地满足无人机平台的实时性定位需求。地满足无人机平台的实时性定位需求。

【技术实现步骤摘要】
基于多源影像匹配的无人机视觉定位方法


[0001]本专利技术属多源遥感匹配
，具体涉及一种基于多源影像匹配的无人机视觉定位方法。

技术介绍

[0002]无人机定位通常使用卫星导航来实现，然而作为一种被动的信号接收方式，导航信号在特殊场景下容易被干扰。当失去信号时，随着时间的推移，惯性测量单元的累积误差会越来越大。计算机视觉通过计算机系统对视觉信息进行处理、分析，实现对目标的检测、识别、跟踪、定位等功能，具有较强的抗干扰能力。因此，基于视觉匹配的无人机定位可以很好地解决卫星拒止条件下的无人机定位问题。
[0003]无人机视觉定位方法大致分为三种：无地图定位方法(如视觉里程法)、基于构建地图的定位方法(如同步定位与构图方法)和基于已有地图的定位方法(如影像匹配方法)。这三种视觉定位方法各有优缺点和适用范围：基于构建地图和无地图定位的方法只需要安装在UAV(Unmanned Aerial Vehicle，无人驾驶空中飞行器)上的摄像头，但帧间运动的估计误差会严重累积；基于影像匹配方法需要额外的预先记录的地理参考图像库，但可以获得UAV的绝对位置，且不会累积误差。
[0004]基于影像匹配方法主要分为传统方法和深度学习方法。传统方法基于人工设计的描述符提取特征来实现遥感影像匹配，主要通过描述符相似性和/或空间几何关系来寻求局部特征(区域、线、点)之间的对应关系。局部显著特征的使用使这类方法可以快速运行，并且对噪声、复杂的几何变形和显著的辐射度差异具有鲁棒性。但是，由于更高分辨率和更大尺寸数据的普及，方法无法满足更多对应性、更高准确性和更灵活应用的要求。随着大量的标记数据集的提出，深度学习方法，特别是卷积神经网络(CNN)，在图像匹配领域取得了非常好的效果。CNN的主要优点是其在标签数据的引导下，能够自动学习有利于影像匹配的特征。与人工设计的描述符相比，基于深度学习的特征不仅包含低级空间信息，还包含高级语义信息。由于强大的自动提取特征的能力，深度学习方法能获得较高的匹配准确率。
[0005]尽管基于影像匹配的无人机视觉定位方法具有显著的优势，但仍有一些问题需要解决：首先，带有地理信息的参考图像和无人机图像成像条件不同，而这种多源影像匹配存在异质性问题；另外，难以利用少量的标注数据适应丰富多样的应用场景；最后，无人机的平台也对实时性提出了严苛的要求。

技术实现思路

[0006]为了克服现有技术的不足，本专利技术提供一种基于多源影像匹配的无人机视觉定位方法。首先，分别利用已有的多源匹配图像和真实无人机场景影像对特征提取网络进行训练；然后，利用训练好的网络对无人机影像进行特征提取，并利用位置点信息对无人机进行位置估计，减小定位搜索范围；接着，对估计位置范围内的卫星图像进行特征提取，并利用相似性度量对无人机影像与卫星图像进行特征匹配，得到无人机定位结果。本专利技术能够较
好地解决卫星图像与无人机影像之间的异质性匹配问题，可用于多种应用场景，且计算量小，能够较好地满足无人机平台的实时性定位需求。
[0007]一种基于多源影像匹配的无人机视觉定位方法，其特征在于步骤如下：
[0008]步骤1：采用Google Earth Pro上采集的卫星和虚拟无人机匹配图像对用于特征提取的孪生网络进行训练，保存网络参数；利用带标签的真实场景无人机起飞位置影像对网络进行再训练，得到训练好的适应现实无人机工作场景的特征提取网络；所述的用于特征提取的孪生网络包括顺序连接的卷积层1、最大池化层1、卷积层2、最大池化层2、卷积层3、卷积层4、卷积层5、最大池化层3、卷积层6和卷积层7，其中，卷积层1的卷积核大小为7
×7×
24，步长为1，卷积层2的卷积核大小为5
×5×
24，步长为1，卷积层3和卷积层4的卷积核大小为3
×3×
96，步长为1，卷积层5的卷积核大小为3
×3×
64，步长为1，卷积层6的卷积核大小为3
×3×
128，步长为1，卷积层7的卷积核大小为8
×8×
128，步长为1，最大池化层1和最大池化层2的核大小为3
×
3，最大池化层3的核大小为6
×
6；
[0009]步骤2：将无人机影像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128
×
128，并利用步骤1训练好的网络进行特征提取，提取的9个特征共同构成整张无人机图像的描述I'
k
；
[0010]步骤3：取无人机当前时刻最近的前n个定位位置点进行位置估计，根据这些位置点所处的经纬度和每两个位置点之间的飞行时长，分别计算无人机在经纬两个方向的n
‑
1个位置区间内的飞行速度，记在经度方向的n
‑
1个位置区间内的飞行速度序列为V
long
，在纬度方向的n
‑
1个位置区间内的飞行速度序列为V
lat
，将无人机的运动轨迹视为匀速运动，序列V
long
和V
lat
内的速度均值服从t分布，在经度或纬度方向上的速度范围为其中，和S
*2
分别代表经度或纬度方向速度的均值和方差，α是t分布的置信度参数，t
α/2
(n
‑
2)表示在置信度为1
‑
α的情况下利用n
‑
1个采样区间的t分布侧分位数，通过查t分布表得到，n的取值范围为3～6，α的取值为0.005；初始时刻的前n个定位位置点利用起飞位置进行初始化；
[0011]以速度范围乘以当前时刻与上述第n个位置点飞行时刻的时间差，得到在该时段内的位移范围，如果得到的位移范围小于20m，保留其为20m，再与第n个位置点的坐标相加，得到无人机当前所处的位置范围；
[0012]步骤4：对步骤3得到的位置范围内的卫星图像每10m进行一次切割，每次将卫星图像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128
×
128，并利用步骤1训练好的网络进行特征提取，将提取的每张卫星图像的9个特征及其位置标签放入待匹配库；
[0013]步骤5：遍历待匹配库，计算每张卫星图像的9个特征与步骤2得到的无人机图像上九宫格对应位置的特征之间的L2范数，以得到的9个L2范数值的和作为整张图像的相似性度量值，如此待匹配库中每张卫星图像得到一个与无人机图像的相似性度量值，将相似性度量值最小的卫星图像的位置标签作为当前无人机定位结果；如果最小的两个相似性度量值之差大于阈值β，认为当前定位结果可信，将当前无人机定位结果作为一个定位位置点；所述的阈值β的取值为0.25；
[0014]步骤6：重复执行步骤2到步骤5，直到视觉导航飞行任务结束。
[0015]本专利技术的有益效果是：由于采用虚拟数据集图像和真实场景图像对网络分别进行训练的方式，使网络能够更好地用于提取全局高阶语义特征，解决多源图像之间存在的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源影像匹配的无人机视觉定位方法，其特征在于步骤如下：步骤1：采用Google Earth Pro上采集的卫星和虚拟无人机匹配图像对用于特征提取的孪生网络进行训练，保存网络参数；利用带标签的真实场景无人机起飞位置影像对网络进行再训练，得到训练好的适应现实无人机工作场景的特征提取网络；所述的用于特征提取的孪生网络包括顺序连接的卷积层1、最大池化层1、卷积层2、最大池化层2、卷积层3、卷积层4、卷积层5、最大池化层3、卷积层6和卷积层7，其中，卷积层1的卷积核大小为7
×7×
24，步长为1，卷积层2的卷积核大小为5
×5×
24，步长为1，卷积层3和卷积层4的卷积核大小为3
×3×
96，步长为1，卷积层5的卷积核大小为3
×3×
64，步长为1，卷积层6的卷积核大小为3
×3×
128，步长为1，卷积层7的卷积核大小为8
×8×
128，步长为1，最大池化层1和最大池化层2的核大小为3
×
3，最大池化层3的核大小为6
×
6；步骤2：将无人机影像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128
×
128，并利用步骤1训练好的网络进行特征提取，提取的9个特征共同构成整张无人机图像的描述I'
k
；步骤3：取无人机当前时刻最近的前n个定位位置点进行位置估计，根据这些位置点所处的经纬度和每两个位置点之间的飞行时长，分别计算无人机在经纬两个方向的n
‑
1个位置区间内的飞行速度，记在经度方向的n
‑
1个位置区间内的飞行速度序列为V
long
，在纬度方向的n
...

【专利技术属性】
技术研发人员：袁媛，刘赶超，李超，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：