基于多层级特征融合的无人机定位方法技术

本发明专利技术公开了一种基于多层级特征融合无人机定位方法。无人机飞行在空中，使用无人机拍摄空对地视角照片作为无人机照片；利用无人机照片构建数据集；使用带有条件位置编码的金字塔自注意力网络对数据集进行处理提取图片特征图；将提取后的图片特征图进行跨层级融合获得特征热力图，使用融合后得到的特征热力图中热值分布确定无人机图片的GPS。本发明专利技术对不同尺度的层级特征进行充分利用增强产生特征热力图，适用范围广，可与大多数层级结构网络进行组合，在减少计算量的同时实现了后续定位效果的提升，有利于无人机在丢失GNSS信号时的准确定位。准确定位。准确定位。

【技术实现步骤摘要】
基于多层级特征融合的无人机定位方法


[0001]本专利技术涉及了属于图像处理、深度学习技术、地理定位领域的一种无人机定位方法，尤其是涉及一种基于多层级特征融合无人机定位方法。

技术介绍

[0002]目前无人机技术快速发展，大量无人机被应用于航拍测绘，精准投递，灾害监测，军事侦查等领域中，在无人机其应用领域中无人机工作的核心是依靠其自身的自主定位能力和自主导航避障功能来完成特定的工作。无人机实现自主定位能力的核心是依靠全球卫星定位系统(GPS)和机载的惯性导航装置。无人机接受到的GPS信号强度会直接影响到定位的效果。但是在实际的工作场景中无人机的工作环境往往具有强干扰，障碍多，不确定因素多等特点，无人机的GPS信号会受到外部遮蔽物，电磁干扰，恶劣天气等影响，这些因素都会干扰无人机的GPS信号，在极端的场景下无人机GPS信号完全失去，无人机完全失去定位能力无法进行正常工作，此时无人机处于GPS拒止环境下。如何使无人机克服处于拒止环境下的定位问题，实现一定程度的自主定位，成了研究难点。
[0003]针对无人机在GPS拒止环境下的自主定位问题，目前已有基于视觉算法的方式用来解决此问题，在视觉算法中以基于图像检索方法为主，其大致流程是先将查询区域的卫星地图进行裁切操作，生成该地区的卫星图库，图库中的卫星地图图片都以中心点的GPS作为图片的地理位置信息，之后通过已经训练好的神经网络模型将当前无人机视角图片和卫星图库中全部的图片全部进行特征提取生成特征向量。计算待查询无人机图片特征向量与全部图库中特征向量的特征距离，卫星图库中与无人机图片特征距离最近的特征向量对应的卫星地图图片就作为无人机图片在卫星视角下的匹配图片。可以用此卫星地图图片的GPS作为无人机图片的GPS实现无人机的定位。
[0004]由于基于图像检索的无人机定位方法由于需要实现对查询区域的卫星地图进行裁切操作并进行存储，这会使得裁切的细粒程度会影响最终的定位误差和存储端的压力。若想要通过图像检索的方式实现精确的定位，需要按照较少像素间隔对查询区域的裁剪操作使得图库中的照片数量大幅增加，对存储端造成庞大的存储压力也会使得后续模型提取特征时间和比较图片特征距离的时间大量增加。在实际的定位过程中对对卫星地图的裁剪操作不能做到很小的像素间隔，这是对定位精度，存储压力和计算时间的平衡。实现目前基于图像检索的无人机定位方法只能做到大致范围的定位无法得到一个更加精确的结果。

技术实现思路

[0005]为了解决
技术介绍
中的技术问题，本专利技术提出一种基于多层级特征融合无人机定位方法，为了能使无人机在处于GPS拒止环境下仍具有自主定位能力，能够在各种复杂工作环境中GPS信号收到影响时仍可以正常工作，通过条件位置编码的金字塔自注意力特征提取网络对无人机图片和卫星地图图片进行特征提取，再通过多层级融合模块将无人机和卫星图像的特征进行融合并增强，最终将输出的热力图进行插值操作为卫星图像尺寸大小，
通过热力图热值分布情况来给出最终定位结果。
[0006]为了实现上述目的，本申请采用以下技术方案：
[0007]步骤1：无人机飞行在空中，使用无人机拍摄空对地视角照片作为无人机照片；
[0008]步骤2：利用无人机照片构建数据集；
[0009]步骤3：使用带有条件位置编码的金字塔自注意力网络对数据集进行处理提取图片特征图；
[0010]步骤4：将提取后的图片特征图进行跨层级融合获得特征热力图，使用融合后得到的特征热力图中热值分布确定无人机图片的GPS。
[0011]所述步骤1具体为：在无人机飞行在空中时候，使用无人机上搭载的云台摄像头以垂直地面视角，分别在不同飞行高度的航线上对地面视角进行拍摄得到地面视角的照片，每张照片通过无人机自带的GPS附带记录拍摄时的GPS信息。
[0012]所述步骤2具体为：
[0013]将无人机照片中异常照片进行剔除后，利用每张保留的无人机照片中带有的GPS信息提取卫星地图中相同GPS位置的图像并进行裁切获得卫星地图图片，结合卫星地图图片与其对应的无人机照片构建得到无人机
‑
卫星地图图片对，按照此方式制作所有无人机
‑
卫星地图图片对构成数据集。
[0014]所述步骤3中：
[0015]将数据集中每对无人机
‑
卫星地图图片对的无人机照片和卫星地图图片进行预处理后分别送入各自的一个条件位置编码的金字塔自注意力网络进行特征提取；
[0016]无人机照片和卫星地图图片进入条件位置编码的金字塔自注意力网络网络后均经过连续四个阶段，每个阶段均是先经过编码卷积层操作Patch embedding进行尺寸压缩、之后将特征送入一个注意力机制编码器模块Transformer Encoder，再使用位置编码生成器PEG对特征进行条件位置编码、最后再进入不同个数的注意力机制编码器模块；四个阶段后各自生成不同尺寸的图片特征图，将无人机照片和卫星地图图片分别在四个阶段对应获得的图片特征图保存。
[0017]PCPVT的不同阶段的注意力机制编码器模块Transformer Encoder个数是不一样的，第一阶段为2个，第二阶段为2个，第三阶段为5个，第四阶段为2个。
[0018]所述步骤4具体为：
[0019]4.1、是将无人机照片和卫星地图图片各自以列表形式保存的图片特征图通过分组卷积的方式进行特征融合：
[0020]先将无人机照片经第三个阶段获得的图片特征图作为模板特征图进行降维操作,再将模板特征图维度下降到与卫星地图图片经三个阶段分别获得的图片特征图维度一致，然后再与卫星地图图片经对应阶段获得的图片特征图以分组卷积的形式进行特征融合得到三个不同尺度的特征热力图，将三个尺度的特征图再送入特征金字塔网络处理得到一张更大尺度的热力图；
[0021]4.2、通过插值将热力图插值为与卫星地图图片大小一致，对插值后的热力图中的热值进行确定，找到热力图中热值最大的像素位置，作为无人机图片在卫星地图上的定位位置。
[0022]所述步骤4.2)具体为，再利用热值最大的像素位置的地理信息进行计算得到无人
机图片的定位位置，即作为无人机的当前定位位置。
[0023]本专利技术方案中，无人机飞行在空中，使用无人机拍摄空对地视角照片作为无人机照片；利用无人机照片构建数据集；使用条件位置编码的金字塔自注意力网络对数据集进行处理提取图片特征图；将提取后的图片特征图进行跨层级融合获得特征热力图，使用融合后得到的特征热力图中热值分布确定无人机图片的GPS。
[0024]本专利技术的有益效果是：
[0025]本专利技术通过设计一种多层级特征融合网络结构对特征提取网络产生的不同尺度的层级特征进行充分利用，增强产生的特征热力图，此网络结构适用范围广，可以与大多数层级结构网络进行组合，在减少计算量的同时实现了后续定位效果的提升。本
技术实现思路
相较于目前主流的基于图像检索的定位方法，无须生成带待查询区域的卫星地图图库，给本地端的存储设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层级特征融合无人机定位方法，其特征在于，所述方法包括如下步骤：步骤1：无人机飞行在空中，使用无人机拍摄空对地视角照片作为无人机照片；步骤2：利用无人机照片构建数据集；步骤3：使用带有条件位置编码的金字塔自注意力网络对数据集进行处理提取图片特征图；步骤4：将提取后的图片特征图进行跨层级融合获得特征热力图，使用融合后得到的特征热力图中热值分布确定无人机图片的GPS。2.如权利要求1所述的一种基于多层级特征融合无人机定位方法，其特征在于：所述步骤1具体为：在无人机飞行在空中时候，使用无人机上搭载的云台摄像头以垂直地面视角，分别在不同飞行高度的航线上对地面视角进行拍摄得到地面视角的照片，每张照片通过无人机自带的GPS附带记录拍摄时的GPS信息。3.如权利要求1所述的一种基于多层级特征融合无人机定位方法，其特征在于，所述步骤2具体为：将无人机照片中异常照片进行剔除后，利用每张保留的无人机照片中带有的GPS信息提取卫星地图中相同GPS位置的图像并进行裁切获得卫星地图图片，结合卫星地图图片与其对应的无人机照片构建得到无人机
‑
卫星地图图片对，按照此方式制作所有无人机
‑
卫星地图图片对构成数据集。4.如权利要求1所述的一种基于多层级特征融合无人机定位方法，其特征在于，所述步骤3中：将数据集中每对无人机
‑
卫星地图图片对的无人机照片和卫星地图图片进行预处理后分别送入各自...

【专利技术属性】
技术研发人员：陆毓晟，郑恩辉，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：