基于视觉信息的无人机飞行中空间位置实时计算方法技术

本发明专利技术公开了一种基于视觉信息的无人机飞行中空间位置实时计算方法，属于数字视频图像处理技术领域。该方法主要依据航拍图像信息、高程信息，融合无人机飞行参数信息，对无人机空中位置给出分析和识别。利用无人机航拍图像，结合无人机高程信息等飞行参数，对图像进行校正，与先验信息对比分析，由航拍图像反算出无人机当前位置信息。本发明专利技术针对无人机特点，充分利用视觉信息，提高无人机自主性。

【技术实现步骤摘要】
基于视觉信息的无人机飞行中空间位置实时计算方法
本专利技术属于数字视频图像处理
，具体涉及一种基于视觉信息的无人机飞行中空间位置实时计算方法。
技术介绍
近年来，随着无人机技术的不断发展，无人机不仅在军事上得到了广泛的应用，而且逐渐延伸到民用场合。在军事上，它可用于空中侦察、电子干扰、通信中继、目标定位、战场监视和边境巡逻等，民用上可用于航空摄影、灾情监测、地球物理探矿、航空摄影等。以往，无人机主要依靠惯性导航系统（InertialNavigationSystem,INS）和全球定位系统（GlobalPositionSystem,GPS）进行导航，然而，导航过程中惯性器件具有累积误差，对初始值过于敏感，而GPS并不是总是可获取的，并且即使是可以获取，其精度往往满足不了无人机导航的需要。另外，无线电信号和GPS信号传输易受阻塞，抗干扰能力不强，在军事隐蔽侦察上优势并不明显。据报道，伊朗宣称其破解了美军GPS信号，控制了通信链路，并成功诱骗、捕获了美军的一架在伊朗境内执行任务的RQ-170“哨兵”无人侦察机。2009年9月13日，美军一架MQ-9“收割者”无人机在阿富汗北部山区执行任务时失去控制，美军无奈之下派战斗机将其击落，以防止其飞入塔吉克斯坦或中国领空。这些事故的发生都是由于无人机通信链路受阻或被敌方破译并接管，接收虚假导航位置信息，降低了自身可靠性。GPS信号容易受干扰，容易受他国控制，惯导/GPS组合导航精度有限。也正是由于这些原因，为了提高无人机自主飞行和防欺骗能力，人们对无人机自主导航产生了很大的研究兴趣，并形成了近期无人机研究领域里的一个热点，而视觉导航自主性强，导航参数的获得不依赖外部设备，获得信息量大，完全由飞机自身提供，抗干扰能力强，位置定位和识别更加准确，对实现飞机的自主导航非常有利。目前视觉导航以相对位置定位为主，例如飞机在着陆过程中，以地标如跑道边线为参考，对飞机姿态不断做出调整，以达到安全着陆的目的。导航绝对位置定位的方法比较少，在无人机飞行过程中，利用GPS/INS组合导航，并基于视觉的辅助导航实现了更为准确的导航定位，但在通信链路失效的情况下，利用视觉导航进行绝对位置定位显得更加重要。
技术实现思路
本专利技术的目的是为了解决上述问题，针对无人机自身特点，提出了基于视觉信息的无人机飞行中空间位置实时计算方法，结合图像处理技术，利用图像特征，对比先验信息，获得无人机空中位置信息，提高无人机自主性。基于视觉信息的无人机飞行中空间位置实时计算方法，包括以下几个步骤：步骤一，建立无人机飞行航线地貌数据库；步骤二，航点检测；步骤三，数据采集；步骤四，数据匹配；步骤五，获取位置信息。本专利技术的优点在于：（1）利用无人机机载资源及设备，进行无人机空间位置的绝对定位；（2）利用可见光、红外等自然信息，隐蔽性好；附图说明图1是本专利技术的方法流程图；图2是本专利技术的图像信息匹配流程图；图3是本专利技术的无人机拍摄点和地貌中心点几何关系图。具体实施方式下面将结合附图对本专利技术的具体实施方式进行详细说明。本专利技术的基于视觉信息的无人机飞行中空间位置实时计算方法，流程如图1所示，包括以下几个步骤：步骤一，建立无人机飞行航线的地貌数据库；根据无人机预先规划好的航线，在无人机连续可观察到的视野范围内，提取多种地貌环境诸如居民区、植被、公路、水域等图像和位置信息，并计算地貌图像的颜色、纹理、直线、角点、SIFT等多种特征，存储入库；具体为：首先对规划好的航线采集航点，即信号灯塔、立交桥或者摩天大楼等建筑物地标，然后计算航点的点线特征并存储，其步骤如下：（1）获取无人机航线的航点；根据无人机预先设定的规划航线，选取无人机航线上的航点，利用多载荷设备采集航点的信息；无人机飞行航线航点类型包括如下几种：信号灯塔、立交桥或者摩天大楼等建筑物地标，建筑物地标具有特征明显且难以复制的特点，选取建筑物地标作为航点，有利于提高本专利技术方法的可靠性。根据规划航线，利用多载荷设备采集航点的多种信息，包括地标图像信息、对应高程信息及导航位置信息等；（2）计算特征；根据步骤（1）得到航点的地标图像信息，计算航点的SIFT点特征、Harris角点特征、纹理特征等；（3）获取地貌数据库；将步骤（1）、（2）采集计算得到SIFT点特征、Harris角点特征、纹理特征、Hough直线特征以及地标图像的位置信息，存入到地貌数据库，完成地貌数据库的建立。地标图像的位置信息包括航点图名称、图像尺寸、中心坐标。按照表1所示的结构，将信息存储到地貌数据库，完成地貌数据库的建立。表1地貌数据库结构步骤二，无人机在航线飞行中，进行航点检测。无人机飞行中，实时检测航线的航点，即检测诸如信号灯塔、建筑物等地标，由于Harris角点检测方法具有准确度高、实时性好等特点，利用该检测方法对航点地标进行检测，将检测到的航点与地貌数据库中已存航点进行匹配，若匹配成功则进行步骤三，否则继续进行下一个航点检测，执行步骤二；具体包括以下几个步骤：（1）航点检测当无人机飞行到一个航点时，采用Harris角点检测方法，获取该航点的Harris特征，Harris角点检测方法具有准确度高、实时性好等特点，兼顾了效率和精度两方面的要求，误检测率低。（2）航点匹配将获取的航点的Harris特征，与地貌数据库中存储的航点的Harris特征进行匹配，若匹配成功则进行步骤三，否则继续进行下一个航点检测，执行步骤二；步骤三，航点数据采集。对匹配成功的航点，利用机载CCD摄像机采集数据，数据包括高清航拍图像及无人机航拍参数，无人机航拍参数包括无人机高度H，航向角α，俯仰角β，横滚角γ以及CCD摄像机平台角η，方位角λ；步骤四，数据匹配。对采集到的数据与地貌数据库分别进行库匹配，访问地貌数据库，提取当前位置的地貌图像数据，利用图像特征进行特征点检测与匹配，计算得到匹配特征点数N。如图2所示，数据匹配包括以下几个步骤：（1）航拍图像预处理；首先，由于无人机飞行中受天气，温度，湿度等因素的影响，当前航拍图像与机载地貌数据库存在一定差异，因此首先对航拍图像进行预处理，包括中值滤波去噪、灰度增强方法，并计算航拍图像数据的SIFT点特征、Harris角点特征、Hough直线特征；（2）访问地貌数据库；访问地貌数据库，根据航点匹配结果，提取当前航点位置的地貌图像数据，包括SIFT点特征、Harris角点特征及Hough直线特征；（3）图像信息匹配；通过上述两个步骤，得到航点的航拍图像与地貌数据库中地标图像（先验图像信息）的特征，选取更为突出的特征进行匹配，得到匹配特征点数N，如果N大于预设阈值，则匹配成功，进入步骤五，否则匹配失败，返回步骤三；针对突出的特征进行举例说明，例如，如果Harris角点特征较多较密集，则表示可能出现了居民区，又或者又较长平行直线出现，则下方可能有公路，在这样的情况下，Harris角点特征或者Hough直线特征就显得更为突出。在一般特征不突出的情况下，采用SIFT点特征计算匹配特征点数N，若N超过10，则认为匹配成功，否则不成功。步骤五，获取无人机位置信息。完成图像匹配后，根据航拍图像先验信息，反算无人机经纬度信息，完成工作。图像匹配成功后，说明无人机已达到地貌数据库中该地标图像（先验本文档来自技高网...

【技术保护点】
基于视觉信息的无人机飞行中空间位置实时计算方法，包括以下几个步骤：步骤一，建立无人机飞行航线的地貌数据库；根据无人机预先设定的规划航线，选取无人机航线上的航点，获取航点的地标图像信息，计算航点的SIFT点特征、Harris角点特征、纹理特征、Hough直线特征，将上述特征以及地标图像的位置信息，存入到地貌数据库；步骤二，无人机在航线飞行中，进行航点检测；无人机飞行中，实时检测航线的航点，将检测到的航点与地貌数据库中已存航点进行匹配，若匹配成功则进行步骤三，否则继续进行下一个航点检测，执行步骤二；步骤三，航点数据采集；对匹配成功的航点，利用机载CCD摄像机采集数据，数据包括高清航拍图像及无人机航拍参数，无人机航拍参数包括无人机高度H，航向角α，俯仰角β，横滚角γ以及CCD摄像机平台角η，方位角λ；步骤四，数据匹配；对采集到的数据与地貌数据库分别进行库匹配，访问地貌数据库，提取当前位置的地貌图像数据，利用图像特征进行特征点检测与匹配，计算得到匹配特征点数N；步骤五，获取无人机位置信息；完成图像匹配后，根据航拍图像先验信息，反算无人机经纬度信息，完成工作。

【技术特征摘要】
1.基于视觉信息的无人机飞行中空间位置实时计算方法，包括以下几个步骤：步骤一，建立无人机飞行航线的地貌数据库；根据无人机预先设定的规划航线，选取无人机航线上的航点，获取航点的地标图像信息，计算航点的SIFT点特征、Harris角点特征、纹理特征、Hough直线特征，将上述特征以及地标图像的位置信息，存入到地貌数据库；步骤二，无人机在航线飞行中，进行航点检测；无人机飞行中，实时检测航线的航点，将检测到的航点与地貌数据库中已存航点进行匹配，若匹配成功则进行步骤三，否则继续进行下一个航点检测，执行步骤二；步骤三，航点数据采集；对匹配成功的航点，利用机载CCD摄像机采集数据，数据包括高清航拍图像及无人机航拍参数，无人机航拍参数包括无人机高度H，航向角α，俯仰角β，横滚角γ以及CCD摄像机平台角η，方位角λ；步骤四，数据匹配；对采集到的数据与地貌数据库分别进行库匹配，访问地貌数据库，提取当前位置的地貌图像数据，利用图像特征进行特征点检测与匹配，计算得到匹配特征点数N；步骤五，获取无人机位置信息；完成图像匹配后，根据航拍图像先验信息，反算无人机经纬度信息，完成工作；所述的步骤五具体为：图像匹配成功后，读取当前无人机中心点A经纬度坐标(X,Y)，设P为无人机拍摄点，P'为P点在地面投影，反算无人机经纬度公式如下：θ角为CCD摄像机与无人机重心指向夹角，角为CCD摄像机相对于机体坐标系的偏航角；则点A到点P'的x，y距离为：无人机经纬度坐标表示为：P(x,y)代表无人机经...

【专利技术属性】
技术研发人员：丁文锐，康传波，向锦武，李红光，袁永显，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11