一种基于实时在线地图生成的无人机侦察方法技术

本发明专利技术提出一种基于实时在线地图生成的无人机侦察方法，首先无人机对待侦查区域按照设定航路飞行，拍摄标准视频，并提取标准视频关键帧：并根据标准视频，按照实时在线地图生成方法，将标准视频的图像序列生成全局地图；然后无人机对待侦查区域按照设定航路进行侦查飞行，拍摄新视频，在实现地图实时在线地图重建的基础上，自动对比分析不同时间的地理信息变化，在地图上生成警告信息。本发明专利技术可用于边境线巡逻侦察，海岸线河岸线巡逻侦察，石油管线巡查等，还可用于实时应急测绘，在突发地质灾害、森林火灾、交通指挥等方面，有着广泛的用途。

An unmanned aerial vehicle reconnaissance method based on real-time online map generation

The invention provides a method for UAV real-time online map is generated based on the first UAV investigation area treated according to the set route flight shooting, standard video, and extract video key frame and standard: according to the standard video, according to the real-time online map generation method, the image sequence to generate the global map standard video; then according to the UAV set the flight route investigation towards investigation area, shooting a new video, in the realization of real-time online map based on automatic map reconstruction, analyzed the changes of geographic information in different time, generate a warning information on the map. The invention can be used for border patrols, coast shoreline patrol, oil pipeline inspections, also can be used for real-time emergency mapping, in unexpected geological disasters, forest fires, traffic control, etc., are widely used.

【技术实现步骤摘要】
一种基于实时在线地图生成的无人机侦察方法
本专利技术涉及计算机图像处理与地图测绘领域，具体为一种基于实时在线地图生成的无人机侦察方法，在基于无人机实时在线地图生成的基础上，自动对比分析不同时间的地理、场景、关键目标等信息在不同时刻上的变化，并自动在地图上生成警告信息。
技术介绍
传统技术与方法通过人工巡逻，或利用飞行器(包括无人机)拍摄视频影像，然后人工判读完成。人工巡逻效率低，需要大量人力物力，目前普遍采用飞行器进行高空视频影像或拍照，这就需要专人对视频影像或照片进行值守观察判读，人工判读这些数据难免会有对上次侦察情况记忆不清、对侦察区域微小变化忽略的情况、长时间判读导致注意力下降等诸多问题。目前，国外采取传统航空摄影测量方法的软件主要有Pix4D(瑞士)、PhotoScan(俄罗斯)和倾斜摄影测量，均需离线计算，需要飞机降落后提取数据，进行运算，这类方法需要专业人员操作，并且运算时间几个小时到几天，因此不适宜做侦察应用。国际上能完成无人机实时地图构建功能仅有DroneDeploy(美国)系统，该技术是通过连接Internet网进行网络云计算完成，它将无人机送达需要进行测绘的地点上空，并自动完成测绘工作。用户可以选择是需要高分辨率、近距离的地图，或是选择视野更广、低分辨率的地图。该技术知识产权属于美国，并且服务器放置在美国，所以数据安全性得不到保障。基于视觉SLAM技术是时-空二维侦察处理的关键技术，也是当前智能机器研究的一个重要方向。虽然在众多学者的努力下已取得了丰富的理论成果，但是一直以来视觉SLAM系统的工程实现存在很多困难。近年随着微电子技术的发展，以及视觉SLAM算法的不断创新，使实时高分辨率时-空侦察系统的软硬件实现成为可能。
技术实现思路
为解决现有技术存在的问题，本专利技术提出了一种基于实时在线地图生成的无人机侦察方法，在基于无人机实时在线地图生成的基础上，自动对比分析不同时间的地理、场景、关键目标等信息在不同时刻上的变化，并自动在地图上生成警告信息。本专利技术的技术方案为：所述一种基于实时在线地图生成的无人机侦察方法，其特征在于：包括以下步骤：步骤1：无人机对待侦查区域按照设定航路飞行，拍摄标准视频，并提取标准视频关键帧：标准视频第一帧设定为关键帧，且标准视频第一帧的单应矩阵H为单位阵；对于标准视频当前帧，通过以下步骤计算当前帧到当前关键帧的单应矩阵H，并判断是否更新关键帧：步骤1.1：对当前帧做灰度化处理，提取当前帧的特征点并获取特征描述向量，利用当前帧对应单应矩阵H的初始值，将当前帧的特征点投影到当前关键帧上；步骤1.2：在当前关键帧上，以每一个投影点为设定区域中心，依据设定区域对每一投影点进行如下判断：若设定区域内没有当前关键帧的特征点，则对该投影点不做处理；若设定区域内存在当前关键帧的特征点，则选择与投影点差异最小的特征点，判断该特征点与投影点差异值是否满足匹配设定条件，如果满足，则得到一个特征点匹配对；步骤1.3：利用得到的特征点匹配对，根据公式计算当前帧到当前关键帧的单应矩阵H，并作为下一帧对应单应矩阵H的初始值；其中为当前帧中图像特征点在Z向归一化后的坐标，为当前关键帧中图像特征点在Z向归一化后的坐标，d为归一化系数；步骤1.4：如果当前帧与当前关键帧图像重叠部分小于整幅图像的90％，则将当前帧标记为关键帧，并作为新的当前关键帧；并判断当前帧是否为标准视频最后一帧，若不是，则返回步骤1.1，进行下一帧操作；步骤1.5：根据标准视频，按照实时在线地图生成方法，将标准视频的图像序列生成全局地图；步骤2：无人机对待侦查区域按照设定航路进行侦查飞行，拍摄新视频，对新视频每一帧做灰度化处理，提取其特征点并获取特征描述向量；对于新视频中的第一帧，根据特征描述向量从标准视频的关键帧序列中找到与新视频中第一帧最接近的关键帧作为当前关键帧；并采用单位阵作为新视频第一帧到当前关键帧的单应矩阵H的初始值；对于新视频当前帧，通过以下步骤计算新视频当前帧到当前关键帧的单应矩阵H，并得到当前帧与当前关键帧的差异图D：步骤2.1：利用新视频当前帧到当前关键帧的单应矩阵H的初始值，将新视频当前帧的特征点投影到当前关键帧上；步骤2.2：在当前关键帧上，以每一个投影点为设定区域中心，依据设定区域对每一投影点进行如下判断：若设定区域内没有当前关键帧的特征点，则对该投影点不做处理；若设定区域内存在当前关键帧的特征点，则选择与投影点差异最小的特征点，判断该特征点与投影点差异值是否满足匹配设定条件，如果满足，则得到一个特征点匹配对；步骤2.3：判断得到的特征点匹配对个数是否达到设定的要求，如果达到，则利用得到的特征点匹配对，根据公式计算新视频当前帧到当前关键帧的单应矩阵H，并作为新视频下一帧对应单应矩阵H的初始值，并进入步骤2.4；其中为新视频当前帧中图像特征点在Z向归一化后的坐标，为当前关键帧中图像特征点在Z向归一化后的坐标，d为归一化系数；并判断当前帧是否是新视频最后一帧，若不是最后一帧，则返回步骤2.1进行新视频下一帧操作；如果特征点匹配对个数没有达到设定要求，则重新定位，所述重新定位过程为：根据新视频当前帧的特征描述向量，从标准视频的关键帧序列中找到与新视频当前帧最接近的关键帧作为当前关键帧，并采用单位阵作为新视频当前帧到当前关键帧的单应矩阵H的初始值，然后重新返回步骤2.1；步骤2.4：将当前关键帧投影到新视频当前帧上，与当前帧做图像差异比较，得出差异图，然后根据差异图D，找出差异物体；步骤3：判断差异物体是否属于威胁物，若是，则在步骤1.5建立的地图上重点标出。进一步的优选方案，所述一种基于实时在线地图生成的无人机侦察方法，其特征在于：某一帧图像A的特征描述向量通过以下过程得到：步骤a：对待侦查区域多次拍摄，得到训练图像集；步骤b：利用SIFT算法，提取训练图像集中每一张图像的SIFT特征；步骤c：将所有训练图像的特征集合到一起，共有N个特征，从这N个特征中取K个具有代表性的聚类中心，利用K-Means算法对N个特征进行聚类，得到包含K个视觉词的视觉词典，所述视觉词即为聚类中心；步骤d：计算所述某一帧图像A中每个特征点到所有视觉词的距离，将每个特征点映射到距离最近的视觉词中，对映射到视觉词中特征点个数进行统计，根据统计值建立与视觉词序列对应的特征描述向量，所述特征描述向量中第n个元素为对应视觉词序列中第n个视觉词中所映射的特征点个数。进一步的优选方案，所述一种基于实时在线地图生成的无人机侦察方法，其特征在于：步骤1.2和步骤2.2中，设定区域为正方形区域，正方形区域边长为20个像素。进一步的优选方案，所述一种基于实时在线地图生成的无人机侦察方法，其特征在于：根据特征描述向量，从标准视频的关键帧序列找到当前关键帧的过程为：计算新视频第一帧或当前帧特征描述向量与标准视频的关键帧序列中每一关键帧特征描述向量的差，并求模，根据得到的模的数值进行选择。进一步的优选方案，所述一种基于实时在线地图生成的无人机侦察方法，其特征在于：步骤3中识别差异物体是否属于威胁物的过程为：预先建立威胁识别器，将差异物体图像输入威胁识别器，自动识别是否属于威胁物；所述威胁识别器通过以下过程得到：预先搜集若干包含威胁物体的图像，并对威本文档来自技高网...

【技术保护点】
一种基于实时在线地图生成的无人机侦察方法，其特征在于：包括以下步骤：步骤1：无人机对待侦查区域按照设定航路飞行，拍摄标准视频，并提取标准视频关键帧：标准视频第一帧设定为关键帧，且标准视频第一帧的单应矩阵H为单位阵；对于标准视频当前帧，通过以下步骤计算当前帧到当前关键帧的单应矩阵H，并判断是否更新关键帧：步骤1.1：对当前帧做灰度化处理，提取当前帧的特征点并获取特征描述向量，利用当前帧对应单应矩阵H的初始值，将当前帧的特征点投影到当前关键帧上；步骤1.2：在当前关键帧上，以每一个投影点为设定区域中心，依据设定区域对每一投影点进行如下判断：若设定区域内没有当前关键帧的特征点，则对该投影点不做处理；若设定区域内存在当前关键帧的特征点，则选择与投影点差异最小的特征点，判断该特征点与投影点差异值是否满足匹配设定条件，如果满足，则得到一个特征点匹配对；步骤1.3：利用得到的特征点匹配对，根据公式

【技术特征摘要】
1.一种基于实时在线地图生成的无人机侦察方法，其特征在于：包括以下步骤：步骤1：无人机对待侦查区域按照设定航路飞行，拍摄标准视频，并提取标准视频关键帧：标准视频第一帧设定为关键帧，且标准视频第一帧的单应矩阵H为单位阵；对于标准视频当前帧，通过以下步骤计算当前帧到当前关键帧的单应矩阵H，并判断是否更新关键帧：步骤1.1：对当前帧做灰度化处理，提取当前帧的特征点并获取特征描述向量，利用当前帧对应单应矩阵H的初始值，将当前帧的特征点投影到当前关键帧上；步骤1.2：在当前关键帧上，以每一个投影点为设定区域中心，依据设定区域对每一投影点进行如下判断：若设定区域内没有当前关键帧的特征点，则对该投影点不做处理；若设定区域内存在当前关键帧的特征点，则选择与投影点差异最小的特征点，判断该特征点与投影点差异值是否满足匹配设定条件，如果满足，则得到一个特征点匹配对；步骤1.3：利用得到的特征点匹配对，根据公式计算当前帧到当前关键帧的单应矩阵H，并作为下一帧对应单应矩阵H的初始值；其中为当前帧中图像特征点在Z向归一化后的坐标，为当前关键帧中图像特征点在Z向归一化后的坐标，d为归一化系数；步骤1.4：如果当前帧与当前关键帧图像重叠部分小于整幅图像的90％，则将当前帧标记为关键帧，并作为新的当前关键帧；并判断当前帧是否为标准视频最后一帧，若不是，则返回步骤1.1，进行下一帧操作；步骤1.5：根据标准视频，按照实时在线地图生成方法，将标准视频的图像序列生成全局地图；步骤2：无人机对待侦查区域按照设定航路进行侦查飞行，拍摄新视频，对新视频每一帧做灰度化处理，提取其特征点并获取特征描述向量；对于新视频中的第一帧，根据特征描述向量从标准视频的关键帧序列中找到与新视频中第一帧最接近的关键帧作为当前关键帧；并采用单位阵作为新视频第一帧到当前关键帧的单应矩阵H的初始值；对于新视频当前帧，通过以下步骤计算新视频当前帧到当前关键帧的单应矩阵H，并得到当前帧与当前关键帧的差异图D：步骤2.1：利用新视频当前帧到当前关键帧的单应矩阵H的初始值，将新视频当前帧的特征点投影到当前关键帧上；步骤2.2：在当前关键帧上，以每一个投影点为设定区域中心，依据设定区域对每一投影点进行如下判断：若设定区域内没有当前关键帧的特征点，则对该投影点不做处理；若设定区域内存在当前关键帧的特征点，则选择与投影点差异最小的特征点，判断该特征点与投影点差异值是否满足匹配设定条件，如果满足，则得到一个特征点匹配对；步骤2.3：判断得到的特征点匹配对个数是否达到设定的要求，如果达到，则利用得到的特征点匹配对，根据公式

【专利技术属性】
技术研发人员：布树辉，杨君，赵勇，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61