一种基于无人机的全景图像拼接方法及装置制造方法及图纸

本发明专利技术公开了一种基于无人机的全景图像拼接方法及装置，该方法包括如下步骤：从视频流中依次提取关键帧图像；根据航迹规划信息，将飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；对在后关键帧图像的特征点与在先关键帧图像的特征点进行匹配，对在后关键帧图像与在先关键帧图像进行匹配并计算之间的第一变换关系；根据映射关系将基准关键帧图像映射到模板上，递推计算当前关键帧图像相对于基准关键帧图像的变换关系，根据映射关系和变换关系将当前关键帧图像映射到模板上。

【技术实现步骤摘要】
一种基于无人机的全景图像拼接方法及装置
本专利技术涉及计算机视觉图像快速处理
，尤其涉及一种基于无人机的全景图像拼接方法及装置。
技术介绍
突发事件的信息获取及分析是我国应急管理基础研究亟需解决的五大核心科学问题之一。快速、及时、准确地获取突发事件现场信息，能够为态势分析、策略制定提供翔实可靠的参考数据，辅助应急决策，提高突发事件应对能力。基于无人机的航空遥感系统具有机动灵活、响应迅速且无人员伤亡危险的特点，在突发事件现场信息获取中显示出巨大的优势，越来越多地应用于灾害管理和应急测绘领域。但是无人机采集的图像大小和分辨率受飞行高度和机载传感器制约，得到的都是单张、覆盖范围小的影像，不能整体反映突发事件现场环境，只有通过图像拼接方法实现图片从单张到全景、从局部到整体的转变，将图片有序结合起来，才能将无人机采集现场信息转化为真正对应急决策有用的突发事件大场景全景图。现有的图像全景拼接方法根据拼接时间可以分为两类，一类是后处理，一类是实时处理。如申请号为CN103310433A的《一种利用影像拓扑骨架的无人机影像快速匹配方法》专利，通过图像拓扑骨架进行图像分层级，之后再进行匹配。申请号为CN103426153A的《一种无人机遥感影像快速拼接方法》专利，基于瓦片金字塔进行多层级网格化分区，之后再进行匹配。这两个专利描述的方法都是针对大量的、已经采集完毕的图片进行的后处理模式，不能充分体现无人机快速响应的优势。申请号为CN102201115A的《无人机航拍视频实时全景图拼接方法》专利描述了一种基于无人机传回基站的视频图像，实现边飞行边拼接的拼接方法，但是该方法采用了“无人机返回路径时空融合图像帧到全景拼接”，需要利用无人机的GPS位置信息确定时间不相邻但空间相邻的图像帧，优化帧到全景的变换关系，实现图像融合和全景图构建。而确定时间不相邻空间相邻的图像帧，需要大量且精确航迹规划参数，飞机实际飞行过程中飞行高度、GPS精度、自身晃动等均可能影响此效果。更重要的两点是：一、该专利使用的SURF特征提取方法应对图像旋转变化表现一般，在相邻两条航线间转弯处所得帧图像相对于其他航线图像有一定旋转角度，预期拼接效果不佳。二、该专利仅仅提出全流程的帧提取拼接过程，但是并未提供任何能快速提取拼接的实施性方案，传统的拼接速度很慢，难以达到实时效果。
技术实现思路
为了克服现有技术的不足，本专利技术提出一种基于无人机的全景图像拼接方法，可以实时拼接图像，解决图像处理滞后于图像采集的问题，充分体现无人机响应迅速的优势。一种基于无人机的全景图像拼接方法，包括如下步骤：提取步骤，从无人机传回的视频流中依次提取关键帧图像；预处理步骤，根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；匹配步骤，提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；融合步骤，根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上。在一个实施例中，所述预处理步骤还包括如下步骤：将每个关键帧图像按照设定压缩比例进行压缩，存储压缩后的关键帧图像和所述关键帧图像；所述匹配步骤为：对经过所述预处理步骤的压缩后的在后关键帧图像与压缩后的在先关键帧图像进行特征点提取与匹配；根据所述设定压缩比例，计算所述压缩后的在后关键帧图像的特征点对应的所述在后关键帧图像的特征点，计算所述压缩后的在先关键帧图像的特征点对应的所述在先关键帧图像的特征点；根据所述在后关键帧图像的特征点和所述在先关键帧图像的特征点，计算所述在后关键帧图像与在先关键帧图像之间的第一变换关系。在一个实施例中，在所述匹配步骤之前，还对相邻的两个关键帧图像的特征点进行筛选：在其中一个关键帧图像中选择第一特征点；在另一个关键帧图像中选择至所述第一特征点的距离最近的的最邻近特征点，以及选择至所述第一特征点的距离第二近的次邻近特征点；计算所述第一特征点至最邻近特征点之间的最近距离、以及所述第一特征点至次邻近特征点之间的次近距离；计算所述最近距离与次近距离之间的比值，将所述比值大于比值阈值对应的第一特征点从所述其中一个关键帧图像中剔除。在一个实施例中，在所述其中一个关键帧图像中依次选择特征点与所述另一个关键帧图像的特征点进行匹配情况进行检查，保留匹配成对的特征点对，去除未匹配成对的特征点。在一个实施例中，将所述无人机处于航迹拐弯处的时间段内的关键帧图像剔除。在一个实施例中，所述基准关键帧图像为第一关键帧图像。本专利技术还提供了一种基于无人机的全景图像拼接装置，包括如下步骤：提取单元，用于从无人机传回的视频流中依次提取关键帧图像；预处理单元，用于根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；匹配单元，用于提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；融合单元，用于根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上。在一个实施例中，所述图像预处理单元还用于，将每个关键帧图像按照设定压缩比例进行压缩，存储压缩后的关键帧图像和所述关键帧图像；所述匹配单元用于，对经过所述预处理步骤的压缩后的在后关键帧图像与压缩后的在先关键帧图像进行特征点提取与匹配；根据所述设定压缩比例，计算所述压缩后的在后关键帧图像的特征点对应的所述在后关键帧图像的特征点，计算所述压缩后的在先关键帧图像的特征点对应的所述在先关键帧图像的特征点；根据所述在后关键帧图像的特征点和所述在先关键帧图像的特征点，计算所述在后关键帧图像与在先关键帧图像之间的第一变换关系。在一个实施例中，还包括特征点筛选单元，用于对相邻的两个关键帧图像的特征点进行筛选：在其中一个关键帧图像中选择第一特征点；在另一个关键帧图像中选择至所述第一特征点的距离最近的的最邻近特征点，以及选择至所述第一特征点的距离第二近的次邻近特征点；计算所述第一特征点至最邻近特征点之间的最近距离、以及所述第一特征点至次邻近特征点之间的本文档来自技高网...

【技术保护点】
一种基于无人机的全景图像拼接方法，其特征是，包括如下步骤：提取步骤，从无人机传回的视频流中依次提取关键帧图像；预处理步骤，根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；匹配步骤，提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；融合步骤，根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上。

【技术特征摘要】
1.一种基于无人机的全景图像拼接方法，其特征是，包括如下步骤：提取步骤，从无人机传回的视频流中依次提取关键帧图像；预处理步骤，根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；匹配步骤，提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；融合步骤，根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上。2.如权利要求1所述的基于无人机的全景图像拼接方法，其特征是，所述预处理步骤还包括如下步骤：将每个关键帧图像按照设定压缩比例进行压缩，存储压缩后的关键帧图像和所述关键帧图像；所述匹配步骤为：对经过所述预处理步骤的压缩后的在后关键帧图像与压缩后的在先关键帧图像进行特征点提取与匹配；根据所述设定压缩比例，计算所述压缩后的在后关键帧图像的特征点对应的所述在后关键帧图像的特征点，计算所述压缩后的在先关键帧图像的特征点对应的所述在先关键帧图像的特征点；根据所述在后关键帧图像的特征点和所述在先关键帧图像的特征点，计算所述在后关键帧图像与在先关键帧图像之间的第一变换关系。3.如权利要求1所述的基于无人机的全景图像拼接方法，其特征是，在所述匹配步骤之前，还对相邻的两个关键帧图像的特征点进行筛选：在其中一个关键帧图像中选择第一特征点；在另一个关键帧图像中选择至所述第一特征点的距离最近的的最邻近特征点，以及选择至所述第一特征点的距离第二近的次邻近特征点；计算所述第一特征点至最邻近特征点之间的最近距离、以及所述第一特征点至次邻近特征点之间的次近距离；计算所述最近距离与次近距离之间的比值，将所述比值大于比值阈值对应的第一特征点从所述其中一个关键帧图像中剔除。4.如权利要求3所述的基于无人机的全景图像拼接方法，其特征是，在所述其中一个关键帧图像中依次选择特征点与所述另一个关键帧图像的特征点进行匹配情况进行检查，保留匹配成对的特征点对，去除未匹配成对的特征点。5.如权利要求1所述的基于无人机的全景图像拼接方法，其特征是，将所述无人机处于航迹拐弯处的时间段内的关键帧图像剔除。...

【专利技术属性】
技术研发人员：王飞，郑富达，郑晓翠，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44