本发明专利技术公开了一种基于标志物多特征融合的无人机自动寻的着陆方法，是一种基于标志物颜色、形态学轮廓以及特征点，多种特征的无人机自动寻的着陆方法，以机载摄像机实时采集到的视频图像为对象，自动地较准确地检测目标在图像中的位置。该方法以标志物图形的颜色特征、轮廓的形态特征和特征点作为判断依据，能够适应低空无人机航空序列图像的视角变换、几何变换、放射变换、畸变、亮度变换、噪声干扰等恶劣情况下的匹配问题，可以实时地对基准图形进行检测，进而实时计算标志物的坐标，检测结果准确率高，对无人机自动寻地着陆具有重要的应用价值。
【技术实现步骤摘要】
本专利技术涉及一种基于标志物多特征融合的无人机自动寻的着陆方法，属于无人机技术和图像处理交叉领域。
技术介绍
基于视觉的无人机自动导航在过去几年已经成为热门研究领域(S.Azrad,F.Kendoul,and K.Nonami.Visual servoing of quadrotor micro-air vehicle using color-based tracking algorithm.J.of System Design and Dynamics,4(2):255–268,2010.)。视觉图像提供了大量的、丰富的低成本信息，并且轻量级的摄像头已经能够嵌入到微型无人机中。到目前为止，无人机降落对操控人员的要求比较高，主要由无人机驾驶员操控。同时，在即将来到的无人机应用大潮中，使用驾驶员无疑会浪费大量的人力物力。因此，利用图像处理技术，实现无人机的自动寻地降落是十分必要的。无人机自动寻的降落是无人机应用必须跨过的门槛，本专利技术即是利用无人机机载摄像头和图像处理系统对降落目标进行识别。基于视觉的导航着陆系统只需要一个摄像头和一个机载图像处理单元，利用摄像头传回的实时视频图像来计算目标位置，辅助机载的导航控制系统控制无人机完成自主着陆。2006年赵文彬等在论文《角点检测综述》中描述，角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。但是，角点检测通常不大健壮，经常需要专业的管理，并且会产生大量的冗余以防止主识别任务中个别错误数据影响匹配结果。SIFT(Scale-invariant feature transform)是最强健的局部不变特征描述方法(A.E.Abdel-Hakim,and A.A.Farag.CSIFT:A SIFT Descriptor with Color Invariant Characteristics.IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'06)(Volume:2)2006),设计主要用于灰度图，但颜色在检测特征和目标匹配任务中提供了很有价值的信息，如果没有颜色信息很多目标会被错误分类或者误匹配。Herbert Bay,Tinne Tuytelaars,Luc Van Gool等人于2006年在ECCV大会(Computer Vision–ECCV 2006)上提出了加速鲁棒特性(SURF,Speeded up robust features)，SURF和SIFT基于相同原理，实现步骤有细微差别，SURF使用海森矩阵的行列式值作为特征点侦测并用积分图加速运算，检测速度比SIFT提高了数倍。但是，要想在微型无人机上应用SURF算法(A.Harsha Vardhan；Nishchal K.Verma；Rahul K.Sevakula；Al Salour.Unsupervised approach for object matching using Speeded Up Robust Features.IEEE Applied Imagery Pattern Recognition Workshop(AIPR)13-15Oct.2015)，需要牺牲一定的准确性以换取执行速度。2011年C′eline Teuli`ere,Laurent Eck,Eric Marchand等人在IEEE/RSJ International Conference上发表的论文提出了一种基于颜色追踪移动目标的算法，并用所提方法在微型无人机上实现了追踪系统。图像的颜色特征描述的是图像的全局特征，其对图像的局部大小、方向、形状等变化不敏感，不能很好地得到图像的局部特征，形态学轮廓容易受摄像角度影响产生形变。综上，角点检测速度快，但受到图像噪声、光照等的影响，它的健壮性不是很好。SIFT和SURF计算复杂，在有限的条件下实时性和准确性不能兼得，并且当视频中不存在目标图像时也能检测到特征点。图像的颜色和形态学特征受光照强弱、拍摄角度等影响，不能完全分辨目标和噪声。因此，以上方法都不可行，有必要寻找一种抗干扰能力强，实时性强的目标检测方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于标志物多特征融合的无人机自动寻的着陆方法，能够利用机载摄像设备实时获取的图像，采用目标模板匹配和目标颜色、形态学轮廓相结合的方式准确找出降落标志物位置。本专利技术利用了颜色、形态学轮廓、特征点，多种特征来完成检测。具有高抗干扰性，可以有效解决实时图像与模板图像在视角变换、几何变换、仿射变换、畸变、亮度变换、噪声干扰等恶劣情况下的匹配问题。本专利技术为解决上述技术问题采用以下技术方案：本专利技术提供一种基于标志物多特征融合的无人机自动寻的着陆方法，所述标志物仅包括红绿蓝中的任意两种颜色，包括以下具体步骤：步骤1，载入标志物的基准图像，提取基准图像的特征点集合和特征向量；步骤2，接入机载摄像机的实时视频流，对视频图像进行逐帧处理，具体为：201，提取场景图的最优匹配特征点集合，具体为：1)提取当前帧场景图的特征点集合和特征向量；2)将当前帧场景图的特征点集合和基准图像的特征点集合进行匹配，获得匹配特征点对集合；3)计算匹配特征点对集合中所有匹配特征点对的特征向量之间的欧氏距离，并对求得的欧氏距离进行排序，得到匹配特征点对的距离集合；4)计算匹配特征点对的距离集合中距离的均值mean(Ds)，并找出匹配特征点对的距离集合中的最短距离min(Ds)，若mean(Ds)/min(Ds)＞T，则当前帧场景图和基准图像匹配，进入5)，否则舍弃当前帧场景图，返回1)执行对下一帧场景图的操作；其中，T为第一阈值；5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合，从而得到场景图的最优匹配特征点集合；202，获取基准图在场景图中的最优位置，具体为：a)对当前帧场景图进行RGB三通道分离，得到R、G、B通道图像；b)选取对应标志物所含两种颜色的当前帧场景图的两个通道图像，分别计算其与另外两个通道图像的像素值的相对强度的乘积，得到两张相对像素强度的灰度图I1和I2；c)对b)中的到的灰度图I1和I2进行阈值化，得到二值化图像和b)膨胀对其中白色像素块边缘提亮，得到图像d)获取中的连通域，按照边界长度对连通域进行排序，滤除边界长度不在有效边界长度范围内的连通域；e)获取d)中剩余连通域的外接矩形，滤除外接矩形长宽比不在有效比值范围内的连通域；f)将e)中剩余连通域映射到和上，所得到的区域作为兴趣区；对兴趣区内求像素和，获取每个连通域对应的一对兴趣区的像素和的比值，滤除该比值小于第二阈值的连通域；g)将f)中剩余连通域中对应的一对兴趣区的像素和的比值最大的连通域，作为基准图在场景图中的最优位置；步骤3，获取201中得到的最优匹配特征点集合中落入基准图在场景图中的最优位置中的特征点，这些特征点的像素中心即为标志物的位置。作为本专利技术的进一步优化方案，步骤201中5)利用矢量场一致VFC算法和最大期望本文档来自技高网...
【技术保护点】
基于标志物多特征融合的无人机自动寻的着陆方法，所述标志物仅包括红绿蓝中的任意两种颜色，其特征在于，包括以下具体步骤：步骤1，载入标志物的基准图像，提取基准图像的特征点集合和特征向量；步骤2，接入机载摄像机的实时视频流，对视频图像进行逐帧处理，具体为：201，提取场景图的最优匹配特征点集合，具体为：1)提取当前帧场景图的特征点集合和特征向量；2)将当前帧场景图的特征点集合和基准图像的特征点集合进行匹配，获得匹配特征点对集合；3)计算匹配特征点对集合中所有匹配特征点对的特征向量之间的欧氏距离，并对求得的欧氏距离进行排序，得到匹配特征点对的距离集合；4)计算匹配特征点对的距离集合中距离的均值mean(Ds)，并找出匹配特征点对的距离集合中的最短距离min(Ds)，若mean(Ds)/min(Ds)＞T，则当前帧场景图和基准图像匹配，进入5)，否则舍弃当前帧场景图，返回1)执行对下一帧场景图的操作；其中，T为第一阈值；5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合，从而得到场景图的最优匹配特征点集合；202，获取基准图在场景图中的最优位置，具体为：a)对当前帧场景图进行RGB三通道分离，得到R、G、B通道图像；b)选取对应标志物所含两种颜色的当前帧场景图的两个通道图像，分别计算其与另外两个通道图像的像素值的相对强度的乘积，得到两张相对像素强度的灰度图I1和I2；c)对b)中的到的灰度图I1和I2进行阈值化，得到二值化图像和b)膨胀对其中白色像素块边缘提亮，得到图像d)获取中的连通域，按照边界长度对连通域进行排序，滤除边界长度不在有效边界长度范围内的连通域；e)获取d)中剩余连通域的外接矩形，滤除外接矩形长宽比不在有效比值范围内的连通域；f)将e)中剩余连通域映射到和上，所得到的区域作为兴趣区；对兴趣区内求像素和，获取每个连通域对应的一对兴趣区的像素和的比值，滤除该比值小于第二阈值的连通域；g)将f)中剩余连通域中对应的一对兴趣区的像素和的比值最大的连通域，作为基准图在场景图中的最优位置；步骤3，获取201中得到的最优匹配特征点集合中落入基准图在场景图中的最优位置中的特征点，这些特征点的像素中心即为标志物的位置。...
【技术特征摘要】
1.基于标志物多特征融合的无人机自动寻的着陆方法，所述标志物仅包括红绿蓝中的任意两种颜色，其特征在于，包括以下具体步骤：步骤1，载入标志物的基准图像，提取基准图像的特征点集合和特征向量；步骤2，接入机载摄像机的实时视频流，对视频图像进行逐帧处理，具体为：201，提取场景图的最优匹配特征点集合，具体为：1)提取当前帧场景图的特征点集合和特征向量；2)将当前帧场景图的特征点集合和基准图像的特征点集合进行匹配，获得匹配特征点对集合；3)计算匹配特征点对集合中所有匹配特征点对的特征向量之间的欧氏距离，并对求得的欧氏距离进行排序，得到匹配特征点对的距离集合；4)计算匹配特征点对的距离集合中距离的均值mean(Ds)，并找出匹配特征点对的距离集合中的最短距离min(Ds)，若mean(Ds)/min(Ds)＞T，则当前帧场景图和基准图像匹配，进入5)，否则舍弃当前帧场景图，返回1)执行对下一帧场景图的操作；其中，T为第一阈值；5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合，从而得到场景图的最优匹配特征点集合；202，获取基准图在场景图中的最优位置，具体为：a)对当前帧场景图进行RGB三通道分离，得到R、G、B通道图像；b)选取对应标志物所含两种颜色的当前帧场景图的两个通道图像，分别计算其与另外两个通道图像的像素值的相对强度的乘积，得到两张相对像素强度的灰度图I1和I2；c)对b)中的到的灰度图I1和I2进行阈值化，得到二值化图像和b)膨胀对其中白色像素块边缘提亮，得到图像d)获取中的连通域，按照边界长度对连通域进行排序，滤除边界长度不在有效边界长度范围内的连通域；e)获取d)中剩余连通域的外接矩形，滤除外接矩形长宽比不在有效比值范围内的连通域；f)将e)中剩余连通域映射到和上，所得到的区域作为兴趣区；对兴趣区内求像素和，获取每个连通域对应的一对兴趣区的像素和的比值，滤除该比值小于第二阈值的连通域；g)将f)中剩余连通域中对...
【专利技术属性】
技术研发人员：吉利，白晓东，赵来定，谢继东，马曙晖，吕晨飞，张珺蓉，肖建，李锐，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。