一种无人机视觉目标跟随方法及系统技术方案

本发明专利技术适用于无人机技术领域，提供了一种无人机视觉目标跟随方法，包括下述步骤：步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。本发明专利技术融合了快速角点特征和颜色特征，有效利用了图像的局部信息和全局信息，从而降低了机载传感器对目标状态估计的影响。

【技术实现步骤摘要】

本专利技术属于无人机
，尤其涉及一种无人机视觉目标跟随方法及系统，可 适用于空战中跟随锁定敌方目标、城市反恐时跟随恐怖车辆、海上搜救时及时发现并锁定 落难人员、高空作业、矿井探测等。
技术介绍
随着科技的不断进步，无人机逐渐被应用于很多方面。无人机的很多任务中都包 含无人机跟随目标的子任务。无人机视觉目标跟随主要依靠图像特征信息的分析提供可靠 的目标信息。近几十年来，无人机视觉目标跟随取得了一系列的进展，如：卡耐基梅隆大学 机器人研宄所的O.Amidi等人提出的一种基于视觉里程计来实时估计无人机运动状态的 方法，其核心是利用安装在无人机底部的摄像机对地面静止目标进行跟随；南加州大学机 器人研宄所以BergenIndustrialTwin直升机为载体，设计并实现了一种基于视觉的无人 机特征跟随控制方法；Saripalli等人设计了一种基于哈密顿方程的轨迹规划方法，可以 实现对移动的地面平台跟随飞行等。但是，上述的研宄中被跟随的目标一般是静止或者缓 慢运动的目标。 目标跟随主要有模型跟随和无模型跟随两大类。有模型和无模型跟随算法主要代 表分别有下述的扩展卡尔曼滤波（EKF)算法和粒子滤波（PF)算法： 有模型滤波跟随方法，适用于线性系统或者近似线性系统中，忽略了系统状态及 噪声的随机分布特征，仅在当前状态、估计值点上作线性变换。这些对于转换后变量均值、 协方差估计引入了较大误差，甚至导致该系统发散。 无模型滤波跟随方法，其是一种基于蒙特卡洛的贝叶斯估计方法。它不受线性化 误差和高斯噪声的限制，弥补了有模型滤波跟随方法的不足。但是，常见问题是退化现象， 即经过几次迭代之后，除了其中一个粒子外其它粒子的权重小到可以忽略。 这两种目标跟随模型是基于图像特征匹配实现目标的检测和跟随。其主要利用的 图像特征有：1)图像的颜色特征。颜色特征描述的是图像的全局特征，由于其对图像区域 的方向、大小等的变化不敏感，因此不能很好地得到目标的局部特征。2)角点特征。角点 特征速度快，但受到光照、图像噪声等的影响，它的健壮性并不好。3)尺度不变特征（sift) 和加速鲁棒特征（surf)。其具有极好的目标描述能力，但是特征计算过程复杂、特征描述维 数较高、特征匹配计算复杂，难以直接应用于无人机实时跟随场景中。
技术实现思路
本专利技术所要解决的技术问题在于提供一种无人机视觉目标跟随方法及系统，旨在 无人机能够稳定地跟随动态目标，实现良好的跟随效果。 本专利技术是这样实现的，一种无人机视觉目标跟随方法，所述方法包括下述步骤： 步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域 的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟 随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍摄的 视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在无人 机拍摄的视频流或序列图像的后续帧图像中预测的目标区域； 步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征 相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合 结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。 本专利技术还提供了一种无人机视觉目标跟随系统，包括： 相似度计算模块，用于对选定跟随的第一目标区域进行FAST角点提取，生成所述 第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标 区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在 无人机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标 区域为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域； 跟随目标确定模块，用于针对选定跟随的各候选目标区域，计算其与第一目标区 域之间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特 征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域 的跟随结果。 本专利技术与现有技术相比，具有如下有益效果： 首先，本专利技术融合了快速角点特征和颜色特征，有效利用了图像的局部信息和全 局信息，从而降低了机载传感器对目标状态估计的影响。 其次，3D点云特征能快速粗略确定候选目标区域的位姿。2D图像多特征（角点和 颜色特征）更好地对候选目标区域进行描述，从而精确候选目标区域的位姿。融合2D图像 和3D点云特征，能够快速稳定地确定无人机跟随的目标。 最后，长时间无人机跟随目标的过程中，其跟随目标的效果会有所下降。采用SURF 特征实现无人机跟随目标的验证，改善了长时间无人机对动态目标跟踪的效果。【附图说明】 图1是本专利技术提供的无人机视觉目标跟随方法的实现流程图； 图2是图1中步骤A的一种具体实现流程图； 图3是本专利技术第一实施例提供的步骤B的具体实现流程图； 图4是本专利技术第二实施例提供的步骤B的具体实现流程图； 图5是本专利技术提供的在目标跟随过程中的跟随效果验证的实现流程图； 图6是本专利技术提供的无人机视觉目标跟随系统的结构原理图； 图7是图6中相似度计算模块的结构原理图； 图8是本专利技术第一实施例提供的图6中跟随目标确定模块的结构原理图； 图9是本专利技术第二实施例提供的图6中跟随目标确定模块的结构原理图； 图10是本专利技术提供的跟随效果验证模块的结构原理图。【具体实施方式】 为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并 不用于限定本专利技术。 针对如何控制无人机飞行状态使其可以较好地跟踪动态目标，我们提出了一种基 于无模型跟踪系统分级融合图像多特征的无人机视觉跟随方法。获取目标的多种特征，利 用特征分级对目标进行检测，根据提出的多特征分级融合方法对目标进行匹配和跟踪。本 专利技术主要是融合2D图像的FAST角点特征、颜色特征、surf特征、3D点云边缘特征，对无人 机目标跟踪效果进行改善。 图1示出了本专利技术提供的无人机视觉目标跟随方法的实现流程，详述如下： 在步骤A中，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标 区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选 定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍 摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在 无人机拍摄的视频流或序列图像的后续帧图像中，预测的目标区域。 在步骤B中，针对选定跟随的各候选目标区域，融合其对应的FAST角点特征相似 度和颜色特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当 前目标区域的跟随结果。 图2示出了上述步骤A的一种具体实现流程，具体包括下述步骤： 步骤A1，对第一目标区域进行多尺度的FAST角点提取，得到第一目标区域的多个 角点集，其中，s表示图像尺度，N表示角点的数量，n表示自然数，Cn表示 第n个角点，（xn，yn)为第n个角点在所述第一帧图像中的像素位置。 步骤A本文档来自技高网...

【技术保护点】
一种无人机视觉目标跟随方法，其特征在于，所述方法包括下述步骤：步骤A，对选定跟随的第一目标区域进行FAST角点提取，生成所述第一目标区域的带权值的FAST角点直方图，并根据生成的FAST角点直方图计算第一目标区域与选定跟随的各候选目标区域之间的FAST角点特征相似度；所述第一目标区域为在无人机拍摄的视频流或序列图像的第一帧图像中，选定跟踪的目标区域；所述各候选目标区域为在无人机拍摄的视频流或序列图像的后续帧图像中预测的目标区域；步骤B，针对选定跟随的各候选目标区域，计算其与第一目标区域之间的颜色特征相似度，然后融合其与第一目标区域的FAST角点特征相似度和颜色特征相似度，并将融合结果中与第一目标区域相似度最高的候选目标区域作为当前目标区域的跟随结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：蒙山，黄容，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44