一种基于视觉的无人机动态目标跟踪与定位方法技术

一种基于视觉的无人机动态目标跟踪与定位方法，该方法利用两个摄像头采集监控区域图像，通过监控区域背景动态更新和目标物体提取，利用双目识别定位原理，生成视角区域三维点云；结合目标物体提取和双目识别定位原理，动态跟踪定位目标物体。本发明专利技术将视觉测距与目标跟踪在视频监控领域相结合，通过目标动态跟踪，确定目标所在图像的像素坐标，结合视觉测距生成的三维点云，锁定目标物体，并确定其三维坐标。当目标物体进入警戒区域，系统便可发出警报，达到实时预警的目的；捕捉到的目标物体的位置信息给后台工作人员的实际操控提供科学依据。

A vision based method for tracking and locating dynamic targets of UAVs

A vision-based dynamic target tracking and positioning method for UAV is presented. Two cameras are used to capture the image of the monitoring area. The background of the monitoring area is updated dynamically and the target object is extracted. The binocular recognition and positioning principle is used to generate the three-dimensional point cloud of the viewing area. The method combines the object extraction and binocular recognition to locate the original object. The target object is dynamically tracked. The invention combines visual ranging with target tracking in the field of video surveillance, determines the pixel coordinates of the image where the target is located by dynamic target tracking, and locks the target object and determines its three-dimensional coordinates by combining the three-dimensional point cloud generated by visual ranging. When the target object enters the warning area, the system can issue an alarm to achieve the purpose of real-time warning. The position information of the target object captured provides a scientific basis for the actual manipulation of backstage staff.

【技术实现步骤摘要】
一种基于视觉的无人机动态目标跟踪与定位方法
本专利技术涉及无人机视觉控制技术，尤其涉及一种基于视觉的无人机动态目标跟踪与定位方法。
技术介绍
无人机通常通过视觉传感器感知周围环境，地面站对下传的传感器信息处理分析获取有效信息引导无人机飞行。无人机常常携带的光电设备包括CCD光电摄像机、红外热像仪、合成孔径雷达成像等。其中CCD摄像机不仅能够获得高解析度的图像情报，而且容易与红外焦平面阵列结合形成多光谱成像系统，因此成为小型无人机首选甚至是唯一的光电视觉传感器。无人机利用机载CCD摄像机对飞行区域进行监控，获取的航空图像经过压缩后通过卫星链路下传回地面，地面站对数据进行解压缩处理，得到原始的无人机航空图像。对下传的航空视频进行预处理，图像增强、滤波和去噪，以提高图像的清晰度，经过图像分割、特征提取等步骤后标识出目标，在后续的视频帧中图像跟踪该运动目标，计算目标相应于光轴的偏差大小及方向，并将水平与俯仰方向的偏差信号上传给无人机机载光轴伺服系统，控制光轴角度，使所跟踪的目标始终保持在成像平面中央，从而可以进行长时间的锁定该目标，引导无人机跟踪飞行。要实现在无人机飞行过程中实时监测地面，获取感兴趣目标的方位信息，首先需要从序列航空图像中检测出运动目标。无人机机载摄像机的运动使得航空视频的背景环境也是运动的，因此变化的背景对动态目标的检测将会造成极大的干扰。运动检测主要包括帧差法、背景差分法和光流法。前两种方法虽然实现简单，但是对动态场景中的运动目标之外的变化因素都非常敏感，不能满足动态背景下的动态目标的检测需求；光流法采用了运动目标随时间变化的光流特性，该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标，但计算量很大且易受噪声、光照等干扰，因此也不适合无人机机载视频处理的需求。针对动态背景中运动目标检测，不少文献也做了相关方面的研究。基本思想是通过机载传感器或者图像处理估计出背景的运动模型，补偿背景的运动，从而将动态背景下动态目标的检测问题转化为静态背景下动态目标的检测。检测出运动目标之后，需要在后续视频中连续跟踪该运动目标，实时获取运动目标的位置信息。运动目标跟踪算法一般分为基于区域、基于特征和基于模型的跟踪算法。在无人机航空视频的图像跟踪中，为了满足引导无人机飞行的需求，跟踪算法需要精确锁定特定目标并且算法实时性要高。MeanShift算法是一种有效且常用的跟踪算法，其本质上属于基于特征的跟踪算法。分为以下几步：首先在初始帧中建立目标特征，使用颜色直方图来描述目标区域的特征；然后在后续帧中进行目标候选区域特征提取；最后通过相似性函数判断当前帧中候选区域是否为真实目标。MeanShift算法实时性较好；采用归一化核函数直方图建模，对边缘遮挡、目标形变以及背景变化不敏感，但其仍然存在使用上的局限性，一方面，由于MeanShift采用核函数颜色直方图建模，颜色直方图是一种比较弱的对目标特征的描述，当背景和目标的颜色分布较相似的时候，算法效果欠佳，搜索目标往往收敛于背景中与目标颜色分布比较相似的物体，另一方面不能跟踪快速运动的物体。Kalman滤波是在协方差估计误差最小的意义上的最优的递归算法，即只要获知上一时刻状态的估计值以及当前状态的观测值就可以计算出当前状态的估计值，视觉的跟踪看作推理的过程。缺点在于方法的鲁棒性还有待加强，需要有较为准确的初始值，适用于规律运动的目标跟踪。CCD摄像机中呈现的只是运动目标二维的运动信息，因此需要加入其它传感器和采用一定的算法才能实现运动目标的相对定位。通常情况下用激光测距仪测量目标相对无人机的距离得到精确的目标相对位置和相对速度。激光测距是采用脉冲激光，无法做到实时的连续测距，因此我们应当考虑实时的测距算法。在现有的技术中，复杂背景下无人机对运动目标的跟踪与定位，通常辅助人工搜索的方法检测特定运动目标，并用跟踪算法实现运动目标在图像中的跟踪，计算脱靶量，从而控制光轴伺服系统实现光轴稳定跟踪，是一种半自主的引导方式。并且对无人机的引导，大多数情况下是角度导引，并非位置导引，因此有一定的局限性。
技术实现思路
本专利技术目的是为了克服现有技术的不足，提供一种可在复杂背景下无人机对运动目标的跟踪与定位从而完成对无人机的引导的基于视觉的无人机动态目标跟踪与定位方法。为了实现上述目的，本专利技术采用如下技术方案：一种基于视觉的无人机动态目标跟踪与定位方法，包括如下步骤：步骤1，目标物体提取：动态建立背景图库并实时更新，给不同动态程度的背景赋予不同的阈值，根据当前图像和背景图库中图像的差分运算结果，区分当前图像中的前景与背景部分，并将背景部分更新到背景图库中；步骤2，双目测距：(1)消除图像畸变与摄像头校正：利用泰勒级数展开并结合添加校正因子，校正所采集图像畸变；采用16*12棋盘作为标定物对摄像头进行标定，通过距离最小化、投影最大化原则来确保棋盘图像中的特征点均匀分布，利用棋盘特征点和图像特征点的几何关系得出坐标点对方程，从而求解摄像头内外参数，通过内参数校正畸变图像，得出更加真实自然的图像；通过外参数调整两副图像相对棋盘的角度和位置，输出行对准的校正图像；(2)图像匹配：同时在不同视场拍摄目标物体的多幅图像，查找左右摄像头在同一时刻不同视场所拍摄图像的相同特征，分析其中的差异，输出同一特征点在左右图像上的像素坐标差值；(3)重投影：将左右图像相同特征点像素坐标差分结果通过三角测量法转化成距离，输出视角图像的三维点云；步骤3，目标跟踪定位：将左右摄像头所拍摄图像中的任意一幅当前帧图像和相应背景图像作差分，动态锁定图像中的目标，并提取其在当前帧的像素坐标，结合双目测距生成的三维点云信息，确定该目标的三维点云，求得目标物体在世界坐标系中的坐标。作为优选，所述步骤1中使用混合高斯模型，减弱图像中类似于树叶晃动的干扰因素，以减少前景与背景的相互干扰；根据动态阈值有效分离当前帧前景及背景图像，并将当前图像的背景部分更新到背景图库中；依据提取的前景图像，确定前景所处图像的像素坐标，为计算前景图像的三维世界坐标提供科学依据。作为优选，所述利用泰勒级数展开并结合添加校正因子的方法如下：假设一幅图像的灰度级为L，灰度值为i像素个数为ni，总的像素数为N，每一个灰度值出现的概率为Pi，则有：选择阈值T，将图像划分为两类：C0：(0，1，2，...，T)；C1：(T+1，T+2，...，L-1)；C0和C1类出现的概率分别为：这两类像素的平均灰度值分别为：整幅图像的平均灰度值为：C0和C1类的方差分别为：总方差为：其中类内方差和类间方差分别为：通过类间方差作为校正因子的测量准则，计算每个灰度值导出的类别的类间方差自动确定使得类间方差最大的阈值，当类间方差最大的时候，认为此时前景和背景差异最大，因此，最佳阈值为：专利技术的有益效果是：(1)通过建立的动态背景图库模型，经图像处理，可动态锁定进入监控区域的目标物体，为安防领域的实时预警提供支撑。(2)采用双目测距原理，结合目标物体的前景提取，可准确获取目标物体的位置信息，弥补传统视频监控不能提供目标物体精确位置信息的不足，提高视频监控的智能化水平。附图说明图1为本专利技术总体原理示意图。图2为本专利技术目标物体测量定位流程图。图3为摄像头成像模型图。图4为三角本文档来自技高网...

【技术保护点】
1.一种基于视觉的无人机动态目标跟踪与定位方法，包括如下步骤：步骤1，目标物体提取：动态建立背景图库并实时更新，给不同动态程度的背景赋予不同的阈值，根据当前图像和背景图库中图像的差分运算结果，区分当前图像中的前景与背景部分，并将背景部分更新到背景图库中；步骤2，双目测距：(1)消除图像畸变与摄像头校正：利用泰勒级数展开并结合添加校正因子，校正所采集图像畸变；采用16*12棋盘作为标定物对摄像头进行标定，通过距离最小化、投影最大化原则来确保棋盘图像中的特征点均匀分布，利用棋盘特征点和图像特征点的几何关系得出坐标点对方程，从而求解摄像头内外参数，通过内参数校正畸变图像，得出更加真实自然的图像；通过外参数调整两副图像相对棋盘的角度和位置，输出行对准的校正图像；(2)图像匹配：同时在不同视场拍摄目标物体的多幅图像，查找左右摄像头在同一时刻不同视场所拍摄图像的相同特征，分析其中的差异，输出同一特征点在左右图像上的像素坐标差值；(3)重投影：将左右图像相同特征点像素坐标差分结果通过三角测量法转化成距离，输出视角图像的三维点云；步骤3，目标跟踪定位：将左右摄像头所拍摄图像中的任意一幅当前帧图像和相应背景图像作差分，动态锁定图像中的目标，并提取其在当前帧的像素坐标，结合双目测距生成的三维点云信息，确定该目标的三维点云，求得目标物体在世界坐标系中的坐标。...

【技术特征摘要】
1.一种基于视觉的无人机动态目标跟踪与定位方法，包括如下步骤：步骤1，目标物体提取：动态建立背景图库并实时更新，给不同动态程度的背景赋予不同的阈值，根据当前图像和背景图库中图像的差分运算结果，区分当前图像中的前景与背景部分，并将背景部分更新到背景图库中；步骤2，双目测距：(1)消除图像畸变与摄像头校正：利用泰勒级数展开并结合添加校正因子，校正所采集图像畸变；采用16*12棋盘作为标定物对摄像头进行标定，通过距离最小化、投影最大化原则来确保棋盘图像中的特征点均匀分布，利用棋盘特征点和图像特征点的几何关系得出坐标点对方程，从而求解摄像头内外参数，通过内参数校正畸变图像，得出更加真实自然的图像；通过外参数调整两副图像相对棋盘的角度和位置，输出行对准的校正图像；(2)图像匹配：同时在不同视场拍摄目标物体的多幅图像，查找左右摄像头在同一时刻不同视场所拍摄图像的相同特征，分析其中的差异，输出同一特征点在左右图像上的像素坐标差值；(3)重投影：将左右图像相同特征点像素坐标差分结果通过三角测量法转化成距离，输出视角图像的三维点云；步骤3，目标跟踪定位：将左右摄像头所拍摄图像中的任意一幅当前帧图像和相应背景图像作差分，动态锁定图像中的目标，并提取其在当前帧的像素坐标，结合双目测...

【专利技术属性】
技术研发人员：高扬，赵钧，徐玉良，闫廷廷，
申请(专利权)人：中交遥感载荷北京科技有限公司，
类型：发明
国别省市：北京,11