一种基于二维标签的无人机定位及目标跟踪方法技术

本发明专利技术公开了一种基于二维标签的无人机定位及目标跟踪方法，包括：使用开源计算机视觉库OpenCV对云台相机进行标定；使用虚拟视觉识别系统AprilTags库对处理后的图像进行二维标签的检测；进一步计算出相机的外参数和二维标签相对于相机坐标系的三维坐标及旋转关系，由于二维标签的空间坐标事先已知，从而得到无人机的坐标；根据所得到的二维标签与无人机的三维空间距离，通过闭环控制自主实现对目标的准确跟踪。本发明专利技术具有过程简单、成本低、精度高和鲁棒性好等特点，识别速度能够满足高速实时控制的需求，且能够自主地完成无人机对目标的准确跟踪。

【技术实现步骤摘要】

本专利技术涉及一种无人机定位及目标跟踪方法，属于无人机导航领域。
技术介绍
现有的无人机定位与目标跟踪技术有基于GPS即全球卫星定位系统的定位与目标跟踪技术、射频标签定位技术及基于视觉的无人机动态目标定位与跟踪技术等。其中基于GPS的定位技术通过获取目标的GPS坐标，并对坐标进行结算，从而得到真实的位置坐标，但其存在成本昂贵，定位精度低等缺点。射频标签技术是一种利用射频信号自动识别目标的技术，在识别的过程中，通过建立标签的多功率模型，可以定位标签的位置，但其存在成本高，定位精度低等缺点。它们都无法满足很好地满足无人机高精度定位的需要。基于视觉的无人机动态目标定位与跟踪技术能够进行动态目标的检测和图像跟踪，实现动态目标的较精确定位且自主跟踪地面动态目标飞行。但其过程复杂、计算量大且易受噪声、光照等干扰。
技术实现思路
专利技术目的：为了克服现有无人机定位及目标跟踪技术中存在的不足，本专利技术提供一种基于二维标签的无人机定位及目标跟踪方法，该方法具有过程简单、成本低、精度高和鲁棒性好等特点，能够自主地完成无人机对目标的准确跟踪。技术方案：为实现上述目的，本专利技术采用的技术方案为：通过搭载在无人机上的高性能计算机对无人机的航拍图像进行处理，从而识别出二维标签距离无人机的三维空间距离。由于二维标签的位置已知，由此计算出无人机的空间坐标，并实现无人机对标签的实时跟踪。一种基于二维标签的无人机定位及目标跟踪方法，包括以下步骤：(a)对云台相机的标定：调用机载设备软件开发包中的接口实现对无人机的控制以及飞行数据的读取；在扫描过黑白相间的棋盘后将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV中提供的标定函数，标定出云台相机的内参数，即相机的焦距、主点；(b)进行二维标签的检测：标定完成后继续将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV对视频图像进行解码，接着使用虚拟视觉识别系统AprilTags库，对解码后经尺寸压缩的图像进行二维标签的识别，得到二维标签的序号及二维标签在图像中的坐标；(c)进行二维标签的定位：由步骤(a)、(b)中得到的相机的内参数及二维标签在图像中的坐标计算出相机的外参数，即建立影像中标签的坐标与现实环境中标签的坐标的对应关系，并进一步计算出二维标签相对于相机坐标系的三维坐标及旋转关系，由于二维标签的空间坐标事先已知，从而得到相机的坐标即无人机的坐标；(d)实现对目标二维标签的跟踪：根据步骤(c)得到的二维标签与无人机的三维空间距离，通过闭环控制实现对二维标签的跟踪；具体过程分为三部分：第一部分为云台相机对二维标签的跟踪，即云台伺服控制，通过云台的俯仰偏转角度调整，确保二维标签在相机图像的中央；第二部分为无人机对二维标签的方向跟踪,即通过闭环控制调整无人机的飞行姿态，保持无人机和二维标签运动的方向一致；第三部分为飞机对二维标签的速度跟踪，使用内外环控制无人机的飞行速度，使得无人机始终跟随二维标签飞行。上述过程使用多线程编程来协调，使无人机的控制与二维标签的检测定位同时进行且不互相冲突。图像经解码、压缩后尺寸缩小，能够充分提高二维标签的识别速度，满足高速实时控制的需求，避免丢失目标。虚拟视觉识别系统AprilTags库对二维标签的识别具有很高的精度和很好的鲁棒性，当光照强度变化，二维标签被部分遮挡，二维标签弯曲时，也能准确识别，同时当二维标签的大小为16.6*16.6cm，解码经压缩后的图片大小为640*360时二维标签的识别距离可以达到5米。进一步的，为了减小噪声的影响，步骤(a)中从m个不同的角度拍摄黑白相间的棋盘，对相机进行n次标定后取结果的平均值，其中m和n越大，结果越精确，从而得到相机的内参数矩阵K即 K = f x 0 u 0 0 f y v 0 0 0 1 ]]>其中，fx、fy代表相机的焦距，u0、v0代表相机的光心。进一步的，步骤(b)中经AprilTags库识别后得到二维标签的序号和二维标签在图像中的坐标[x y 1]，x、y为用像素值表示的横、纵坐标。进一步的，步骤(c)相机的外参数计算公式为： s x y 1 = f x 0 u 0 0 f y v 0 0 0 1 r 1 本文档来自技高网...

【技术保护点】
一种基于二维标签的无人机定位及目标跟踪方法，其特征在于，包括以下步骤：(a)对云台相机的标定：调用机载设备软件开发包中的接口实现对无人机的控制以及飞行数据的读取，在扫描过黑白相间的棋盘后将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV中提供的标定函数，标定出云台相机的内参数，即相机的焦距、主点；(b)进行二维标签的检测：标定完成后继续将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV对视频图像进行解码，接着使用虚拟视觉识别系统AprilTags库，对解码后经尺寸压缩的图像进行二维标签的识别，得到二维标签的序号及二维标签在图像中的坐标；(c)进行二维标签的定位：由步骤(a)、(b)中得到的相机的内参数及二维标签在图像中的坐标计算出相机的外参数，并进一步计算出二维标签相对于相机坐标系的三维坐标及旋转关系，由于二维标签的空间坐标事先已知，从而得到相机的坐标即无人机的坐标；(d)实现对目标二维标签的跟踪：根据步骤(c)得到的二维标签与无人机的三维空间距离，通过闭环控制实现对二维标签的跟踪；具体过程分为三部分：第一部分为云台相机对二维标签的跟踪，即云台伺服控制，通过云台的俯仰偏转角度调整，确保二维标签在相机图像的中央；第二部分为无人机对二维标签的方向跟踪,即通过闭环控制调整无人机的飞行姿态，保持无人机和二维标签运动的方向一致；第三部分为飞机对二维标签的速度跟踪，使用内外环控制无人机的飞行速度，使得无人机始终跟随二维标签飞行。...

【技术特征摘要】
1.一种基于二维标签的无人机定位及目标跟踪方法，其特征在于，包括以下步骤：(a)对云台相机的标定：调用机载设备软件开发包中的接口实现对无人机的控制以及飞行数据的读取，在扫描过黑白相间的棋盘后将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV中提供的标定函数，标定出云台相机的内参数，即相机的焦距、主点；(b)进行二维标签的检测：标定完成后继续将云台相机拍摄的视频图像传输到机载计算机并使用开源计算机视觉库OpenCV对视频图像进行解码，接着使用虚拟视觉识别系统AprilTags库，对解码后经尺寸压缩的图像进行二维标签的识别，得到二维标签的序号及二维标签在图像中的坐标；(c)进行二维标签的定位：由步骤(a)、(b)中得到的相机的内参数及二维标签在图像中的坐标计算出相机的外参数，并进一步计算出二维标签相对于相机坐标系的三维坐标及旋转关系，由于二维标签的空间坐标事先已知，从而得到相机的坐标即无人机的坐标；(d)实现对目标二维标签的跟踪：根据步骤(c)得到的二维标签与无人机的三维空间距离，通过闭环控制实现对二维标签的跟踪；具体过程分为三部分：第一部分为云台相机对二维标签的跟踪，即云台伺服控制，通过云台的俯仰偏转角度调整，确保二维标签在相机图像的中央；第二部分为无人机对二维标签的方向跟踪,即通过闭环控制调整无人机的飞行姿态，保持无人机和二维标签运动的方向一致；第三部分为飞机对二维标签的速度跟踪，使用内外环控制无人机的飞行速度，使得无人机始终跟随二维标签飞行。2.根据权利要求1所述的一种基于二维标签的无人机定位及目标跟踪方法，其特征在于，步骤(a)中从m个不同的角度拍摄黑白相间的棋盘，对相机进行n次标定后取结果的平均值，得到相机的内参数矩阵K即 K = f x 0 u 0 0 f y v 0 0 0 1 ]]>其中，fx、fy代表相机的焦距，u0、v0代表相机的光心。3.根据权利要求2所述的一种基于二维标签的无人机定位及目标跟踪方法，其特征在于，步骤(b)中经AprilTags库识别后得到二维标签的序号和二维标签在图像中的坐标[x y 1]，x、y为用像素值表示的横、纵坐标。4.根据权利要求3所述的一种基于二维标签的无人机定位及目标跟踪方法，其特征在于，步骤(c)相机的外参数计算公式为： s x y 1 = f x 0 u 0 ...

【专利技术属性】
技术研发人员：裴廷宽，李树森，唐元博，赵子乾，李杰，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32