基于运动估计和视觉跟踪的云台自动锁定系统和方法技术方案

本发明专利技术公开了一种基于运动估计和视觉跟踪的云台自动锁定系统和锁定方法，其中，锁定系统包括由数据链路实现通讯的天空端和地面端，其中天空端由变焦相机、三轴云台、云台电机、控制器及编码模块构成，地面端主要包括控制模块，方便操作人员在地面操纵云台相机实现目标跟踪和和精细调整；基于上述自动锁定系统的锁定方法，通过创新的跟踪算法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。另外，该锁定方法还可以根据目标在图像中的占比自动调节焦距，使其处于合适的大小。

An automatic locking system and method of cloud platform based on motion estimation and visual tracking

【技术实现步骤摘要】
基于运动估计和视觉跟踪的云台自动锁定系统和方法
本专利技术涉及一种云台自动锁定系统和方法，具体涉及一种基于运动估计和视觉跟踪的云台自动锁定系统和方法。
技术介绍
云台相机是监控领域中最常用的监控前端设备之一，借助云台相机可实时观察监控区域的每一个角落。无人机是云台相机的优良载体，其可以将相机的视角带到空中，以较高的角度避开地面遮挡，有效发现、跟踪目标。随着技术的发展，现在的无人机云台普遍向高变焦比、远距离监控发展，其具有较大的图像放大倍数，可以在很远的距离监控较小的目标（人员、车辆等）。但当云台相机变焦比提高时（相当于图像放大倍率提高），会产生以下两点问题，不利于人员操纵云台相机跟踪目标：（1）云台相机的微小旋转运动会使视野发生较大改变，难以精细调整；（2）目标的小范围移动也会使其迅速脱离视野，不利于人员搜索、观察目标。为了解决以上问题，逐渐出现了一些利用机器视觉与伺服系统的自动目标跟踪云台，其使用目标跟踪算法在相机图像中锁定目标位置，进而控制云台电机转动云台，使目标稳定在图像中央。这种技术可以在一定程度上解决了前面提到的问题，但造成了新的缺陷：（1）使用的目标跟踪算法只能在图像中跟踪目标位置，无法调节目标框的大小。当被跟踪目标朝向或远离无人机移动时，其在图像中的大小会发生改变，跟踪算法无法适应这种变化，容易导致跟踪失败。（2）当目标与无人机的距离发生改变时，云台无法自动变焦适应这种变化，容易导致远离的目标在图像中的占比太小，或者接近的目标占比太大，不利于操纵人员观测。鉴于上述问题，有必要对云台锁定系统进行改进，提高目标跟踪精度和正确性。
技术实现思路
为解决现有技术的不足，本专利技术的目的在于提供一种基于运动估计和视觉跟踪的无人机云台自动锁定系统和方法，实现对目标的正确跟踪和实时调焦。为了实现上述目标，本专利技术采用如下的技术方案：本专利技术首先公布了一种基于运动估计和视觉跟踪的云台自动锁定系统，包括：变焦相机、三轴云台、云台电机、控制器、数据链路、编码模块及控制模块，所述变焦相机、三轴云台、云台电机、控制器及编码模块构成天空端，所述控制模块构成地面端，所述天空端与地面端通过数据链路实现通讯，数据链路的通讯方式优选为无线通讯；所述变焦相机安装于三轴云台上，用于拍摄视频数据；所述三轴云台由受控制器控制的云台电机驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动；所述编码模块将拍摄到的视频数据进行编码，经由数据链路传输至控制模块；所述控制模块对接受到的视频数据进行解码、还原、运动估计和预处理，跟踪寻找用户框选目标并得出目标在图像中的中心坐标和大小，同时计算出云台电机偏移控制量和变焦控制量，分别传输至控制器和变焦相机。优选地，前述控制模块包括：解码子模块：将天空端传输的数据进行解码，还原为RGB格式的图像数据；运动估计子模块：得到预期的目标位置差值；图像数据预处理子模块：将原始图像变换至合适大小，并消除噪点平滑图像；视觉跟踪算法子模块：在图像中获取到目标的位置和大小；云台控制子模块：实现变焦控制，调整变焦镜头。通过天空端与地面端的信号通讯和反馈互动，即可跟踪寻找用户框选的指定目标，获得目标在图像中的中心坐标和大小，并调整变焦相机给变镜头焦距，使目标在画面中的比例处于最合适。本专利技术还公布了利用前述的云台自动锁定系统实现云台自动锁定的方法，包括如下步骤：S1、变焦相机采集视频数据，编码模块对视频数据进行编码后由数据链路传输至地面端的控制模块；S2、解码子模块对接收到的数据进行解码，还原为RGB格式的数据图像，显示在人机交互界面上；S3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理模块对变焦相机传回的图片进行运动估计和图像数据预处理，然后跟踪算法模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；S4、云台控制子模块计算出云台电机偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机，使变焦相机对准并持续跟踪锁定目标，同时调整变焦相机改变镜头焦距。优选地，前述步骤S1中，编码模块的编码标准为H265标准。更优选地，前述解码子模块还包括：解码云台控制信息，分离出偏航和俯仰轴的云台位置信息和转动速度信息。再优选地，前述运动估计子模块的算法过程为：记图像宽度cols=320像素（px），高度rows=240像素（px），相机在宽度方向上的视场角FOV为，高度方向的视场角为，云台在航向角上的角速度为p，俯仰方向上的角速度为q，则云台旋转造成的图像位移为：其中，和分别表示图像在方向和方向的位移。更优选地，前述图像预处理子模块包括两个步骤：（1）将原始图像变换到合适的大小，通常选为320*240像素（px），以降低CPU计算量，提高处理速度，提高算法执行帧率；（2）进行中值滤波，消除图像中的噪点，平滑图像。进一步优选地，前述跟踪算法子模块的算法过程如下：（1）根据上一帧跟踪的目标位置和运动估计模块解出的预期运动，得出新的目标预计位置和大小四元组；（2）按照自适应尺度系数=0.98、0.99、1.00、1.01、1.02的方式选取五个目标候选区域，生成5个输入图像：，其中=1,2,3,4,5；（3）针对每个不同尺度的输入，分别按照相应的自适应尺度系数变换滤波器矩阵，得不同尺度的相关性滤波器，并计算响应：（4）对5个输入尺度的响应，取其最大值点作为这一帧的目标位置，取此时的目标尺度作为目标尺度和新的滤波器矩阵大小；（5）利用新的目标位置和尺度更新相关性滤波器矩阵：其中为滤波器的更新率，和为当前帧滤波器的分子和分母，和为上一帧滤波器的分子和分母，是指使响应最大的那个。再进一步优选地，前述跟踪算法子模块输出的数值为目标中心位置和大小四元组（x,y,w,h）。更进一步优选地，前述云台控制子模块采用目标大小占整个图像面积的比值作为输入量，若检测到目标大小超出初始比值的1.1倍，则控制变焦镜头缩短焦距0.1倍；若检测到目标大小小于初始比值的0.9倍，则控制变焦镜头增大焦距0.1倍。本专利技术的有益之处在于：（1）本专利技术的云台自动锁定系统基于运动估计与视觉跟踪技术，系统包括由数据链路实现通讯的天空端和地面端，其中天空端由变焦相机、三轴云台、云台电机、控制器及编码模块构成，地面端主要包括控制模块，方便操作人员在地面操纵云台相机实现目标跟踪和和精细调整；（2）基于上述自动锁定系统的锁定方法，通过创新的跟踪算法可以自动补偿云台运动造成的目标位置变化，提高了目标位置估计的精度；同时，通过在跟踪算法中设置尺度池，可以自适应跟踪目标的距离变化，无论其在图像中的占比变大还是变小，都可以正确跟踪。（3）该锁定方法可以根据目标在图像中的占比自本文档来自技高网...

【技术保护点】
1.基于运动估计和视觉跟踪的云台自动锁定系统，其特征在于，包括变焦相机、三轴云台、云台电机、控制器、数据链路、编码模块及控制模块，所述变焦相机、三轴云台、云台电机、控制器及编码模块构成天空端，所述控制模块构成地面端，所述天空端与地面端通过数据链路实现通讯；/n所述变焦相机安装于三轴云台上，用于拍摄视频数据；/n所述三轴云台由受控制器控制的云台电机驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动；/n所述编码模块将拍摄到的视频数据进行编码，经由数据链路传输至控制模块；/n所述控制模块对接受到的视频数据进行解码、还原、运动估计和预处理，跟踪寻找用户框选目标并得出目标在图像中的中心坐标和大小，同时计算出云台电机偏移控制量和变焦控制量，分别传输至控制器和变焦相机。/n

【技术特征摘要】
1.基于运动估计和视觉跟踪的云台自动锁定系统，其特征在于，包括变焦相机、三轴云台、云台电机、控制器、数据链路、编码模块及控制模块，所述变焦相机、三轴云台、云台电机、控制器及编码模块构成天空端，所述控制模块构成地面端，所述天空端与地面端通过数据链路实现通讯；
所述变焦相机安装于三轴云台上，用于拍摄视频数据；
所述三轴云台由受控制器控制的云台电机驱动，实现在偏航、横滚、俯仰三个角度上按照控制指令运动；
所述编码模块将拍摄到的视频数据进行编码，经由数据链路传输至控制模块；
所述控制模块对接受到的视频数据进行解码、还原、运动估计和预处理，跟踪寻找用户框选目标并得出目标在图像中的中心坐标和大小，同时计算出云台电机偏移控制量和变焦控制量，分别传输至控制器和变焦相机。


2.根据权利要求1所述的基于运动估计和视觉跟踪的云台自动锁定系统，其特征在于，所述控制模块包括：
解码子模块：将天空端传输回的数据进行解码，还原为RGB格式的图像数据；
运动估计子模块：得到预期的目标位置差值；
图像数据预处理子模块：将原始图像变换至合适大小，并消除噪点平滑图像；
视觉跟踪算法子模块：在图像中获取到目标的位置和大小；
云台控制子模块：实现变焦控制，调整变焦镜头。


3.利用权利要求1所述的云台自动锁定系统实现云台自动锁定的方法，其特征在于，包括如下步骤：
S1、变焦相机采集视频数据，编码模块对视频数据进行编码后由数据链路传输至地面端的控制模块；
S2、解码子模块对接收到的图像数据进行解码，还原为RGB格式的数据图像，显示在人机交互界面上；
S3、操作用户在人机交互界面中框选指定的目标，算法逻辑进入跟踪模式，首先通过运动估计模块和图像数据预处理模块对变焦相机传回的图片进行运动估计和图像数据预处理，然后跟踪算法模块逐帧寻找用户框选的目标，获得目标在图像中的中心坐标和大小；
S4、云台控制子模块计算出云台电机偏移控制量和变焦控制量，并将数据反馈至控制器驱动云台电机，使变焦相机对准并持续跟踪锁定目标，同时调整变焦相机改变镜头焦距。


4.根据权利要求3所述的云台自动锁定方法，其特征在于，所述步骤S1中，编码模块的编码标准为H265标准。


5.根据权利要求3所述的云台自动锁定方法，其特征在于，...

【专利技术属性】
技术研发人员：尹彦卿，罗伟，陈梦云，
申请(专利权)人：中航金城无人系统有限公司，
类型：发明
国别省市：江苏;32