双轴云台目标跟踪系统及其方法技术方案

本发明专利技术公开了一种双轴云台目标跟踪系统及其方法。该系统包括相机、双轴云台、YOLOX目标检测神经网络、状态转移轨迹预测模块、跟踪控制模块；相机设于双轴云台上，相机与YOLOX目标检测神经网络连接；双轴云台与跟踪控制模块连接；YOLOX目标检测神经网络用于从多帧图像中识别出所要跟踪的目标；状态转移轨迹预测模块用于从不同图像中获取目标的不同位姿，并根据不同图像中目标的不同位姿之间的状态转移关系，对目标的轨迹进行预测；跟踪控制模块用于根据对目标的轨迹预测结果，计算双轴云台所需要转动的偏转角度，然后向双轴云台发出与偏转角度相对应的信号。本发明专利技术提高了在跟踪目标时的精度以及跟踪的响应速度。时的精度以及跟踪的响应速度。时的精度以及跟踪的响应速度。

【技术实现步骤摘要】
双轴云台目标跟踪系统及其方法


[0001]本专利技术属于目标智能识别处理的
，具体涉及一种双轴云台目标跟踪系统及其方法。

技术介绍

[0002]目标跟踪与轨迹预测作为计算机视觉的热门技术之一，应用前景广阔。现有技术中，将相机搭载在双轴云台上，能够实现跟踪监控、目标打击等，且具有结构简单、跟踪准确性高等特点。使用安装在双轴云台的相机进行目标跟踪与轨迹预测，不需要人为在视频网络中频繁切换不同的监控相机画面，可跟踪的范围大大增加，节省人工成本，提高经济效益。
[0003]现有技术中，双轴云台上的相机在获取并识别到目标后，对目标的跟踪需要提前预测轨迹。现有的跟踪方式，有利用相机配合传感器获取目标角速度信号再对信号滤波测量来预测轨迹，也有在用神经网络识别到目标后继续使用深度学习网络来预测目标轨迹的。
[0004]但是，现有技术要么预测轨迹时由于采用的信息量少导致预测精度差，要么由于需要经过大量计算导致延时较高，难以同时兼顾目标跟踪的精度和快速响应的要求。

技术实现思路

[0005]为了克服现有技术存在的一个或者多个缺陷与不足，本专利技术的第一目的在于提供一种双轴云台目标跟踪系统，本专利技术的第二目的在于提供一种双轴云台目标跟踪方法，用于实现兼顾高精度目标跟踪和快速目标跟踪的效果。
[0006]为了达到上述目的，本专利技术采用以下的技术方案。
[0007]一种双轴云台目标跟踪系统，包括相机、双轴云台、YOLOX目标检测神经网络、状态转移轨迹预测模块、跟踪控制模块；
[0008]相机设于双轴云台上，相机与YOLOX目标检测神经网络连接，相机用于拍摄多帧图像；
[0009]双轴云台与跟踪控制模块连接，双轴云台用于根据跟踪控制模块发出的信号进行转动；
[0010]YOLOX目标检测神经网络用于从多帧图像中识别出所要跟踪的目标，获取目标的特征点；
[0011]状态转移轨迹预测模块用于从不同图像中获取目标的不同位姿，并根据不同图像中目标的不同位姿之间的状态转移关系，对目标的轨迹进行预测；
[0012]跟踪控制模块用于根据对目标的轨迹预测结果，计算双轴云台所需要转动的偏转角度，然后向双轴云台发出与偏转角度相对应的信号。
[0013]优选地，双轴云台目标跟踪系统还包括掉帧处理模块；
[0014]掉帧处理模块用于剔除没有识别到存在目标的图像。
[0015]优选地，双轴云台目标跟踪系统还包括相机标定模块；
[0016]相机标定模块用确定相机坐标系。
[0017]一种双轴云台目标跟踪方法，包括前述任一项双轴云台目标跟踪系统，包括步骤如下：
[0018]使用相机拍摄所要跟踪的目标的图像；
[0019]使用YOLOX目标检测神经网络对所拍摄的图像进行处理，从中识别出所要跟踪的目标；
[0020]根据识别出存在目标的图像，计算不同图像中目标的位姿的状态转移关系，然后根据目标位姿的状态转移关系对目标的轨迹进行预测；
[0021]根据对目标轨迹的预测结果计算相机双轴云台需要转动的偏转角度，双轴云台根据该偏转角度带动相机转动相应的角度，从而实现对目标的跟踪。
[0022]优选地，相机在开始拍摄所要跟踪的目标前，先采用张氏标定法对相机进行标定，获得相机的内参。
[0023]进一步地，获得相机内参的步骤具体包括：
[0024]将一个黑白棋盘格作为标定板，用双轴云台转动相机拍摄多帧相机呈现不同角度相对黑白棋盘格时的图像；
[0025]对所拍摄黑白棋盘格的图像中的特征点进行检测，结合世界坐标系计算得到标定板角点的物理坐标系；
[0026]根据标定板角点的物理坐标系，求解相机的内参坐标矩阵、畸变系数，然后采用L
‑
M算法分别对内参坐标矩阵、畸变系数进行优化得到相机坐标系。
[0027]优选地，双轴云台目标跟踪方法的步骤还包括：在对目标进行识别获取特征点后，先进行掉帧处理剔除不存在目标的图像，再根据存在目标的图像进行轨迹预测。
[0028]进一步地，进行掉帧处理的过程为：
[0029]为存在目标的第一帧图像创建目标序列，设定目标序列的最大图像帧容量；
[0030]在目标序列容量未满时，当后续的图像存在目标时，则将存在目标的后续的图像按顺序添加至目标序列，当后续的图像不存在目标，则将不存在目标图像帧丢弃；
[0031]在目标序列已满后，当下一帧的图像中存在目标时，按顺序将目标序列首端的一帧存在目标的图像丢弃，再将下一帧存在目标的图像添加至目标序列末端，从而更新目标序列。
[0032]优选地，对目标进行轨迹预测的过程为：
[0033]根据Pnp算法计算目标当前一帧图像的位姿，并将其位姿分解为旋转矩阵R
t
、平移向量T
t
；
[0034]设定当前一帧图像的对应的上一帧图像中目标的位姿的旋转矩阵为R
t
‑1、平移向量为T
t
‑1，设定上一帧图像中目标的位姿的齐次变换矩阵与当前一帧图像中目标的位姿之间，两个齐次变换矩阵间的状态转移矩阵为A
t
，A
t
的计算如下式所示：
[0035][0036]设当前一帧图像中目标的位姿的齐次矩阵为H，所要预测的下一帧图像中目标的位姿的齐次矩阵为H
′
、旋转矩阵为R
′
、平移向量为T
′
，齐次矩阵为H
′
的计算如下式所示：
[0037]H
′
＝H
·
A
t
[0038]设定齐次矩阵H
′
在下一帧图像的坐标系中对应目标的中心点P
i
；
[0039]设定点P
i
坐标为(X
i
,Y
i
,1)
T
、点P
i
在相机坐标系的Z轴上的分量为Z
c
、相机的内参坐标矩阵为K、相机的外参坐标矩阵为E；
[0040]根据齐次矩阵为H
′
对平移向量T
′
作如下式所示反投影，得到点P
i
坐标(X
i
,Y
i
,1)
T
：
[0041][0042]设在相机坐标系中所要跟踪的目标的下一点P
c
的坐标为(X
c
,Y
c
,Z
c
)
T
，X
c
、Y
c
、Z
c
分别为点P
c
在X轴、Y轴、Z轴上的坐标，点P
c
与点P
i
相对应，点P
c
和点P
i
的坐标转换如下式所示：
[0043][0044]其中，f表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双轴云台目标跟踪系统，其特征在于，包括相机、双轴云台、YOLOX目标检测神经网络、状态转移轨迹预测模块、跟踪控制模块；所述相机设于双轴云台上，相机与YOLOX目标检测神经网络连接，相机用于拍摄多帧图像；所述双轴云台与跟踪控制模块连接，双轴云台用于根据跟踪控制模块发出的信号进行转动；所述YOLOX目标检测神经网络用于从多帧图像中识别出所要跟踪的目标，获取目标的特征点；所述状态转移轨迹预测模块用于从不同图像中获取目标的不同位姿，并根据不同图像中目标的不同位姿之间的状态转移关系，对目标的轨迹进行预测；所述跟踪控制模块用于根据对目标的轨迹预测结果，计算双轴云台所需要转动的偏转角度，然后向双轴云台发出与偏转角度相对应的信号。2.根据权利要求1所述双轴云台目标跟踪系统，其特征在于，双轴云台目标跟踪系统还包括掉帧处理模块；掉帧处理模块用于剔除没有识别到存在目标的图像。3.根据权利要求1所述双轴云台目标跟踪系统，其特征在于，双轴云台目标跟踪系统还包括相机标定模块；所述相机标定模块用确定相机坐标系。4.一种双轴云台目标跟踪方法，包括权利要求1
‑
3任一项所述双轴云台目标跟踪系统的，其特征在于，包括步骤如下：使用相机拍摄所要跟踪的目标的图像；使用YOLOX目标检测神经网络对所拍摄的图像进行处理，从中识别出所要跟踪的目标；根据识别出存在目标的图像，计算不同图像中目标的位姿的状态转移关系，然后根据目标位姿的状态转移关系对目标的轨迹进行预测；根据对目标轨迹的预测结果计算相机双轴云台需要转动的偏转角度，双轴云台根据该偏转角度带动相机转动相应的角度，从而实现对目标的跟踪。5.根据权利要求4所述双轴云台目标跟踪方法，其特征在于，相机在开始拍摄所要跟踪的目标前，先采用张氏标定法对相机进行标定，获得相机的内参。6.根据权利要求5所述双轴云台目标跟踪方法，其特征在于，获得相机内参的步骤具体包括：将一个黑白棋盘格作为标定板，用双轴云台转动相机拍摄多帧相机呈现不同角度相对黑白棋盘格时的图像；对所拍摄黑白棋盘格的图像中的特征点进行检测，结合世界坐标系计算得到标定板角点的物理坐标系；根据标定板角点的物理坐标系，求解相机的内参坐标矩阵、畸变系数，然后采用L
‑
M算法分别对内参坐标矩阵、畸变系数进行优化得到相机坐标系。7.根据权利要求4所述双轴云台目标跟踪方法，其特征在于，双轴云台目标跟踪方法的步骤还包括：在对目标进行识别获取特征点后，先进行掉帧处理剔除不存在目标的图像，再根据存
在目标的图像进行轨迹预测。8.根据权利要求7所述双轴云台目标跟踪方法，其特征在于，进行掉帧处理的过程为：为存在目标的第一帧图像创建目标序列，设定目标序列的最大图像帧容量；在目标序列容量未满时，当后续的图像存在目标时，则将存在目标的后续的图像按顺序添加至目标序列，当后续的图像不存在目标，则将不存在目标图像帧丢弃；在目标序列已满后，当下一帧的图像中存在目标时，按顺序将目标序列首端的一帧存在目标的图像丢弃，再将下一帧存在目标的图像添加至目标序列末端，从而更新目标序列。9.根据权利要求4所述双轴云台目标跟踪方法，其特征在于，对目标进行轨迹预测的过程为：根据Pnp算法计算目标当前一帧图像的位姿，并将其位姿分解为旋转矩阵R
...

【专利技术属性】
技术研发人员：郑润森，陈安，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：