【技术实现步骤摘要】
本专利技术涉及无人机，具体为基于改进的deepsort算法的多目标跟踪无人机。
技术介绍
1、随着多媒体技术和计算机视觉的发展，多目标跟踪一直是研究的热点。目前的跟踪算法大致分为两类，一类是使用环境尺度不变特征来跟踪移动目标。例如，通过场景的颜色特征，比较目标与场景每个特征点之间的距离来跟踪目标，但这些算法的跟踪精度不稳定；另一类算法也是主流，是使用卡尔曼滤波、连续自适应平均漂移算法(凸移)、粒子滤波等跟踪检测到的目标。采用区域跟踪与彩色直方图和粒子滤波相结合，有效地克服了由于遮挡而导致的目标的身份切换问题，而将似然与粒子滤波相结合用于目标跟踪，这既可以减少身份切换问题，但粒子滤波的计算强度大，检测速度慢。使用卡尔曼滤波对目标进行预测和跟踪，与粒子滤波相比提高了检测速度，但容易发生身份切换。采用卡尔曼滤波器，结合使用神经网络提取目标特征进行目标再识别，可以大大减少身份切换的问题。
2、但当目标的外观特征高度相似，且在运动过程中频繁被遮挡，导致在跟踪目标时仍存在较高的身份切换，无法达到良好的跟踪精度。目标跟踪是指在恒定状态[6]下对被检测对象的连续检测，它的目的是估计物体的后续动作轨迹和运动状态，有两种常见的目标跟踪算法，一种是基于相关滤波器的跟踪算法，如卡尔曼滤波器和粒子滤波器，该算法需要手动指定处于初始状态下的跟踪目标，且该目标很容易丢失。另一种是基于深度学习的跟踪算法，如sort(简单的在线和实时跟踪)，sort算法的一个改进版本是deepsort。对于新生成的跟踪轨迹，提出了一种基于级联匹配的方法，该方法考虑了
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术为了解决这个问题，添加了轨道重新匹配模块，使新的轨道与消失的轨道重新匹配，该算法能在一定程度上降低目标的身份切换频率，并获得良好的跟踪性能为此，通过改进了deepsort算法，将新的轨迹与消失的轨迹重新匹配到最小的欧氏距离，以实现目标身份的恢复。
3、(二)技术方案
4、为实现上述目的，本专利技术提供如下技术方案：基于改进的deepsort算法的多目标跟踪无人机，基于deepsort算法的跟踪器来改进多目标跟踪框架，将新的轨迹与消失的轨迹重新匹配到最小的欧氏距离，以实现目标身份的恢复，其包括：
5、卡尔曼滤波器，首先使用卡尔曼滤波器预测目标的运动信息，并结合由深度卷积神经网络提取的外观特征来对目标进行跟踪；
6、轨道重新匹配模块，使新的轨道与消失的轨道重新匹配。
7、优选的，deepsort使用一个八维空间来描述目标在特定时间的状态，(u,v)为检测箱中心的坐标，γ为检测边界框的宽与高之比，h为检测边界框的高度，是图像中(u,v,γ,h)的相对速度，然后deepsort采用均匀模型和线性观测模型的卡尔曼滤波器来更新目标的状态，卡尔曼滤波器的观测变量输出的形式为(u,v,γ,h)。
8、优选的，deepsort结合了运动信息和外观特征来关联和匹配目标，在运动信息方面，利用马氏距离来测量卡尔曼滤波器的预测边界框输出与检测器的检测边界框输出之间的相关性，计算公式如下：
9、d(1)(i,j)＝(dj-yi)tsi-1(dj-yi)
10、其中，d(1)(i,j)是第j个检测边界框和第i个预测边界框之间的运动状态测量，dj为第j个预测边界框，yi为第i个检测边界框，si为第i个检测边界框与预测边界框的平均值之间的协方差矩阵。
11、优选的，在外观特征信息方面，利用特征提取网络提取检测边界框和预测边界框的外观特征，并且利用余弦距离计算出的特征提取网络的输出，测量检测边界框与预测边界框之间的相关度，计算公式如下：
12、
13、其中，rj是检测边界框dj的外观特征描述符，限制条件为|rj|＝1，d(2)(i,j)是第i个检测边界框与第j个预测边界框之间的最小余弦距离，如果d(2)(i,j)小于设置的阈值，我们判断两个边界框的匹配是正确的，对于每个成功匹配的轨道，我们创建一个图库它可以存储最后一个n描述符(n是一个可设置的参数)。
14、优选的，马氏距离可以在短期内提供准确的目标定位，并实现较好的预测和匹配，当目标长时间消失后再出现时，余弦距离在恢复目标身份方面可以发挥更好的作用，为了补充这两种度量的优点，我们通过线性加权将马氏距离和余弦距离这两种测量融合作为最终测量，公式如下：
15、ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
16、其中，λ是一个可设定的参数。ci,j是最终的测量值，如果ci,j的最小值小于某个阈值(一个可设置的参数)，则确定该轨道与检测边界框相匹配；
17、当目标长时间遮挡时，目标的位置不会更新，导致卡尔曼的连续预测，协方差矩阵的方差值较大，最终导致预测的不准确性，为了改善上述情况，当未检测到轨道时，我们将轨道标记为消失的轨道，当再次检测到消失的轨道时，我们将消失的轨道恢复到匹配的轨道。
18、优选的，基于所述轨道重新匹配模块，我们设置了一个消失轨迹图库kj来保存消失轨迹的最后一个检测边界框中心的坐标，并设置了三个全局参数：轨迹计数σ、消失轨迹计数ε和轨迹极限计数γ，σ和ε的初始值都为零，而γ值是12；
19、当有不匹配的轨道在10个周期后被判定为新轨道，还有ε<γ，新轨道被放入kj，并且ε+1；如果ε＝γ，我们应该判断值σ；如果σ＝0，则可以删除新的轨道；如果是σ>0，我们使用最小欧氏距离来匹配新轨道的最后一个检测边界框与kj中的每个元素，其公式如下：
20、
21、|(uj，vj)∈kj∩ε＝γ∩σ>0}
22、其中，(ui,vi)是第i个检测边界框中心的坐标，如果si,j有一个值，我们可以考虑消失的轨道与新的轨道成功匹配，并给出新的轨道与消失的轨道的身份。
23、优选的，所述无人机搭载intel d435i双目深度摄像头作为基础实验平台，d435i相机正面有四个圆孔，从左向右，第一和第三个是红外传感器(ir stereo cameral)；第二个是红外激光发射器(ir projector)，第四个是彩色相机(色彩传感器)；所采用的机载图像处理板，面向无人智能化领域的tx2嵌入式平台，它是一台模块化ai超级计算机，gpu采用nvidia pascaltm架构，具有256颗cuda核心；cpu拥有6个核心,分别由双核denver2处理器和四核arm cortex-a57组成。
24、(三)有益效果
25、与现有技术相比，本专利技术提供了基于改进的deepsort算法的多目标跟踪无人机，具备以下有益效果：本专利技术使用卡尔曼滤波器来预测目标的运动信息，并结合由深度卷积本文档来自技高网...
【技术保护点】
1.基于改进的DeepSORT算法的多目标跟踪无人机，其特征在于，基于DeepSORT算法的跟踪器来改进多目标跟踪框架，将新的轨迹与消失的轨迹重新匹配到最小的欧氏距离，以实现目标身份的恢复，其包括：
2.根据权利要求1所述的基于改进的DeepSORT算法的多目标跟踪无人机，其特征在于，DeepSORT使用一个八维空间来描述目标在特定时间的状态，(u,v)为检测箱中心的坐标，γ为检测边界框的宽与高之比，h为检测边界框的高度，是图像中(u,v,γ,h)的相对速度，然后DeepSORT采用均匀模型和线性观测模型的卡尔曼滤波器来更新目标的状态，卡尔曼滤波器的观测变量输出的形式为(u,v,γ,h)。
3.根据权利要求2所述的基于改进的DeepSORT算法的多目标跟踪无人机，其特征在于，DeepSORT结合了运动信息和外观特征来关联和匹配目标，在运动信息方面，利用马氏距离来测量卡尔曼滤波器的预测边界框输出与检测器的检测边界框输出之间的相关性，计算公式如下：
4.根据权利要求3所述的基于改进的DeepSORT算法的多目标跟踪无人机，其特征在于，在外观特征信息
5.根据权利要求4所述的基于改进的DeepSORT算法的多目标跟踪无人机，其特征在于，马氏距离可以在短期内提供准确的目标定位，并实现较好的预测和匹配，当目标长时间消失后再出现时，余弦距离在恢复目标身份方面可以发挥更好的作用，为了补充这两种度量的优点，我们通过线性加权将马氏距离和余弦距离这两种测量融合作为最终测量，公式如下：
6.根据权利要求1所述的基于改进的DeepSORT算法的多目标跟踪无人机，其特征在于，基于所述轨道重新匹配模块，我们设置了一个消失轨迹图库Kj来保存消失轨迹的最后一个检测边界框中心的坐标，并设置了三个全局参数：轨迹计数σ、消失轨迹计数ε和轨迹极限计数γ，σ和ε的初始值都为零，而γ值是12；
7.根据权利要求1-6任一项所述的基于改进的DeepSORT算法的多目标跟踪无人机，其特征在于，所述无人机搭载Intel d435i双目深度摄像头作为基础实验平台，D435i相机正面有四个圆孔，从左向右，第一和第三个是红外传感器(IR Stereo Cameral)；第二个是红外激光发射器(IR Projector)，第四个是彩色相机(色彩传感器)；所采用的机载图像处理板，面向无人智能化领域的TX2嵌入式平台，它是一台模块化AI超级计算机，GPU采用NVIDIAPascalTM架构，具有256颗CUDA核心；CPU拥有6个核心,分别由双核Denver2处理器和四核ARMCortex-A57组成。
...【技术特征摘要】
1.基于改进的deepsort算法的多目标跟踪无人机，其特征在于，基于deepsort算法的跟踪器来改进多目标跟踪框架，将新的轨迹与消失的轨迹重新匹配到最小的欧氏距离，以实现目标身份的恢复，其包括：
2.根据权利要求1所述的基于改进的deepsort算法的多目标跟踪无人机，其特征在于，deepsort使用一个八维空间来描述目标在特定时间的状态，(u,v)为检测箱中心的坐标，γ为检测边界框的宽与高之比，h为检测边界框的高度，是图像中(u,v,γ,h)的相对速度，然后deepsort采用均匀模型和线性观测模型的卡尔曼滤波器来更新目标的状态，卡尔曼滤波器的观测变量输出的形式为(u,v,γ,h)。
3.根据权利要求2所述的基于改进的deepsort算法的多目标跟踪无人机，其特征在于，deepsort结合了运动信息和外观特征来关联和匹配目标，在运动信息方面，利用马氏距离来测量卡尔曼滤波器的预测边界框输出与检测器的检测边界框输出之间的相关性，计算公式如下：
4.根据权利要求3所述的基于改进的deepsort算法的多目标跟踪无人机，其特征在于，在外观特征信息方面，利用特征提取网络提取检测边界框和预测边界框的外观特征，并且利用余弦距离计算出的特征提取网络的输出，测量检测边界框与预测边界框之间的相关度，计算公式如下：
5.根据权利要求4所述的基于改进的dee...
【专利技术属性】
技术研发人员：任雪峰，
申请(专利权)人：北京卓翼智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。