多视图目标跟踪方法、装置、系统、电子终端、及存储介质制造方法及图纸

本申请提供多视图目标跟踪方法、装置、系统、电子终端、及存储介质，所述方法包括：根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像；对特征图像进行滤波处理以获取相应的得分图；根据得分图判断当前帧图像是否存在遮挡；其中，在判断所述当前帧图像不存在遮挡的情况下，利用网格搜索法和多尺寸搜索法确定所述被跟踪目标在当前帧图像中的位置信息；在判断所述连续特征图像存在遮挡的情况下，基于轨迹预测网络预测被跟踪目标在当前帧图像中的位置信息。申请建立端对端的特征提取网络，提取图像特征，训练相关滤波器，并利用轨迹预测网络解决图像遮挡问题，形成适用于单对象目标的反遮挡的稳健型目标跟踪解决方案。

【技术实现步骤摘要】
多视图目标跟踪方法、装置、系统、电子终端、及存储介质
本申请涉及计算机视觉、目标跟踪领域，特别是涉及多视图目标跟踪方法、装置、系统、电子终端、及存储介质。
技术介绍
一般的视觉对象跟踪是大规模计算机视觉任务中的基本问题之一，在这个问题集中，跟踪器用一个边界框跟踪对象，该边界框在初始帧中给出，并在接下来的连续帧中使用。视觉对象跟踪在各种应用场景中起着重要作用，例如自动驾驶系统，光场相机阵列监控、以及体育赛事中的运动员跟踪。而跟踪的关键挑战是如何在遮挡、光照变化、变形、运动模糊等不同情况下准确有效地定位目标。根据跟踪器和目标的数量，跟踪任务通常分为四类，即单视图单对象跟踪(Single-viewSingle-object，SVSO)、多视图单对象跟踪(Multi-viewSingle-object，MVSO)、单视图多对象跟踪(Single-viewMulti-object，SVMO)和多视图多对象跟踪(Multi-viewMulti-object，MVMO)。单视图跟踪通常有一个直观的管道，但容易受到遮挡的影响。大多数现有的多对象跟踪器通常只跟踪一类特定的对象，比如行人、车辆，这些对象还没有扩展到通用对象，没法实现反遮挡的稳健的对象跟踪。申请内容鉴于以上所述现有技术的缺点，本申请的目的在于提供多视图目标跟踪方法、装置、系统、电子终端、及存储介质，用于解决现有技术中的问题。为实现上述目的及其他相关目的，本申请的第一方面提供一种多视图目标跟踪方法，其包括：根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像；对所述特征图像进行滤波处理以获取相应的得分图；根据所述得分图判断当前帧图像是否存在遮挡；其中，在判断所述当前帧图像不存在遮挡的情况下，利用网格搜索法和多尺寸搜索法确定所述被跟踪目标在当前帧图像中的位置信息；在判断所述连续特征图像存在遮挡的情况下，基于轨迹预测网络预测所述被跟踪目标在当前帧图像中的位置信息。于本申请的第一方面的一些实施例中，所述根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像，其步骤包括：根据被跟踪目标在上一帧图像中的位置信息和边界框信息，对当前帧图像基于多种裁剪尺寸进行裁剪，并利用FHOG描述子和深度网络生成不同分辨率的离散的特征图像；利用插值模型将所述离散的特征图像映射至连续空间，以获得经插值模型统一和变换后的连续的特征图像。于本申请的第一方面的一些实施例中，所述得分图通过利用卷积分解算子在所述当前帧图像的特征图像上进行滤波所获得；所述得分图的最大值用于判断当前帧图像是否存在遮挡；在判断所述当前帧图像不存在遮挡的情况下，将当前帧图像加入用于训练所述相关滤波器的训练样本集。于本申请的第一方面的一些实施例中，所述方法包括：通过建立训练样本图像与目标图像之间的最小化目标函数来训练所述相关滤波器。于本申请的第一方面的一些实施例中，所述方法包括：从所述训练样本集中选取多对训练对，以形成用于训练所述相关滤波器的第一训练对集合和第二训练对集合，其步骤包括：利用所述第一训练对集合并根据目标函数训练所述相关滤波器；利用所述第二训练对集合并根据通过高斯-牛顿迭代法和共轭梯度法优化后的所述目标函数训练所述相关滤波器。于本申请的第一方面的一些实施例中，所述轨迹预测网络包括RNN网络和PoseNet网络；其中，所述RNN网络以图像的轨迹差异作为输入信号，以分析被跟踪对象的运动趋势信息及轨迹的位置信息；所述PoseNet网络以所述RNN网络的输出信号以及一用于解码图像采集设备的内参和外参的隐藏特征向量作为其输入信号，以输出预测的被跟踪对象的位置信息。为实现上述目的及其他相关目的，本申请的第二方面提供一种多视图目标跟踪装置，所述装置包括：特征提取模块，用于根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像；滤波处理模块，用于对所述特征图像进行滤波处理以获取相应的得分图；目标定位模块，用于根据所述得分图判断当前帧图像是否存在遮挡；其中，在判断所述当前帧图像不存在遮挡的情况下，利用网格搜索法和多尺寸搜索法确定所述被跟踪目标在当前帧图像中的位置信息；在判断所述连续特征图像存在遮挡的情况下，基于轨迹预测网络预测所述被跟踪目标在当前帧图像中的位置信息。为实现上述目的及其他相关目的，本申请的第三方面提供一种多视图目标跟踪系统，其包括：图像采集单元，其包括多个按预设顺序排列的图像采集设备，以获取多个相互之间有被跟踪目标的视图重叠的图；处理单元，其通信连接所述图像采集单元，以获取并按如权利要求1所述的方法处理所述图像。为实现上述目的及其他相关目的，本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述多视图目标跟踪方法。为实现上述目的及其他相关目的，本申请的第五方面提供一种多视图目标跟踪终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述多视图目标跟踪方法。如上所述，本申请的多视图目标跟踪方法、装置、系统、电子终端、及存储介质，具有以下有益效果：申请通过建立端对端的特征提取网络，提取图像特征，并训练相关滤波器，还利用轨迹预测网络解决图像遮挡问题，从而形成不限于一类特定对象的可适用于多对象的反遮挡的稳健型目标跟踪解决方案。附图说明图1显示为本申请一实施例中多视图目标跟踪系统的示意图。图2显示为本申请一实施例中多视图目标跟踪系统的示意图。图3显示为本申请一实施例中多视图目标跟踪终端的结构示意图。图4显示为本申请一实施例中多视图目标跟踪方法的流程示意图。图5显示为本申请一实施例中多视图目标跟踪方法的总体流程示意图。图6显示为本申请一实施例中特征提取模块和相关滤波模块的示意图。图7显示为本申请一实施例中TPN网络的结构示意图。图8显示为本申请一实施例中多视图目标跟踪装置的示意图。具体实施方式以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用本文档来自技高网...

【技术保护点】
1.一种多视图目标跟踪方法，其特征在于，包括：/n根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像；/n对所述特征图像进行滤波处理以获取相应的得分图；/n根据所述得分图判断当前帧图像是否存在遮挡；其中，在判断所述当前帧图像不存在遮挡的情况下，利用网格搜索法和多尺寸搜索法确定所述被跟踪目标在当前帧图像中的位置信息；在判断所述连续特征图像存在遮挡的情况下，基于轨迹预测网络预测所述被跟踪目标在当前帧图像中的位置信息。/n

【技术特征摘要】
1.一种多视图目标跟踪方法，其特征在于，包括：
根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像；
对所述特征图像进行滤波处理以获取相应的得分图；
根据所述得分图判断当前帧图像是否存在遮挡；其中，在判断所述当前帧图像不存在遮挡的情况下，利用网格搜索法和多尺寸搜索法确定所述被跟踪目标在当前帧图像中的位置信息；在判断所述连续特征图像存在遮挡的情况下，基于轨迹预测网络预测所述被跟踪目标在当前帧图像中的位置信息。


2.根据权利要求1所述的方法，其特征在于，所述根据被跟踪目标在历史帧图像中的位置信息和边界框信息，提取当前帧图像的特征图像，其步骤包括：
根据被跟踪目标在上一帧图像中的位置信息和边界框信息，对当前帧图像基于多种裁剪尺寸进行裁剪，并利用FHOG描述子和深度网络生成不同分辨率的离散的特征图像；
利用插值模型将所述离散的特征图像映射至连续空间，以获得经插值模型统一和变换后的连续的特征图像。


3.根据权利要求1所述的方法，其特征在于，所述方法包括：
所述得分图通过利用卷积分解算子在所述当前帧图像的特征图像上进行滤波所获得；所述得分图的最大值用于判断当前帧图像是否存在遮挡；
在判断所述当前帧图像不存在遮挡的情况下，将当前帧图像加入用于训练所述相关滤波器的训练样本集。


4.根据权利要求3所述的方法，其特征在于，所述方法包括：通过建立训练样本图像与目标图像之间的最小化目标函数来训练所述相关滤波器。


5.根据权利要求4所述的方法，其特征在于，所述方法包括：从所述训练样本集中选取多对训练对，以形成用于训练所述相关滤波器的第一训练对集合和第二训练对集合，其步骤包括：
利用所述第一训练对集合并根据最小化目标函数训练所述相关滤波器；
利用所述第二训练对集合并根据通过高斯...

【专利技术属性】
技术研发人员：吴旻烨，毕凝，
申请(专利权)人：曜科智能科技上海有限公司，
类型：发明
国别省市：上海;31