【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其涉及一种基于网格计算的多目标跟踪中视频帧优选方法。
技术介绍
1、运动目标跟踪一直以来都是一项具有挑战性的工作,也是计算视觉研究的热点方向。目标跟踪的目的是定位目标在每帧视频图像中的位置，产生目标运动轨迹。在一个视频应用系统中，目标跟踪算法通常不是单独存在的，其输出的结果往往会后传至相关的处理模块，从而构成一个以目标跟踪为基础的视频应用系统。对于跟踪而言，如果每一帧信息都进行跟踪处理，将会存在几个问题：
2、1)相邻两帧中的目标无论从坐标位置还是外观特征差异化都较小，甚至可以忽略，如果将每帧中的跟踪目标后传至其他需要其作为输入的算法模块，将会消耗不必要的计算资源和存储资源；
3、2)通常目标进入监控范围时，目标的分辨率很小，甚至模糊，这样低质量的目标如果做为结构化算法处理模块的输入，结果可能得到不精确的结构化属性，这为上层业务的开展埋下了隐患。
4、一个目标从进入监控到消失，通常在监控区域，都会存在一个或几个相对最佳位置，如果跟踪目标在其生命周期中能够在其最佳观测位置或者接近最佳观测位置时进行捕获，那么此跟踪目标所在的这一帧将被作为优选帧，并基于此帧进行后续处理。
5、当前对于多目标跟踪中优选帧的选择策略方面的研究和实现甚少，多数的研究主要是特定场景的关键帧选择。例如，对于车辆运动状态分析的关键帧选择策略，此策略可以减少数据冗余，提高实时性，具体实现：首先，使用金字塔分层的kanade-lucas-tomasi(klt)算法来实现跟踪特征点，用五点
6、当前在多目标跟踪中基本是以一种“盲选”的简单方式进行，即跳帧方式，具体实现：首先使用视频帧解码器对实时视频流进行解码；然后，解码后的图像帧输入目标检测器进行目标检测；最后，设定跳帧频率，即每隔多少帧选择一帧作为关键帧进行跟踪；跳帧可发生在上面三个步骤中的任何一一个环节。
7、综上所述，需要一种基于网格计算的多目标跟踪中视频帧优选方法来解决现有技术中所存在的不足之处。
技术实现思路
1、本专利技术的目的是提供了一种基于网格计算的多目标跟踪中视频帧优选方法。本方法首先基于视频帧的分辨率构建网格坐标系和观测者参考点，然后在视觉多目标跟踪算法运行阶段，记录跟踪目标的包围框信息，通过基于规划的网格坐标集合进行不同维度的计算和分析，最终选择出目标的视频关键帧。
2、为实现上述目的，本专利技术采用的技术方案流程如下：
3、一种基于网格计算的多目标跟踪中视频帧优选方法，包括如下步骤：
4、步骤1：构建网格坐标系集合，首先基于视频分辨率规划网格的边界坐标，然后计算网格坐标集合，即通过简单的网格规划算法设计m×n大小的网格，m表示网格的行，n表示网格的列，同时，设计观测者参考点，即焦点，用于后续视频帧的选择；
5、步骤2：多目标跟踪，采用基于深度学习的视觉多目标跟踪算法，得到跟踪目标的包围框信息，包括左上角坐标、宽和高等信息，跟踪目标可以是机动车辆、行人等；
6、步骤3：视频帧优选，基于网格坐标和跟踪目标包围框信息，分别在x轴和y轴方向对目标包围框进行计算判别，维护目标历史轨迹信息，并基于目标历史轨迹信息，选择出目标关键帧。
7、如上所述的方法，包括步骤1构建网格边界具体过程为：准备好视频数据，可以是视频监控相机实时视频流、离线视频、图像序列，内容包含行人或机动车辆等目标，然后通过第三方库，读取每帧图像数据；计算网格边界，网格边界坐标计算的具体过程为：依据公式计算出网格边界的左上角坐标(x1,y1)和右下角坐标(x2,y2)，两个坐标用集合c来表示:
8、
9、其中，wimg和himg分别为一帧图像的宽和高，r为一个超参数，根据先验设定为0.1。
10、如上所述的方法，包括步骤1构建网格坐标系具体过程为：网格坐标集合主要依据图像帧的宽、高以及x轴和y轴方向的步长计算m×n网格的坐标集合，依据公式计算出网格坐标集合，用符号gcord表示，
11、gcord＝{(x,y)|xi∈{0,1,2}＝(i+1)×xstep,yj∈{0,1}＝(j+1)×ystep}
12、xstep＝wimg/ngrid-x
13、ystep＝himg/ngrid-y
14、其中xstep，ystep分别是x轴和y轴方向的步长，ngrid-x和ngrid-y是超参数，根据先验分别设置为4和3。
15、如上所述的方法，包括步骤1规划观测者参考点具体过程为：基于规划的网格，结合x轴和y轴方向的调整因子，调整因子是可配参数，设置为0.5，即焦点位于网格的中心位置，计算得出参考点的坐标值，参考点坐标计算如下：
16、p(x,y)＝{(x,y)|x＝wimg×fx,y＝himg×fy}
17、其中fx和fy分别为x轴和y轴方向的调整因子，是可配参数，可设置为0.5，即焦点位于画面的中心位置。
18、如上所述的方法，包括步骤2多目标跟踪算法具体过程为：首先通过基于深度学习的目标检测网络检测出当前帧中的目标，得到目标的类别，包围框信息，即左上角坐标、包围框的宽和高；然后基于当前时刻检测的结果，利用卡尔曼滤波对检测的结果进行下一时刻轨迹预测；最后基于上一时刻目标检测结合，结合下一时刻轨迹预测的结果，利用匈牙利算法计算得出最终的目标轨迹。
19、如上所述的方法，包括步骤3在x和y两个方向对目标跟踪结果计算，具体过程为：沿x轴方向，依次判断目标包围框是否被x轴方向的网格线穿过，如果目标框被x轴方向的网格线穿过，则此目标框将作为此时的优选帧；沿y轴方向，依次判断目标包围框是否被y轴方向的网格线穿过，如果目标框被y轴方向的网格线穿过，则此目标框将作为此时的优选帧；计算目标包围框中心坐标与“焦点”的欧式距离；
20、如上所述的方法，包括步骤3维护目标历史轨迹信息具体过程为：一帧图像中的目标数量往往众多，如果所有的目标序列都存储在一个队列中，计算效率低下；所以本专利技术中采用动态二维表格的存储方式，行代表同一个目标序列，列代表目标数量，表格的大小因目标数量不同而动态调整。
21、如上所述的方法，包括步骤3基于目标历史轨迹进行视频帧的优选具体过程为：基于在x轴方向和y轴方向选择的目标关键帧序列，迭代计算并比较目标包围框的中心坐标与“焦点”的欧式距离，距离最小将作为该目标的优选帧。
22、本专利技术的有益效果：
23、1、本专利技术中，对于视觉多目标跟踪中目标关键帧的优选提出了一种问题解决思路；
24、2、本专利技术中，算法简单、本文档来自技高网...
【技术保护点】
1.一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于包括如下步骤:
2.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中构建网格坐标集合的具体过程为：
3.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中网格边界坐标计算的具体过程为：依据公式计算出网格边界的左上角坐标(x1,y1)和右下角坐标(x2,y2)，两个坐标用集合C来表示:
4.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中网格坐标集合计算的具体过程为：依据公式计算出网格坐标集合，用符号Gcord表示，
5.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中规划观测者参考点的具体过程为：通常离焦点越近的目标，其完整性和清晰度都是相对理想的，这为优选帧策略建立了一层判定标准，焦点的坐标位置根据具体情况可进行配置，焦点的坐标如下：
6.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤2中多目标跟
7.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤2中基于深度学习的多目标跟踪算法具体过程为：
8.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤3中视频帧优选具体过程为：
9.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤3中维护目标历史轨迹信息具体过程为：一帧图像中的目标数量往往众多，如果所有的目标序列都存储在一个队列中，计算效率低下；所以本专利技术中采用动态二维表格的存储方式，行代表同一个目标序列，列代表目标数量，表格的大小因目标数量不同而动态调整。
10.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤3中基于目标历史轨迹进行视频帧的优选具体过程为：基于在X轴方向和Y轴方向选择的目标关键帧序列，迭代计算并比较目标包围框的中心坐标与“焦点”的欧式距离，距离最小将作为该目标的优选帧。
...【技术特征摘要】
1.一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于包括如下步骤:
2.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中构建网格坐标集合的具体过程为：
3.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中网格边界坐标计算的具体过程为：依据公式计算出网格边界的左上角坐标(x1,y1)和右下角坐标(x2,y2)，两个坐标用集合c来表示:
4.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中网格坐标集合计算的具体过程为：依据公式计算出网格坐标集合，用符号gcord表示，
5.根据权利要求1所述一种基于网格计算的多目标跟踪中视频帧优选方法，其特征在于步骤1中规划观测者参考点的具体过程为：通常离焦点越近的目标，其完整性和清晰度都是相对理想的，这为优选帧策略建立了一层判定标准，焦点的坐标位置根据具体情况可进行配置，焦点的坐标如下：
6.根据权利要求1所述一种基于网格计算的...
【专利技术属性】
技术研发人员：王欢，包同波，杨玉珍，金汝洁，
申请(专利权)人：数字节点杭州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。