结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法技术

技术编号：40394008 阅读：7 留言：0更新日期：2024-02-20 22:23

本发明专利技术提供一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，该方案对跟踪视频的视频帧进行多尺度滑动自注意力窗口的车辆目标检测，对车辆检测框进行车辆外观特征的提取，并基于车辆检测框和2048维的车辆外观特征生成单摄像头多车辆跟踪轨迹，利用级联多级多目标多级跟踪策略提升跟踪的稳定性，对路段场景建模提纯单摄像头多车辆轨迹以及对摄像机对间重叠路段进行时空关联约束，形成最终的跨摄像头车辆跟踪轨迹，该结合道路拓扑结构重叠视场轨迹提纯的高速公路跨摄像头多车辆跟踪方法可在高速公路上实现准确地跨摄像头的车辆跟踪，减少路段静态标识等假阳性轨迹多车辆在跨摄像机间跟踪的ID身份的转变而引起的跟踪失败情况的出现。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及跨摄像头多车辆跟踪领域，特别涉及一种使用yolov5融合滑动窗口自注意力机制、鲁棒性reid特征、多级多目标轨迹关联、道路拓扑结构场景建模、重叠视场轨迹关联和重排序的高速公路跨摄像头多车辆跟踪方法及系统。

技术介绍

1、跨摄像头多车辆跟踪一直是计算机视觉任务的重要研究方向，在现实生活中也广泛受到人们的关注研究，在包括城市交通流量统计，交通道路监控，无人驾驶等领域有着广泛的应用。现有的大多数跨摄像多车辆的跟踪技术主要应用于城市街道，城市规模十字路口进行多车辆目标的跨摄像头跟踪，对于高速公路的跨摄像多车辆跟踪的研究较少。

2、与传统的城市街区的跨摄像多车辆的跟踪相比，在高速公路实现跨摄像多车辆跟踪更加具有挑战性，存在的挑战主要有以下几点：

3、1)高速公路的车辆相较于城市街区的车辆速度更快，导致摄像机难以清晰地捕捉或者摄像机捕捉的车辆图片较为模糊，这给目标检测带来更多的困难；

4、2)高速公路的道路相较于城市街区的分布更长且摄像机距离地面的高度更高，导致部分相同品牌以及颜色的相似车辆更加难以区分，同时高速公路上的大型车辆相较于城市街区更多，容易出现小型车辆被遮挡的现象，导致车辆的漏检以及跟踪轨迹的缺失；

5、3)高速公路隧道两侧的帕灯光线照射，导致摄像机视场产生光斑，容易对车辆reid特征表示造成干扰，对于正确有效提取有判别力的车辆特征产生影响；4)高速公路的跟踪摄像机与车辆目标的距离相对较远同时存在摄像机抖动的现象，容易出现部分车辆驶离摄像机的视域时无法准确跟踪车辆。</p>

6、5)高速公路狭长的隧道内，摄像机视场内近大远小，车辆高速行驶，导致车辆在每个摄像机视场内近端瞬时移动，远端过渡时间较长，且远端视场分辨率较低，容易出现不利于有效对车辆目标检测跟踪，容易产生少许假阳性判断。

7、综上所述，目前用于城市街道的跨摄像多车辆跟踪技术难以直接应用于高速公路的跨摄像多车辆跟踪场景。

技术实现思路

1、本方案提供了一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，该方法使用yolov5融合swin-transformer机制对车辆目标检测，使用多个不同骨干网络的reid模型提取有判别力的车辆外观特征，利用级联多级多目标匹配策略跟踪得到每个摄像头下的多个车辆的单摄像头车辆跟踪轨迹，结合道路拓扑结构对单摄像头车辆跟踪轨迹进行过滤提纯后，基于重叠视场轨迹进行跨匹配、k互近邻重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。

2、为实现以上专利技术目的，本方案提供了一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，包括以下步骤：获取高速公路上多个摄像头的跟踪视频；将每一摄像头的跟踪视频的视频帧输入到预训练的车辆目标检测模型中得到车辆检测框；将车辆检测框对应的车辆检测框图像输入到预训练的reid模型中输出车辆外观特征，其中所述reid模型包括三个不同骨干的reid网络，每一reid网络提取车辆检测框图像得到车辆外观表示，融合不同reid网络的车辆外观表示得到车辆外观特征；将同一摄像下的多个车辆检测框和对应的车辆外观特征输入到多目标跟踪模块跟踪得到每一摄像头的多个车辆的单摄像头车辆跟踪轨迹，其中多目标跟踪模块跟踪模块采用级联多级多目标匹配策略：基于车辆外观特征匹配高置信度的车辆检测框，若匹配的话同age等于1的跟踪器匹配关联，其中age＝1表示该跟踪器对应于当前车辆目标开启新的车辆轨迹，若不匹配则将未匹配的高置信度的车辆检测框同未匹配的车辆轨迹进行匹配并更新跟踪器，若不匹配将依旧未匹配的车辆检测框同age大于1的跟踪器进行匹配并更新跟踪器，其中age大于1表示该跟踪器对应于跟踪车辆目标已经存在车辆轨迹，若不匹配则将低置信度的车辆检测框以及未匹配的车辆检测框同未匹配的车辆轨迹通过iou进行匹配；基于当前多个摄像头所处的道路的道路拓扑结构进行场景建模并定义车辆进出流区域，根据车辆进出流区域过滤单摄像头车辆跟踪轨迹得到跨摄像头候选匹配轨迹；基于摄像头的重叠视场区域实施时空约束，对约束后的多个摄像头的跨摄像头候选匹配轨迹进行跨匹配、k互近邻重排序得到更新的相似度距离矩阵，基于相似度距离矩阵聚类得到跨摄像头车辆跟踪轨迹。

3、第二方面，本方案提供了实施相同
技术实现思路
的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪系统。

4、第三方面，本方案提供了实施相同
技术实现思路
的电子装置。

5、第四方面，本方案提供了实施相同技术方案的可读存储介质。

6、相较于现有技术，本方案具有以下特点和有益效果：

7、1.本方案采用yolov5融合swin-transformer滑动窗口自注意力机制的车辆目标检测模型，且将不同窗口大小的多尺度特征进行自适应融合，使得车辆目标检测模型可更加关注于不同尺度特征之间的关系，并通过自适应融合的方式获取更加精细化的车辆检测结果，适用于在高速公路的低分辨率视频图像中准确检测潜在车辆目标；

8、2.本方案采用多个骨干的reid模型分别提取各自分析处理的车辆外观特征，并融合各自提取的车辆外观特征形成一个综合鲁棒的车辆外观特征表示，reid模型在训练过程中联合使用交叉熵损失和三元组损失函数，增大类间距离的同时减小类内距离，此外，为了弥补训练集和测试集场景之间的域偏差，采用无监督自适应训练方法；

9、3.本方案采用级联多级多目标关联策略，通过分组高低分的置信度检测框，充分利用高分值的置信度的检测框的外观特征充分挖掘潜在目标，且综合考虑车辆目标进出视场、漏检和运动模糊的特点，有效跟踪隧道内大型货车的轨迹，并针对未匹配的检测框与未匹配的轨迹采取三级关联，最后将未匹配的轨迹与低分值的置信度的检测框通过iou匹配，提升跟踪的稳定性；

10、4.本方案采用场景建模，对每个摄像头视场下的路段预定义分区，根据车辆进出流区域对单摄像头下的多车辆原始轨迹利用路侧交通静态标识进行过滤提纯，以生成精炼的跨摄像头候选匹配轨迹，通过精炼的跨摄像头候选匹配轨迹来缓解特殊场景和检测器不完美带来的少许假阳性检测；

11、5.本方案采用遵循整体车辆进出流车辆先进先出的原则，针对摄像头间重叠视场路段进行时空约束以大幅度降低搜索空间并加速跨匹配，且采用k互近邻重排序更新相似距离矩阵和相机间子聚类的方式加速匹配以得到精确的跨摄像头车辆跟踪轨迹，通过k互近邻重排序的方式允许系统在跨匹配阶段重新排列可能的匹配结果，将最有可能匹配的目标排在前面，并帮助跟踪系统更好地维护目标的身份一致性，通过正确的匹配，可以降低跟踪中的目标id混淆，从而提高多目标多摄像头跟踪系统的稳定性。

本文档来自技高网...

【技术保护点】

1.一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，包括：

2.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，车辆目标检测模型为融合了Swin Transformer机制的YOLOV5模型，将每一个摄像头的跟踪视频的视频帧输入到YOLOV5模型中被分块以及特征提取后生成不同尺度和层次的多尺度特征图，多尺度特征图被送入Swin Transformer机制中经过自适应融合得到融合特征，融合特征输入到分类网络和边框预测网络中输出车辆检测框。

3.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，ReID模型的训练过程采用无监督域自适应方法：

4.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，根据多个摄像头所处的道路的道路拓扑结构进行场景建模得到道路模型，并根据道路路段预定义道路模型上驶入区域和驶出区域得到进出流区域，将单摄像头下的单摄像头车辆跟踪轨迹限制于道路模型的进出流区域以得到跨摄像头候选匹配轨迹。

5.根

6.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，若是相邻摄像头的重叠视场区域的跨摄像头候选匹配轨迹对应的车辆满足：沿着单向行驶方向的后一摄像头中出现该车辆的时间晚于前一摄像头中出现的车辆的时间，则跨摄像头候选匹配轨迹进行后续的跨匹配和k互近邻重排序。

7.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，根据检测阈值将车辆检测框区分为高置信度组和低置信度组，其中高置信度组中的车辆目标框的置信度高于高置信度阈值，低置信度组中的车辆目标框低于低置信度阈值。

8.一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪系统，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到7任一所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到7任一所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法。

...

【技术特征摘要】

1.一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，包括：

2.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，车辆目标检测模型为融合了swin transformer机制的yolov5模型，将每一个摄像头的跟踪视频的视频帧输入到yolov5模型中被分块以及特征提取后生成不同尺度和层次的多尺度特征图，多尺度特征图被送入swin transformer机制中经过自适应融合得到融合特征，融合特征输入到分类网络和边框预测网络中输出车辆检测框。

3.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，reid模型的训练过程采用无监督域自适应方法：

5.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，利用层级聚类法根据基于高速进出流时空掩码的相似度距离矩阵对时空约束后的单摄像头下的跨摄像头车辆跟踪轨迹进行聚类，基于更新后的基于高...

【专利技术属性】
技术研发人员：产思贤，方睿迪，郭斌，
申请(专利权)人：杭州像素元科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人