【技术实现步骤摘要】
本专利技术涉及交通监控和智能交通系统领域，特别涉及一种基于自监督一致性学习的交通事件检测系统和方法。
技术介绍
1、交通事件检测系统作为智能交通系统的重要组成部分，在提升交通管理效率、保障道路安全方面发挥着关键作用。交通事件检测系统主要用于检测道路上的非周期性发生且导致通行能力下降的事件，如交通事故、故障停车、货物散落、道路维修、车辆逆行、车道变换、超速、慢速、停止、交通阻塞等。通过实时检测和分析，系统能够及时发现并报告这些事件，为交通管理者提供决策支持，减少交通延误和二次事故的发生。
2、当前的交通事件检测系统主要依赖于大量的标注数据来训练检测模型，这种方法在数据获取和标注上成本高昂，且对不同环境的适应性较差，检测精度低。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于自监督一致性学习的交通事件检测系统及方法，基于自监督学习的交通事件检测模型可以通过分析道路参与者的时空特征，通过上下文的学习，实现对交通事件的精确检测，同时降低了数据标注的高成本，实现了低成本高精度的交通事件检测。解决了交通事件检测适应性差的技术、成本高和精度低问题。
2、为实现上述方案，本专利技术采用以下技术方案：
3、在本专利技术的第一方面，本专利技术提供了一种基于自监督一致性学习的交通事件检测方法，所述方法包括：
4、获取交通场景下多个连续时隙的视频帧；
5、通过对多个相邻时隙的视频帧进行光流计算，得到多个光流图像帧；将多个连续时隙的视
6、通过对多个连续时隙的视频帧进行对象检测追踪，得到各个时隙的交通对象边界框；对各个时隙的交通对象边界框进行预测处理，得到目标时隙的交通对象预测框；
7、通过对多个连续时隙的视频帧进行上下文检测，得到各个时隙的交通场景的上下文信息；
8、将目标时隙的交通对象预测框、目标时隙的预测视频帧、各个时隙的交通场景的上下文信息输入到一致性学习训练后的交通事件检测网络中，得到目标时隙的交通事件检测结果。
9、在本专利技术的第二方面，本专利技术还提供了一种基于自监督一致性学习的交通事件检测系统，所述系统包括：
10、视频采集模块，用于获取交通场景下多个连续时隙的视频帧；
11、光流计算模块，通过对多个相邻时隙的视频帧进行光流计算，得到多个光流图像帧；
12、视频预测模块，用于将多个连续时隙的视频帧与多个光流图像帧进行预测处理，得到目标时隙的预测视频帧；
13、对象追踪模块，用于对多个连续时隙的视频帧进行对象检测追踪，得到各个时隙的交通对象边界框；
14、对象预测模块，用于对各个时隙的交通对象边界框进行预测处理，得到目标时隙的交通对象预测框；
15、上下文检测模块，用于对多个连续时隙的视频帧进行上下文检测，得到各个时隙的交通场景的上下文信息；
16、事件检测模块，用于将目标时隙的交通对象预测框、目标时隙的预测视频帧、各个时隙的交通场景的上下文信息输入到一致性学习训练后的交通事件检测网络中，得到目标时隙的交通事件检测结果。
17、本专利技术的有益效果：
18、本专利技术通过计算连续视频帧之间的光流，捕捉像素级别的运动变化。这些运动信息用于增强帧预测和对象位置预测的精度。本专利技术通过增加全局注意力机制gam保留空间和通道信息之间的关联，提升yolov8模型对目标特征的表示能力，同时通过增加检测头并将其连接到不同层级的特征图上，专门针对小目标进行优化。将原有ciou替换为wise-iou，wise-iou的综合方法能够提高检测框匹配度量的稳定性，减少极端情况下的误差，从而使得模型在训练和推理过程中表现得更加稳定。双重匹配的目标跟踪算法，使用vit(visiontransformer)作为外观提取器，使用自适应卡尔曼滤波(akf)预测边框，引入powerful-iou取代传统iou解决对小物体敏感问题，增加reid提高目标关联一致性；本专利技术通过联合优化帧预测、对象位置预测和上下文一致性学习任务，识别视频帧、对象位置和空间关系中的不一致性。本专利技术通过生成对抗训练，系统的鲁棒性和准确性得以提升。
本文档来自技高网...【技术保护点】
1.一种基于自监督一致性学习的交通事件检测方法，其特征在于：所述方法包括：
2.根据权利要求1所述的基于自监督一致性学习的交通事件检测方法，其特征在于：将多个连续时隙的视频帧与多个光流图像帧进行预测处理，得到目标时隙的预测视频帧包括将当前视频帧经过帧编码器得到当前视频帧的嵌入特征；将当前光流图像帧经过运动编码器，得到上一光流图像帧的动态运动特征；将上一光流图像帧的动态运动特征经过卷积LSTM模块，得到当前光流图像帧的伪运动特征；将当前视频帧的嵌入特征和当前光流帧的伪运动特征拼接后经过帧解码器，输出光流图像预测帧也即下一光流图像帧。
3.根据权利要求1所述的基于自监督一致性学习的交通事件检测方法，其特征在于：所述通过对多个连续时隙的视频帧进行对象检测追踪，得到各个时隙的交通对象边界框包括将多个连续时隙的视频帧经过YOLOv8模型，得到各个时隙的高分检测结果和低分检测结果，将各个时隙的高分检测结果提取出深度外观特征；将多个连续时隙的视频帧进行估计相机运动，生成透视变换矩阵，将前一帧跟踪小片段集合与透视变换矩阵基于卡尔曼滤波预测得到候选边界框；将深度外观特征与候
4.根据权利要求3所述的基于自监督一致性学习的交通事件检测方法，其特征在于：所述YOLOv8模型为改进的YOLOv8模型，所述改进的YOLOv8模型包括大目标检测头、中目标检测头、小目标检测头和特小目标检测头。
5.根据权利要求1所述的基于自监督一致性学习的交通事件检测方法，其特征在于：对各个时隙的交通对象边界框进行预测处理，得到目标时隙的交通对象预测框包括将当前光流图像帧的动态运动特征与当前视频帧的交通对象边界框拼接后进行ROI池化处理，将ROI池化处理后的特征与当前视频帧的交通对象边界框分别通过门控循环单元后拼接得到位置预测结果；将位置预测结果进行全连接层解码，得到交通对象预测框。
6.根据权利要求1所述的基于自监督一致性学习的交通事件检测方法，其特征在于：所述通过对视频帧中进行上下文检测，得到交通场景的上下文信息包括采用卷积神经网络从视频帧及其交通对象边界框中提取出视频帧的特征嵌入表示；采用ROIAlign运算来生成每个交通对象的特征向量；将每个交通对象的特征向量经过具有三层堆叠图的图卷积网络，提取交通场景的上下文信息。
7.根据权利要求1所述的基于自监督一致性学习的交通事件检测方法，其特征在于：所述一致性学习训练包括外观一致性测量、运动一致性测量和上下文一致性测量；所述外观一致性测量为当前视频帧与预测视频帧之间的峰值信噪比差异评估；所述运动一致性测量为交通对象真实框与交通对象预测框之间的交并比评估；所述上下文一致性测量为所述外观一致性测量和所述运动一致性测量的综合评估。
8.一种基于自监督一致性学习的交通事件检测系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种基于自监督一致性学习的交通事件检测方法，其特征在于：所述方法包括：
2.根据权利要求1所述的基于自监督一致性学习的交通事件检测方法，其特征在于：将多个连续时隙的视频帧与多个光流图像帧进行预测处理，得到目标时隙的预测视频帧包括将当前视频帧经过帧编码器得到当前视频帧的嵌入特征；将当前光流图像帧经过运动编码器，得到上一光流图像帧的动态运动特征；将上一光流图像帧的动态运动特征经过卷积lstm模块，得到当前光流图像帧的伪运动特征；将当前视频帧的嵌入特征和当前光流帧的伪运动特征拼接后经过帧解码器，输出光流图像预测帧也即下一光流图像帧。
3.根据权利要求1所述的基于自监督一致性学习的交通事件检测方法，其特征在于：所述通过对多个连续时隙的视频帧进行对象检测追踪，得到各个时隙的交通对象边界框包括将多个连续时隙的视频帧经过yolov8模型，得到各个时隙的高分检测结果和低分检测结果，将各个时隙的高分检测结果提取出深度外观特征；将多个连续时隙的视频帧进行估计相机运动，生成透视变换矩阵，将前一帧跟踪小片段集合与透视变换矩阵基于卡尔曼滤波预测得到候选边界框；将深度外观特征与候选边界框基于powerful-iou和行人重识别技术进行第一次关联，得到当前帧未匹配的跟踪小片段集合和已匹配的跟踪小片段集合；将各个时隙的低分检测结果与未匹配的跟踪小片段集合进行第二次关联，更新当前帧已匹配的跟踪小片段集合；对当前帧已匹配的跟踪小片段集合进行更新，得到当前帧的跟踪小片段集合，并将当前帧的跟踪小片段集合整合，得到当前帧的交通对象边界框。
4.根据权利要求3所述的基于自监...
【专利技术属性】
技术研发人员：林峰，黄华林，蒋建春，杨枫，陈炜乐，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。