基于网络流多目标跟踪的信号灯检测方法、系统及设备技术方案

本发明专利技术公开一种基于网络流多目标跟踪的信号灯检测方法、系统及设备，属于图像与视频处理领域。首先将YOLOv7目标检测神经网络的检测结果分为辅助信号灯检测结果和方向指示信号灯检测结果，并对辅助信号灯类目标检测结果构建最小费用流网络流图，求解获得多条辅助信号灯轨迹，然后根据方向指示信号灯检测结果确定每一条辅助信号灯轨迹内辅助信号灯的形态类别，并利用颜色检测分类网络检测辅助信号灯中方向指示信号灯的颜色类别，使用了统计学与图像颜色特征对方向指示信号灯进行补充检测与分类。本发明专利技术能够利用视频的信号灯检测结果，通过多目标跟踪和补充检测的方式提升信号灯的检测准确率。灯的检测准确率。灯的检测准确率。

【技术实现步骤摘要】
基于网络流多目标跟踪的信号灯检测方法、系统及设备


[0001]本专利技术涉及图像与视频处理领域，特别是涉及一种基于网络流多目标跟踪的信号灯检测。

技术介绍

[0002]研究表明，在十字路口，为了等待信号灯所做的怠速与启动时的加速均会增加尾气的排放。因此，对于交通信号灯变换时刻的获取显得尤为重要。根据多辆机动车行车记录仪拍摄的交通信号灯视频，识别各个时刻信号灯的红绿状态，并根据上述信息确定信号灯的转换时刻，即信号灯灯时。结合道路时速限制等条件对机动车的行车速度进行引导，可以有效减少机动车的启停次数，降低尾气排放，提高交通路口车辆通行效率，缓解交通拥堵。
[0003]多目标跟踪任务是在给定视频中同时对多个感兴趣的目标进行定位，并维持它们的编号(ID)，记录它们的轨迹。从跟踪方式上可分为在线跟踪与离线跟踪。目标检测是指对某一特定物体进行位置与类别检测的任务，对于信号灯位置和状态的检测就属于目标检测任务中对于特定某一种类别的目标检测任务。
[0004]目前存在许多使用目标检测算法对信号灯进行位置识别与分类的方式。例如，传统的目标检测方法可以使用HSV色域和信号灯变化规律对图像中的红、绿区域进行标记，确定候选区域，然后使用支持向量机(SVM)对候选区域的图像特征进行分类；此外，也可以使用基于深度学习的目标检测器来检测信号灯，例如，使用经典的目标检测器SSD或YOLO算法解决信号灯目标检测问题，但目前很少有在离线视频中利用视频全局信息和目标跟踪融合信息来检测信号灯的研究。

技术实现思路

[0005]本专利技术的目的是提供一种基于网络流多目标跟踪的信号灯检测方法、系统及设备，通过离线多目标跟踪的方式提高视频中信号灯的检测准确率。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于网络流多目标跟踪的信号灯检测方法，包括：
[0008]确定YOLOv7目标检测神经网络和颜色检测分类网络；
[0009]利用YOLOv7目标检测神经网络对交通信号灯离线视频的每一帧图像识别辅助信号灯和辅助信号灯中的每个方向指示信号灯，获得每一帧图像的辅助信号灯检测结果和方向指示信号灯检测结果；
[0010]使用辅助信号灯检测结果构建踪片，并以踪片作为节点构建最小费用流网络流图；
[0011]采用最短路径算法求解所述最小费用流网络流图，获得多条辅助信号灯轨迹；
[0012]根据每一帧图像的方向指示信号灯检测结果，确定每一条辅助信号灯轨迹内辅助信号灯的形态类别；
[0013]根据每一条辅助信号灯轨迹所对应辅助信号灯区域图像，利用颜色检测分类网络
检测辅助信号灯中方向指示信号灯的颜色类别，并结合辅助信号灯的形态类别，确定每一条辅助信号灯轨迹的最终检测结果。
[0014]可选地，所述确定YOLOv7目标检测神经网络，具体包括：
[0015]获取包含辅助信号灯的视频；
[0016]对包含辅助信号灯的视频进行逐帧图像提取，得到包含辅助信号灯的图像，并进行标注，构成目标检测数据集；其中，标注的内容包括：辅助信号灯的位置、尺寸与形状，以及方向指示信号灯的位置、尺寸与类别；所述辅助信号灯的形状包括水平信号灯和竖直信号灯；方向指示信号灯的类别包括红色圆灯、绿色圆灯、红色左转箭头、绿色左转箭头、红色直行箭头、绿色直行箭头、红色右转箭头和绿色右转箭头；
[0017]利用所述目标检测数据集训练YOLOv7神经网络，获得YOLOv7目标检测神经网络。
[0018]可选地，确定颜色检测分类网络，具体包括：
[0019]从包含辅助信号灯的图像中裁剪出辅助信号灯，获得辅助信号灯区域图像；
[0020]从辅助信号灯区域图像中裁剪红灯图像、绿灯图像和黑色图像；所述红灯图像包括红色圆灯、红色左转箭头、红色直行箭头或红色右转箭头；所述绿灯图像包括绿色圆灯、绿色左转箭头、绿色直行箭头或绿色右转箭头；所述黑色图像为辅助信号灯中没有亮灯的区域图像；
[0021]将红色图像与黑色图像上下拼接作为红色类，黑色图像与绿色图像上下拼接作为绿色类，黑色图像与黑色图像上下拼接作为黑色类，构成颜色分类数据集；
[0022]利用所述颜色分类数据集训练图像分类网络，获得颜色检测分类网络。
[0023]可选地，所述使用辅助信号灯检测结果构建踪片，并以踪片作为节点构建最小费用流网络流图，之前还包括：
[0024]若辅助信号灯检测结果中辅助信号灯为水平信号灯，则删除高度大于宽度的辅助信号灯目标框；若辅助信号灯检测结果中辅助信号灯为竖直信号灯，则删除宽度大于高度的辅助信号灯目标框；
[0025]统计所有辅助信号灯检测结果中辅助信号灯的高宽比均值P
m
，并删除高宽比小于P
m
‑
0.5和高宽比大于P
m
+0.5的辅助信号灯目标框；
[0026]根据交通信号灯离线视频中连续帧之间辅助信号灯的位置关系，通过逐帧映射的方法对辅助信号灯的漏检进行补充。
[0027]可选地，所述使用辅助信号灯检测结果构建踪片，并以踪片作为节点构建最小费用流网络流图，具体包括：
[0028]使用双阈值保守关联算法将高斯核相关值小于相关值阈值的相邻两帧辅助信号灯检测结果关联为同一踪片；
[0029]设定一个源节点s，一个汇节点t，踪片作为中间节点，建立最小费用流网络流图；
[0030]通过踪片之间的位置相似度与图像相似度构建中间节点之间的费用为式中，c
ij
表示节点v
i
与节点v
j
的路径费用；μ表示整体费用衰减权重；P
pos
(T
j
|T
i
)表示踪片T
i
与踪片T
j
的位置相似度，一个踪片对应一个节点，d
l
和d
f
分别表示踪片T
i
的最后
一个目标检测结果位置坐标和踪片T
j
的第一个目标检测结果位置坐标，σ表示高斯核相关方差系数，λ表示位置相似度衰减权重；P
app
(T
j
|T
i
)表示踪片T
i
与踪片T
j
的图像相似度，P
app
(T
j
|T
i
)＝S(a
l
|a
f
)(1
‑
exp(
‑
λΔt))，S(a
l
|a
f
)表示使用相似度计算分类网络计算两个辅助信号灯检测结果中辅助信号灯区域的相似度；表示两踪片之间的时间约束，Δt表示踪片T
i
与踪片T
j
之间的间隔帧数量，θ
t
表示最大帧数阈值，两条踪片之间距离帧数大于此值的不进行关联；
[0031本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络流多目标跟踪的信号灯检测方法，其特征在于，包括：确定YOLOv7目标检测神经网络和颜色检测分类网络；利用YOLOv7目标检测神经网络对交通信号灯离线视频的每一帧图像识别辅助信号灯和辅助信号灯中的每个方向指示信号灯，获得每一帧图像的辅助信号灯检测结果和方向指示信号灯检测结果；使用辅助信号灯检测结果构建踪片，并以踪片作为节点构建最小费用流网络流图；采用最短路径算法求解所述最小费用流网络流图，获得多条辅助信号灯轨迹；根据每一帧图像的方向指示信号灯检测结果，确定每一条辅助信号灯轨迹内辅助信号灯的形态类别；根据每一条辅助信号灯轨迹所对应辅助信号灯区域图像，利用颜色检测分类网络检测辅助信号灯中方向指示信号灯的颜色类别，并结合辅助信号灯的形态类别，确定每一条辅助信号灯轨迹的最终检测结果。2.根据权利要求1所述的基于网络流多目标跟踪的信号灯检测方法，其特征在于，所述确定YOLOv7目标检测神经网络，具体包括：获取包含辅助信号灯的视频；对包含辅助信号灯的视频进行逐帧图像提取，得到包含辅助信号灯的图像，并进行标注，构成目标检测数据集；其中，标注的内容包括：辅助信号灯的位置、尺寸与形状，以及方向指示信号灯的位置、尺寸与类别；所述辅助信号灯的形状包括水平信号灯和竖直信号灯；方向指示信号灯的类别包括红色圆灯、绿色圆灯、红色左转箭头、绿色左转箭头、红色直行箭头、绿色直行箭头、红色右转箭头和绿色右转箭头；利用所述目标检测数据集训练YOLOv7神经网络，获得YOLOv7目标检测神经网络。3.根据权利要求2所述的基于网络流多目标跟踪的信号灯检测方法，其特征在于，确定颜色检测分类网络，具体包括：从包含辅助信号灯的图像中裁剪出辅助信号灯，获得辅助信号灯区域图像；从辅助信号灯区域图像中裁剪红灯图像、绿灯图像和黑色图像；所述红灯图像包括红色圆灯、红色左转箭头、红色直行箭头或红色右转箭头；所述绿灯图像包括绿色圆灯、绿色左转箭头、绿色直行箭头或绿色右转箭头；所述黑色图像为辅助信号灯中没有亮灯的区域图像；将红色图像与黑色图像上下拼接作为红色类，黑色图像与绿色图像上下拼接作为绿色类，黑色图像与黑色图像上下拼接作为黑色类，构成颜色分类数据集；利用所述颜色分类数据集训练图像分类网络，获得颜色检测分类网络。4.根据权利要求1所述的基于网络流多目标跟踪的信号灯检测方法，其特征在于，所述使用辅助信号灯检测结果构建踪片，并以踪片作为节点构建最小费用流网络流图，之前还包括：若辅助信号灯检测结果中辅助信号灯为水平信号灯，则删除高度大于宽度的辅助信号灯目标框；若辅助信号灯检测结果中辅助信号灯为竖直信号灯，则删除宽度大于高度的辅助信号灯目标框；统计所有辅助信号灯检测结果中辅助信号灯的高宽比均值P
m
，并删除高宽比小于P
m
‑
0.5和高宽比大于P
m
+0.5的辅助信号灯目标框；
根据交通信号灯离线视频中连续帧之间辅助信号灯的位置关系，通过逐帧映射的方法对辅助信号灯的漏检进行补充。5.根据权利要求1所述的基于网络流多目标跟踪的信号灯检测方法，其特征在于，所述使用辅助信号灯检测结果构建踪片，并以踪片作为节点构建最小费用流网络流图，具体包括：使用双阈值保守关联算法将高斯核相关值小于相关值阈值的相邻两帧辅助信号灯检测结果关联为同一踪片；设定一个源节点s，一个汇节点t，踪片作为中间节点，建立最小费用流网络流图；通过踪片之间的位置相似度与图像相似度构建中间节点之间的费用为式中，c
ij
表示节点v
i
与节点v
j
的路径费用；μ表示整体费用衰减权重；P
pos
(T
j
|T
i
)表示踪片T
i
与踪片T
j
的位置相似度，一个踪片对应一个节点，d
l
和d
f
分别表示踪片T
i
的最后一个目标检测结果位置坐标和踪片T
j
的第一个目标检测结果位置坐标，σ表示高斯核相关方差系数，λ表示位置相似度衰减权重；P
app
(T
j
|T
i
)表示踪片T
i
与踪片T
j
的图像相似度，P
app
(T
j
|T
i
)＝S(a
l
|a
f
)(1
‑
exp(
‑
λΔt))，S(a
l
|a
f
)表示使用相似度计算分类网络计算两个辅助信号灯检测结果中辅助信号灯区域的相似度；表示两踪片之间的时间约束，Δt...

【专利技术属性】
技术研发人员：陈海华，于乔烽，何明，
申请(专利权)人：南开大学，
类型：发明
国别省市：