基于深度学习的信号灯故障检测方法技术

本发明专利技术属于涉及计算机视觉领域、智能交通领域,提出了一种基于深度学习的信号灯故障检测方法，包括配置电警摄像头、检测区域选定、目标检测、区域匹配、目标分类、信号灯故障逻辑判定和将信号灯故障信息推送给平台接口。本发明专利技术利用了目标检测网络和目标分类网络，结合区域匹配以及自主设计的信号灯故障判定逻辑，为交管部门提供了一款可以基于实时视频流接入的信号灯故障解决方案，提高了交管部门对信号灯故障即时发现，大大减轻基层工作人员的工作内容及强度以及交通事故的发生，城市交通管理进行科学决策以及管理更加优化，提高了城市的运转效率。

【技术实现步骤摘要】
基于深度学习的信号灯故障检测方法
本专利技术属于涉及计算机视觉领域、智能交通领域,提出了一种基于深度学习的信号灯故障检测方法。
技术介绍
交通信号灯易因环境因素导致损坏并且位置远离交通监管中心交通监管人员无法及时获知路口信号灯的工作情况进而造成车辆通行不畅或引发交通事故。目前主要依靠路口电子摄像机工作图像提取信号灯的工作状态判别信号灯是否发生故障。但此法需进行图像融合算法复杂实时性差现阶段没有广泛应用于实际路口。近几年，计算机计算能力的提升，带动了计算机视觉的发展，特别是深度学习，利用大数据和深度学习的方法，对红绿灯进行自动检测，并区分每个灯头的状态进行分类成为一种可能。基于深度学习的信号灯故障检测，只需要一台带有显卡的机器，不需要耗费大量的人力和财力。因此对信号灯故障判别的技术研究具有重要的理论和实际价值。
技术实现思路
为解决目前信号灯故障检测主要依靠人工，实时性差，花费大的问题、因信号灯故障导致的交通拥堵与交通事故问题以及早晚高峰通过红绿灯控制放行问题。通过对信号灯状态的智能化管理与科学性决策，提高交通运转效率。现提供技术方案如下：一种基于深度学习的信号灯故障检测方法，包括步骤一、配置电警摄像头，使信号灯位置在电警画面中，接通全天时段的实时流画面，逐帧获取图像地址并解码重编码成所需格式图像后，在图像中标注出信号灯所在区域，以及信号灯的类型及灯头数量信息；步骤二、检测区域选定，将所有路口的电警图片输入到目标检测网络中，网络会输出红绿灯在图片中的位置，以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中，可以避免重复配置，如果，为检测到红绿灯位置，则需要手工查找出图片中的红绿灯位置，并以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中；步骤三、目标检测，根据接入的电警图片，利用目标检测网络进行红绿灯位置检测，其中目标检测网络利用ARM模块、TCB模块和ODM模块加强特征融合、精细目标检测，使得目标检测在复杂情景下仍具有较高的精度；步骤四、区域匹配，首先通过多目标检测网络生成每一帧的检测框，但由于同一个红绿灯位置可能会出现多个检测框，因此要进行NMS操作，去除多余的检测框，再与数据库中对应电警配置的标注区域进行IOU计算；IOU计算的是检测框与数据库中标定的标注框的交集比；如果其IOU值大于0.6，则以检测框的坐标在电警画面中标定位置，并且认为信号灯不存在偏移；如果小于0.6，则以检测框的长宽，标注框的中心点计算其IOU的值；如果大于0.6，则认为电警的角度位置发生了变化导致信号灯发生偏移，并使用检测出来的检测框在电警画面中对红绿灯进行标定；步骤五、目标分类，定位到信号灯位置后，要对信号灯各个灯头的状态、颜色进行分类，状态包括直行、左转、右转和人行，颜色包括黑、红、黄和绿；步骤六、信号灯故障逻辑判定，通过对信号灯的各个灯头进行分类后，将分类的结果结合当地的信号灯规则，进行组合判断，从而判断信号灯是否正常在工作；步骤七、将信号灯故障信息推送给平台接口。进一步的，目标检测网络，目标检测网络中ARM模块，通过提出大量的proposalbbox以及结合多层特征训练检测网络，ARM模块由一些卷积层、批标准化层、激活层构成，ARM模块通过将所有的检测框分为前景与背景，得到比较粗略检测框的坐标回归值，随后将特征图传入TCB模块；TCB模块主要做特征转化工作，将ARM输入的特征图转化成ODM的输入，TCB模块由两个分支，其中一个是上采样分支，其主要作用是融合多层次的特征；另一个分支依次包括3*3卷积核、stride为1、卷积核为256的卷积层、relu层、3*3卷积核、stride为1、卷积核为256的卷积层以及和4*4卷积核、stride为2、卷积核为256的反卷积层进行Eltwsum层、relu层、再接一个3*3卷积核、stride为1、卷积核为256的卷积层和relu层；将TCB处理后的特征图传入ODM模块；ODM模块主要做多目标分类和回归，分类的主要目的是区分开信号灯和计时器，而回归的主要目的是输出信号灯在画面中可能的位置；它主要利用的是TCB模块提供的特征图，这样做的好处在于使浅层的特征图与高层的特征图融合，可以提取到各个特征；进一步的，目标分类网络，分类使用目标分类网络，主要对resnet网络进行改进，包括加入attention机制以及在同一层特征中加入多尺度特征信息；attention机制的本质是从人类总能抓住图片中的重要区域获得的灵感，给特征图的不同区域赋予不同的区中系数，这样可以增强图片中重要的特征，忽视背景特征；在同一层加入不同尺度的特征是为了获取的特征具有更强的鲁棒性，多层特征的融合既可以防止梯度消失，又可以使浅层的特征对分类有正向的激励作用。本专利技术的有益效果：本专利技术利用了目标检测网络和目标分类网络，结合区域匹配以及自主设计的信号灯故障判定逻辑，为交管部门提供了一款可以基于实时视频流接入的信号灯故障解决方案，提高了交管部门对信号灯故障即时发现，大大减轻基层工作人员的工作内容及强度以及交通事故的发生，城市交通管理进行科学决策以及管理更加优化，提高了城市的运转效率。附图说明图1为信号灯故障判定流程图；图2为TCB模块示意图；图3为refinedet网络结构示意图；图4为attention机制示意图。具体实施方式为使本领域技术人员更加清楚和明确本专利技术技术方案，下面结合附图对本专利技术技术方案进行详细描述，但本专利技术的实施方式不限于此。如图1-4所示，一种基于深度学习的信号灯故障检测方法，包括步骤一、配置电警摄像头，使信号灯位置在电警画面中，接通全天时段的实时流画面，逐帧获取图像地址并解码重编码成所需格式图像后，在图像中标注出信号灯所在区域，以及信号灯的类型及灯头数量信息；步骤二、检测区域选定，将所有路口的电警图片输入到目标检测网络中，网络会输出红绿灯在图片中的位置，以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中，可以避免重复配置，如果，为检测到红绿灯位置，则需要手工查找出图片中的红绿灯位置，并以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中；步骤三、目标检测，根据接入的电警图片，利用目标检测网络进行红绿灯位置检测，其中目标检测网络利用ARM模块、TCB模块和ODM模块加强特征融合、精细目标检测，使得目标检测在复杂情景下仍具有较高的精度；其中，目标检测网络中ARM模块，通过提出大量的proposalbbox以及结合多层特征训练检测网络，ARM模块由一些卷积层、批标准化层、激活层构成，ARM模块通过将所有的检测框分为前景与背景，得到比较粗略检测框的坐标回归值，随后将特征图传入TCB模块；TCB模块主要做特征转化工作，将ARM输入的特征图转化成ODM的输入，TCB模块由两个分支，其中一个是上采样本文档来自技高网...

【技术保护点】
1.一种基于深度学习的信号灯故障检测方法，其特征在于：包括/n步骤一、配置电警摄像头，使信号灯位置在电警画面中，接通全天时段的实时流画面，逐帧获取图像地址并解码重编码成所需格式图像后，在图像中标注出信号灯所在区域，以及信号灯的类型及灯头数量信息；/n步骤二、检测区域选定，将所有路口的电警图片输入到目标检测网络中，网络会输出红绿灯在图片中的位置，以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中，可以避免重复配置，如果，为检测到红绿灯位置，则需要手工查找出图片中的红绿灯位置，并以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中；/n步骤三、目标检测，根据接入的电警图片，利用目标检测网络进行红绿灯位置检测，其中目标检测网络利用ARM模块、TCB模块和ODM模块加强特征融合、精细目标检测，使得目标检测在复杂情景下仍具有较高的精度；/n步骤四、区域匹配，首先通过多目标检测网络生成每一帧的检测框，但由于同一个红绿灯位置可能会出现多个检测框，因此要进行NMS操作，去除多余的检测框，再与数据库中对应电警配置的标注区域进行IOU计算；IOU计算的是检测框与数据库中标定的标注框的交集比；如果其IOU值大于0.6，则以检测框的坐标在电警画面中标定位置，并且认为信号灯不存在偏移；如果小于0.6，则以检测框的长宽，标注框的中心点计算其IOU的值；如果大于0.6，则认为电警的角度位置发生了变化导致信号灯发生偏移，并使用检测出来的检测框在电警画面中对红绿灯进行标定；/n步骤五、目标分类，定位到信号灯位置后，要对信号灯各个灯头的状态、颜色进行分类，状态包括直行、左转、右转和人行，颜色包括黑、红、黄和绿；/n步骤六、信号灯故障逻辑判定，通过对信号灯的各个灯头进行分类后，将分类的结果结合当地的信号灯规则，进行组合判断，从而判断信号灯是否正常在工作；/n步骤七、将信号灯故障信息推送给平台接口。/n...

【技术特征摘要】
1.一种基于深度学习的信号灯故障检测方法，其特征在于：包括
步骤一、配置电警摄像头，使信号灯位置在电警画面中，接通全天时段的实时流画面，逐帧获取图像地址并解码重编码成所需格式图像后，在图像中标注出信号灯所在区域，以及信号灯的类型及灯头数量信息；
步骤二、检测区域选定，将所有路口的电警图片输入到目标检测网络中，网络会输出红绿灯在图片中的位置，以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中，可以避免重复配置，如果，为检测到红绿灯位置，则需要手工查找出图片中的红绿灯位置，并以红绿灯的中心位置扩充700*700的检测区域，将此检测区域写入数据库中；
步骤三、目标检测，根据接入的电警图片，利用目标检测网络进行红绿灯位置检测，其中目标检测网络利用ARM模块、TCB模块和ODM模块加强特征融合、精细目标检测，使得目标检测在复杂情景下仍具有较高的精度；
步骤四、区域匹配，首先通过多目标检测网络生成每一帧的检测框，但由于同一个红绿灯位置可能会出现多个检测框，因此要进行NMS操作，去除多余的检测框，再与数据库中对应电警配置的标注区域进行IOU计算；IOU计算的是检测框与数据库中标定的标注框的交集比；如果其IOU值大于0.6，则以检测框的坐标在电警画面中标定位置，并且认为信号灯不存在偏移；如果小于0.6，则以检测框的长宽，标注框的中心点计算其IOU的值；如果大于0.6，则认为电警的角度位置发生了变化导致信号灯发生偏移，并使用检测出来的检测框在电警画面中对红绿灯进行标定；
步骤五、目标分类，定位到信号灯位置后，要对信号灯各个灯头的状态、颜色进行分类，状态包括直行、左转、右转和人行，颜色包括黑、红、黄和绿；
步骤六、信号灯故障逻辑判定，通过对信号灯的各个灯头进行分类后，将分类的结果结合当地的信号灯规则，进行组合判断，从而判断信号灯是否正常在工作；
步骤七、将信号灯故障信息推送给...

【专利技术属性】
技术研发人员：张永，赵永胜，王光超，
申请(专利权)人：博云视觉科技青岛有限公司，
类型：发明
国别省市：山东;37