一种基于视觉技术的智能临时信号灯及其实现方法技术

本发明专利技术公开一种基于视觉技术的智能临时信号灯及其实现方法，灯头组件通过立杆安装于灯箱上方，反光镜单元通过支臂安装于灯头组件下方的立杆上，摄像机单元安装于灯头组件下方的支臂上；方法为：如果智能临时信号灯位姿不正确，调整到正确位姿；如固定信号灯点亮，则固定信号灯恢复供电；系统进入工作状态，通过开关自动关闭临时信号灯，以避免临时信号灯与固定信号灯相位发生矛盾；通过通信模块发消息给管理中心：该临时信号灯完成使命，维护人员取走临时信号灯；如果固定信号灯尚未恢复供电，则由智能临时信号灯替换固定信号灯工作。本发明专利技术能够监测自身状态、位置以及固定信号灯是否恢复供电正常工作，并具有电子警察功能，保障交通规范秩序。交通规范秩序。交通规范秩序。

【技术实现步骤摘要】
一种基于视觉技术的智能临时信号灯及其实现方法


[0001]本专利技术涉及一种信号灯，具体为一种基于视觉技术的智能临时信号灯及其实现方法。

技术介绍

[0002]随着经济持续高速增长，城乡居民可支配收入的大幅提高，城市机动车与非机动车数量均呈现出高速增长态势。据公安部统计，2019年全国新注册登记机动车3214万辆，机动车保有量达3.48亿辆，其中新注册登记汽车2578万辆，汽车保有量达2.6亿辆；机动车驾驶人达4.35亿人，其中汽车驾驶人3.97亿人。尽管近年来中国道路交通设施及管理设施有较大改观，但依然跟不上机动车增长速度，特别是大多数城市路网结构不合理，道路功能不完善，道路系统不健全。而且交通管理设施缺乏，管理水平不高。我国正加快步入汽车社会，但与之相适应的全社会的交通安全观念、交通文明意识明显滞后，不规范的驾驶行为和道路交通陋习多，超速、超员、超载、路口违反交通信号和违法停车等交通违法行为多发。由于城市中固定安装于路口信号灯可能出现停电或损坏情况，经常需要在这些路口设置临时信号灯。
[0003]目前临时信号灯一般只是一个简单四方向红绿灯，采用简单的时序控制。这样的临时信号灯由如下问题：(1)该路口固定信号灯恢复供电后固定信号灯正常工作，由于临时信号灯与固定信号灯没有必然的联系，控制原理和时序不同，经常出现临时信号灯与固定信号灯相位发生矛盾的情况，给路口造成指挥混乱，导致通过路口的车辆无所适从，因个人理解不一样，导致路口车辆混乱甚至拥堵和交通事故；(2)临时信号灯可能因自然界作用(如大风)或者被交通工具冲撞产生位移、旋转而造成临时信号灯因没有对准方向而导致指挥方向错误，对交通工具冲撞造成的临时信号灯损坏也无法及时通知、取证并追索；(3)如果临时信号灯工作是由于正常信号灯停电，此时该路口布置的固定电子警察系统也会因为停电而无法正常工作，一些驾驶员就会有闯红灯、违法压线、不按指示道路通行等各种交通违法行为；(4)现有的临时信号灯都是标准的间隔90度均匀排列，只适应于标准的正十字路口，对非标十字路口不能正确地对准实际的路口的入口方向。

技术实现思路

[0004]针对现有技术中临时信号灯存在的上述不足，本专利技术要解决的问题是提供一种可具有智慧功能的临时信号灯一种基于视觉功能的智能临时信号灯及其实现方法。
[0005]为解决上述技术问题，本专利技术采用的技术方案是：
[0006]本专利技术提供一种基于视觉技术的智能临时信号灯，包括灯箱、灯头组件、摄像机单元以及反光镜单元，其中，灯头组件通过立杆安装于灯箱上方，反光镜单元通过支臂安装于灯头组件下方的立杆上，摄像机单元安装于灯头组件下方的支臂上。
[0007]灯头组件具有四个灯头，分别对应十字路口的四个方向；摄像机单元具有四套摄像机，分别安装在四个灯头下方，四套摄像机的镜头分别对应四个车辆进入的路口方向；反
光镜单元包括四组反光镜组件，每个摄像机配置一个。
[0008]每组反光镜组件具有两个反光镜及补光灯，两个反光镜入射光分别对应十字路口一个方向的固定信号灯及临时信号灯灯头，出射光进入相应的摄像机画面区域；补光灯通过连接件安装于反光镜组件下方、支臂的底面上。
[0009]每个反光镜具有底座、支架以及镜片，其中镜片转动安装于支架中，支架转动安装于底座上，底座安装于支臂上；支臂共有四个，各支臂的一端具有安装孔，套装在立杆上，其他部分面向十字路口的一个方向水平悬置。
[0010]灯箱内设有控制单元，包括处理器和通信模块，其中处理器的图像信号输入端接收四套摄像机采集的图像信号，处理器的通讯接口通过通信模块与管理中心的上位机进行通讯连接。
[0011]本专利技术还提供一种基于视觉技术的智能临时信号灯的实现方法，包括以下步骤：
[0012]1)智能临时信号灯是否为正确位姿；
[0013]2)如果智能临时信号灯位姿不正确，则调整到正确位姿；
[0014]3)判断该路口固定信号灯是否点亮，如固定信号灯点亮，则固定信号灯恢复供电；
[0015]4)系统进入工作状态，通过开关自动关闭临时信号灯，以避免临时信号灯与固定信号灯相位发生矛盾；
[0016]5)通过通信模块发消息给管理中心：该临时信号灯完成使命，维护人员取走临时信号灯；
[0017]6)如果步骤3)中固定信号灯尚未恢复供电，则由智能临时信号灯替换固定信号灯工作。
[0018]步骤1)中智能临时信号灯是否为正确位姿，具体为：
[0019]101)判定初始记录的监控画面中关键景物位置是否发生变化；
[0020]102)如关键景物位置发生变化，则判定临时信号灯产生位移、旋转；
[0021]103)通过通信模块发信息给管理中心予以维护，避免临时信号灯因损坏或没有对准方向而导致指挥方向错误。
[0022]步骤6)中智能临时信号灯替换固定信号灯工作，对车辆在相应路口的各种交通违法行为进行取证，执行电子警察功能，并与管理中心进行信息交换，通过以下方法实现：
[0023]601)对图像数据制作成样本，用深度学习算法进行训练，获得特征模型；
[0024]602)根据特征模型，检测采集到的第一帧图像的所有目标车辆box，利用DeepSort算法将检测到的目标初始化并创建新的跟踪器，标注id，随后的第二帧图像检测的所有目标先到卡尔曼滤波器中进行由前面帧box产生的状态预测和协方差预测；
[0025]603)求跟踪器所有目标状态预测与本帧检测的box的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配，再去掉匹配值小于IOU_threshold 的匹配对；
[0026]604)用第一帧中匹配到的检测目标box去更新卡尔曼跟踪器，计算卡尔曼增益、状态更新和协方差更新，并将状态更新值输出，作为第一帧的跟踪box；
[0027]605)对于第一帧中没有匹配到的目标重新初始化跟踪器，由卡尔曼跟踪器联合历史跟踪记录，调节历史box与本帧box的残差，更好地匹配跟踪id；利用马氏距离计算物体检测Bbox d
j
和物体跟踪BBox y
i
之间的距离；
[0028]606)对第二帧没有匹配的目标作为新目标初始化并创建新的跟踪器，标注新的
id，将第一、二帧所有目标与下一帧图像进行目标匹配，对目标车辆进行定位与跟踪，以此类推依次与下一帧图像进行目标匹配，获得目标车辆的行驶轨迹；
[0029]607)根据车辆行驶的轨迹和当前信号灯的状态，判断车辆是否存在违章行为。
[0030]步骤606)中将第一、二帧所有目标与下一帧图像进行目标匹配，对目标车辆进行定位与跟踪，具体为：
[0031]60601)利用深度学习训练好的模型去判断该图片中是否包含车辆，若包含车辆同时输出其车辆位置坐标，对于不含有车的图片，给定分类标注为0，位置标注为零向量,包含车辆的图片分类标注为1，位置标注为向量 (x1,y1,x2,y2)，四个变量分别为左上角的坐标(x1,y1)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉技术的智能临时信号灯，其特征在于：包括灯箱、灯头组件、摄像机单元以及反光镜单元，其中，灯头组件通过立杆安装于灯箱上方，反光镜单元通过支臂安装于灯头组件下方的立杆上，摄像机单元安装于灯头组件下方的支臂上。2.根据权利要求1所述的基于视觉技术的智能临时信号灯，其特征在于：灯头组件具有四个灯头，分别对应十字路口的四个方向；摄像机单元具有四套摄像机，分别安装在四个灯头下方，四套摄像机的镜头分别对应四个车辆进入的路口方向；反光镜单元包括四组反光镜组件，每个摄像机配置一个。3.根据权利要求2所述的基于视觉技术的智能临时信号灯，其特征在于：每组反光镜组件具有两个反光镜及补光灯，两个反光镜入射光分别对应十字路口一个方向的固定信号灯及临时信号灯灯头，出射光进入相应的摄像机画面区域；补光灯通过连接件安装于反光镜组件下方、支臂的底面上。4.根据权利要求3所述的基于视觉技术的智能临时信号灯，其特征在于：每个反光镜具有底座、支架以及镜片，其中镜片转动安装于支架中，支架转动安装于底座上，底座安装于支臂上；支臂共有四个，各支臂的一端具有安装孔，套装在立杆上，其他部分面向十字路口的一个方向水平悬置。5.根据权利要求1所述的基于视觉技术的智能临时信号灯，其特征在于：灯箱内设有控制单元，包括处理器和通信模块，其中处理器的图像信号输入端接收四套摄像机采集的图像信号，处理器的通讯接口通过通信模块与管理中心的上位机进行通讯连接。6.一种基于视觉技术的智能临时信号灯的实现方法，其特征在于包括以下步骤：1)智能临时信号灯是否为正确位姿；2)如果智能临时信号灯位姿不正确，则调整到正确位姿；3)判断该路口固定信号灯是否点亮，如固定信号灯点亮，则固定信号灯恢复供电；4)系统进入工作状态，通过开关自动关闭临时信号灯，以避免临时信号灯与固定信号灯相位发生矛盾；5)通过通信模块发消息给管理中心：该临时信号灯完成使命，维护人员取走临时信号灯；6)如果步骤3)中固定信号灯尚未恢复供电，则由智能临时信号灯替换固定信号灯工作。7.根据权利要求6所述的基于视觉技术的智能临时信号灯的实现方法，其特征在于步骤1)中智能临时信号灯是否为正确位姿，具体为：101)判定初始记录的监控画面中关键景物位置是否发生变化；102)如关键景物位置发生变化，则判定临时信号灯产生位移、旋转；103)通过通信模块发信息给管理中心予以维护，避免临时信号灯因损坏或没有对准方向而导致指挥方向错误。8.根据权利要求6所述的基于视觉技术的智能临时信号灯的实现方法，其特征在于步骤6)中智能临时信号灯替换固定信号灯工作，对车辆在相应路口的各种交通违法行为进行取证，执行电子警察功能，并与管理中心进行信息交换，通过以下方法实现：601)对图像数据制作成样本，用深度学习算法进行训练，获得特征模型；602)根据特征模型，检测采集到的第一帧图像的所有目标车辆box，利用DeepSort算法
将检测到的目标初始化并创建新的跟踪器，标注id，随后的第二帧图像检测的所有目标先到卡尔曼滤波器中进行由前面帧box产生的状态预测和协方差预测；603)求跟踪器所有目标状态预测与本帧检测的box的IOU，通过匈牙利指派算法得到IOU最大的唯一匹配，再去掉匹配值小于IOU_threshold的匹配对；604)用第一帧中匹配到的检测目标box去更新卡尔曼跟踪器，计算卡尔曼增益、状态更新和协方差更新，并将状态更新值输出，作为第一帧的跟踪box；605)对于第一帧中没有匹配到的目标重新初始化跟踪器，由卡尔曼跟踪器联合历史跟踪记录，调节历史box与本帧box的残差，更好地匹配跟踪id；利用马氏距离计算物体检测Bbox d
j
和物体跟踪BBox y
i
之间的距离；606)对第二帧没有匹配的目标作为新目标初始化并创建新的跟踪器，标注新的id，将第一、二帧所有目标与下一帧图像进行目标匹配，对目标车辆进行定位与跟踪，以此类推依次与下一帧图像进行目标匹配，获得目标车辆的行驶轨迹；607)根据车辆行驶的轨迹和当前信号灯的状态，判断车辆是否存在违章行为。9.根据权利要求8所述的基于视觉技术的智能临时信号灯的实现方法，其特征在于步骤606)中将第一、二帧所有目标与下一帧图像进行目标匹配，对目标车辆进行定位与跟踪，具体为：60601)利用深度学习训练好的模型去判断该图片中是否包含车辆，若包含车辆同时输出其车辆位置坐标，对于不含有车...

【专利技术属性】
技术研发人员：董铁军，赵全邦，郭月，孙利涛，
申请(专利权)人：沈阳聚德视频技术有限公司，
类型：发明
国别省市：