一种基于图像处理的多信号灯识别方法技术

本发明专利技术公开了一种基于图像处理的多信号灯识别方法，包括：(1)对目标区域进行Top-Hat变换；(2)对变换后的目标区域进行灰度阀值分割，提取出发光区域；(3)通过几何滤波对发光区域进一步筛选，标记出候选区域；(4)训练分类器并使用分类器对候选区域进行分类，确定信号灯区域；(5)通过概率分析确定信号灯的形状。本发明专利技术通过对训练样本进行预处理，减轻了光晕的影响，更好地还原了信号灯的形状特征，在处理中通过增加角度对取象过程中可能出现的抖动等影响进行了模拟得到的分类器；本发明专利技术完全基于图像处理，不需要对现有的信号灯设备进行改造，实时性远高于分别调用识别圆形信号灯和识别箭头形信号灯的算法。

【技术实现步骤摘要】

本专利技术属于图像识别
，具体涉及一种基于图像处理的多信号灯识别方法。
技术介绍
现在已经有越来越多的研发部门或者科研单位关注汽车智能辅助系统的实现，在信号灯识别方面也提出了各种方法：金涛等提出的基于NCC模板匹配的背板检测(基于级联滤波的交通信号灯识别方法[M]，上海交通大学学报(自然版).2012:1355-60.)，但是匹配过程中只使用了单一模板，模板的适应性还有待探讨。Raoul de Charette等提出的自学习模板匹配算法用于信号灯识别(Real Time Visual Trafric Lights Recognition Based on Spot Light Detection and Adaptive Traffic Lights Templates[J].Ieee Int Veh Sym,2009,358-63.)，并针对柱式交通信号灯(相较于悬挂式信号灯的识别，背景更加复杂)的识别进行了实验，算法效率和识别率较高，但是并未涉及箭头型信号灯的检测。CAI.Z等提出了箭头型信号灯的识别方法(Real-time arrow traffic light recognition system for intelligent vehicle；proceedings ofthe The 16th International Conference on Image Processing,Computer Vision,&Pattern Recognition New York:IEEE Society,F,2012[C].)，通过建立信号灯样本库进行模板匹配，能够实现对箭头型信号灯的实时检测，但未能兼容圆形信号灯的识别。Frank Lindner等在简单特征识别的基础上，提出了使用前馈神经网络对信号样本进行分类(Robust recognition of traffic signals[J].2004Ieee Intelligent Vehicles Symposium,2004,49-53.)，该方法对黑白、彩色相机都有涉及，并且针对不同样式(圆形和箭头形)信号灯的识别设计了不同的算法，但是在圆形和箭头形信号灯都存在的场景下进行识别时，需要分别执行两个算法。综合以上可以看出，现有的信号灯识别方法，虽然基本可以达到实时准确(运行时间100ms以内，图像识别率90％以上)识别信号灯的要求，但是都只是针对圆形信号灯或者箭头形信号灯中的一种进行了识别，对于部分城市圆形信号灯和箭头形信号灯同时出现在同一场景中的情况并没有提出相应的解决方案。
技术实现思路
针对现有技术所存在的上述技术问题，本专利技术提供了一种基于图像处理的多信号灯识别方法，以实现同一场景中多种形状信号灯目标的识别。一种基于图像处理的多信号灯识别方法，包括如下步骤：(1)采集实景图像，截取实景图像中存在信号灯的区域作为目标区域，并对目标区域进行Top-Hat变换(顶帽算法)；(2)对变换后的目标区域进行灰度分割，从中提取出若干发光区块；(3)依次通过颜色标记和几何滤波对发光区块进一步筛选，从中提取出信号灯候选区块；(4)利用样本训练出信号灯分类器，进而使用分类器对信号灯候选区块进行区分，从中确定出真正的信号灯区块；(5)通过计算信号灯区块为箭头型信号灯的概率，以确定信号灯区块的形状，进而输出信号灯的颜色及状态。所述的步骤(2)中使目标区域中每一像素的灰度值与灰度阀值进行比较，将灰度值大于等于灰度阀值的像素的发光属性值标记为1，灰度值小于灰度阀值的像素的发光属性值标记为0；进而从目标区域中将发光属性均为1且相互邻接的若干像素所组成的区块提取出来作为发光区块。所述的步骤(3)中根据以下表达式对发光区块的每一像素进行颜色标记：其中：Binary为像素的颜色属性值，Hred,yelloow为对应红黄两色的颜色属性设定值，Hgreen为对应绿色的颜色属性设定值，TR、TG和TB分别为像素在红、绿、蓝三个颜色通道的亮度值，Rref、Rref1、Rref2、Gref、Gref1、Gref2、Bref1、Bref2、Bref3、Bref4均为预设的颜色亮度限定值；然后，对于任一发光区块，将其中颜色属性值均为Hred,yelloow或均为Hgreen且相互邻接的若干像素所组成的区块提取出来进行几何滤波，若符合几何滤波约束则将这若干像素所组成的区块作为信号灯候选区块。所述的步骤(4)中采集多份正样本和负样本用以训练信号灯分类器；所述的正样本为采集的实景图像中包含信号灯及其外壳且经Top-Hat变换后的图像区域或该图像区域通过三维空间旋转产生的图像样本；所述的负样本为采集的实景图像中不包含信号灯且经Top-Hat变换后的图像区域。所述的步骤(5)中确定信号灯区块形状的具体过程如下：首先，为信号灯区块构建外接矩形框，并按以下三种形式截取该矩形框的四个角：a.截取左边两个角为三角形，右边两个角为矩形；b.截取左边两个角为矩形，右边两个角为三角形；c.截取上边两个角为三角形，下边两个角为矩形；然后，根据以上的三种形式通过以下算式计算出信号灯区块对应的三组概率值：p=1-Σi=14NiSi]]>其中：P为概率值，Ni为第i个角区域中颜色属性值为Hred,yelloow或Hgreen的像素的总个数；Si为第i个角区域的面积；最后，使求得的三组概率值与对应的概率阈值比较，若三组概率值均比对应的概率阈值小，则判定信号灯区块的形状为圆形；若只有一组概率值比对应的概率阈值大，则进一步判断该概率值所对应的截取形式：若为形式a，则判定信号灯区块的形状为左箭头；若为形式b，则判定信号灯区块的形状为右箭头；若为形式c，则判定信号灯区块的形状为上箭头。与现有技术相比，本专利技术具有以下有益技术效果：(1)本专利技术通过对训练样本进行预处理，减轻了光晕的影响，更好地还原了信号灯的形状特征。(2)本专利技术在处理中通过增加角度对取象过程中可能出现的抖动等影响进行了模拟，得到的分类器可以对同一场景中的多个形状的信号灯进行确认。(3)本专利技术完全基于图像处理，不需要对现有的信号灯设备进行改造，实时性远高于分别调用识别圆形信号灯和识别箭头形信号灯的算法。附图说明图1为本专利技术方法的步骤流程示意图。图2为本专利技术计算信号灯区块箭头型概率的区域划分示意图。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的技术方案本文档来自技高网...

【技术保护点】
一种基于图像处理的多信号灯识别方法，包括如下步骤：(1)采集实景图像，截取实景图像中存在信号灯的区域作为目标区域，并对目标区域进行Top‑Hat变换；(2)对变换后的目标区域进行灰度分割，从中提取出若干发光区块；(3)依次通过颜色标记和几何滤波对发光区块进一步筛选，从中提取出信号灯候选区块；(4)利用样本训练出信号灯分类器，进而使用分类器对信号灯候选区块进行区分，从中确定出真正的信号灯区块；(5)通过计算信号灯区块为箭头型信号灯的概率，以确定信号灯区块的形状，进而输出信号灯的颜色及状态。

【技术特征摘要】
1.一种基于图像处理的多信号灯识别方法，包括如下步骤：
(1)采集实景图像，截取实景图像中存在信号灯的区域作为目标区域，并
对目标区域进行Top-Hat变换；
(2)对变换后的目标区域进行灰度分割，从中提取出若干发光区块；
(3)依次通过颜色标记和几何滤波对发光区块进一步筛选，从中提取出信
号灯候选区块；
(4)利用样本训练出信号灯分类器，进而使用分类器对信号灯候选区块进
行区分，从中确定出真正的信号灯区块；
(5)通过计算信号灯区块为箭头型信号灯的概率，以确定信号灯区块的形
状，进而输出信号灯的颜色及状态。
2.根据权利要求1所述的多信号灯识别方法，其特征在于：所述的步骤(2)
中使目标区域中每一像素的灰度值与灰度阀值进行比较，将灰度值大于等于灰
度阀值的像素的发光属性值标记为1，灰度值小于灰度阀值的像素的发光属性值
标记为0；进而从目标区域中将发光属性均为1且相互邻接的若干像素所组成的
区块提取出来作为发光区块。
3.根据权利要求1所述的多信号灯识别方法，其特征在于：所述的步骤(3)
中根据以下表达式对发光区块的每一像素进行颜色标记：
其中：Binary为像素的颜色属性值，Hred,yelloow为对应红黄两色的颜色属性设定
值，Hgreen为对应绿色的颜色属性设定值，TR、TG和TB分别为像素在红、绿、
蓝三个颜色通道的亮度值，Rref、Rref1、Rref2、Gref、Gref1、Gref2、Bref1、Bref2、Bref3、
Bref4均为预设的颜色亮度限定值；
然后，对于任一发光区块，将其中颜色属性值均为Hred,yelloow或均为Hgre...

【专利技术属性】
技术研发人员：杨国青，李红，吴晨，逄伟，吴朝晖，
申请(专利权)人：浙江大学，江苏萝卜交通科技有限公司，
类型：发明
国别省市：浙江;33