基于时空关联与先验知识的交通信号灯实时识别方法技术

基于时空关联与先验知识的交通信号灯实时识别方法属于智能交通行业的交通信息检测领域。本发明专利技术首先利用先验知识在原始图像上定位感兴趣区域，通过经验值过滤掉与红绿灯无关的区域。然后，提取信号灯红绿色区域并在此基础上利用形状特征过滤。之后读入过滤后的子区域，依次提取子区域的HOG特征，再利用分类器对信号灯样本进行训练。最后，依据分类器的判别函数对当前信号灯进行识别。如前方绿灯，可以行驶；如果前方红灯，发出停车信号。如果二者都存在，依据时空关联信息与所在车道决定行驶与否。本发明专利技术符合红绿灯的检测识别特点，能够实时准确地检测出红绿灯信息，运用于智能车当中，辅助其正确安全行驶。

【技术实现步骤摘要】
基于时空关联与先验知识的交通信号灯实时识别方法
本专利技术是一种利用视频图像基于时空关联与先验知识的实时动态信号灯识别方法，属于智能交通行业的交通信息检测领域。
技术介绍
随着社会和经济的快速发展，智能车辆越来越受到人们的关注。原因在于以下：智能车辆能够替代驾驶员驾驶，减少交通事故的发生，甚至使色盲色弱患者驾驶汽车成为可能。对于车辆的行驶，在路口准确的实时的识别红绿灯颜色是必须的。因此，对于解决无人驾驶的实时动态红绿灯检测识别，还有提升与进步的空间。要解决这个问题，首先必须要能够从复杂的背景图片中获得红绿灯的大概位置，然后再进一步定位和识别，并判断红绿灯的具体信息。目前，对于信号灯的识别方法主要是依据信号灯的各种特征信息。该方法检测有一定的准确率，但是实时性与广泛适用性不强，并不适用于智能车。
技术实现思路
本专利技术的目的在于将本专利技术实时运行于智能车当中，准确识别路口红绿灯信息，提高其行驶的安全性，提出了一种基于时空关联与先验知识的交通信号灯实时识别方法。为了实现上述目的，本专利技术采取了如下技术方案：首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1.2米，摄像头广角大于120度，分辨率大于640*480。一、基于先验知识确定图像的感兴趣区域(ROI)。结合摄像头安装位置和信号灯在图像中的位置，利用该时空关联信息确定获取图像的ROI。信号灯由远及近的过程当中，在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯，故确定上半部分为获取图像的ROI。二、提取ROI的红绿色区域。摄像机捕获图像类型为RGB，但由于RGB颜色空间受光照影响较大，具有不稳定性，而信号灯的颜色在YCbCr空间下更容易分割，故将捕获图片的颜色空间由RGB转换为YCbCr。转换过后分别提取ROI中红色及绿色区域。以此颜色区域来初步定位信号灯。三、对提取出来的红、绿色区域利用形状特征进行过滤，以排除其他红、绿色非信号灯物体的干扰。形状特征包括面积特征、外接矩形特征及密度特征等等，以信号灯的实际形状特征值作为阈值，进一步精确定位信号灯。四、提取红绿色区域的HOG特征。信号灯背板的边缘是一个明显的特征，HOG本质上是梯度信息的统计，而梯度主要存在于边缘的地方，所以HOG特征适用于信号灯的特征提取，该特征提取完成后作为分类器的输入项，通过分类器(本专利技术是SVM分类器)来识别判断检测区域是否为信号灯。五、SVM分类器训练信号灯样本，生成信号灯分类器。采集实际路况下的视频作为实验数据，从视频中截取信号灯图片，包括红、绿色状态的圆形灯，箭头灯作为训练样本，训练生成2组分类器，每组分类器能够识别4种类型的信号灯。(圆形，左转，直行，右转)六、结合先验知识，时空关联与分类器识别信号灯。首先利用分类器判别函数识别信号灯的类别，之后结合先验知识，时空关联进一步精确识别信息，以排除错误的识别结果。一种基于时空关联与先验知识的交通信号灯实时识别方法，其特征在于，包括以下步骤：(1)首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1-1.2米，摄像头广角大于120度，分辨率大于640*480；通过智能车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像image；结合先验知识，摄像头安装于智能车辆的正上方，信号灯在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯；故设定感兴趣区域为图片的上半部分；(2)提取信号灯的颜色；摄像机采集到的图片类型为RGB，将图片颜色空间从RGB转换到YCbCr，转换公式如下所示：在Cb通道下进行信号灯红色及绿色的提取，初步找到信号灯的颜色区域；Rmin为红色阈值的最小值108，Rmax为红色阈值的最大值160.Gmin为绿色阈值的最小值10，Gmax为绿色阈值的最大值60.f(x,y)表示点(x,y)处的像素值；颜色区域找到之后，对找到的区域颜色进行增强，其他无关区域颜色减弱；(3)特征过滤；将上图颜色区域进行二值化，依次依据以下特征过滤；过滤条件1：面积；遍历二值图中所有轮廓，求取所有轮廓的面积，面积在一定范围内的区域保留；假定图像有Nr个候选区域，记为Ri,i＝1,…Nr；Amax表示轮廓面积的最大值，取值为8000，Amin表示轮廓面积的最小值，取值为60；(Ri(A))表示第i个轮廓的面积；过滤条件2：形状；求取每个轮廓的外接矩形，得外接矩形的宽、高，过滤条件为外接矩形的宽高比率Rwh，比率满足以下条件的区域保留；过滤条件3：密度；求二值图中每个轮廓的密度；对于信号灯来说，颜色区域块内的所有像素点均为同一颜色，并且像素间排列紧密，所求得的密度大；f(x,y)表示二值图中点(x,y)处的像素值，A为轮廓面积；密度大于0.6的区域保留；(4)对保留下来的红绿色区域依次提取HOG特征；(5)采集实际路况下的视频，从中分割出信号灯图片作为样本，利用SVM训练这些信号灯样本，生成信号灯分类器；训练正样本包括以下类型的图片：红色圆形、绿色圆形、红色左转箭头、红色直行箭头、红色右转箭头、绿色左转箭头、绿色直行箭头、绿色右转箭头；负样本为从获取的视频图像中随机剪切出的非信号灯图片；训练好的分类器包括红色、绿色两组，每组又包括4个分类器，分别是圆形、左转、直行、右转信号灯的分类器；(6)信号灯的识别；对上述经过特征过滤保留下来的区域提取HOG特征,特征记为x，依据该区域的颜色选择对应颜色的分类器组，之后把HOG特征x代入所在组的4个分类器来依次进行分类识别,得到对应的分类结果；分类结果包括信号灯的颜色及类型:圆形、左转、直行、右转；在识别过程中求出每个信号灯区域的中心坐标值，判断中心坐标横坐标的大小关系即可得到每个信号灯的位置信息，结合分类器识别的类型结果得到信号灯完整的信息；之后利用时空关联信息进行识别；时间关联：(1)利用帧间图像在时间序列上连续的特点进行识别；通过帧间图像在时间序列上连续的特征，确保错误识别结果不发出；(2)利用同一个信号灯的颜色变换顺序特点进行识别；空间关联：(1)利用信号灯在空间中的位置关系进行识别；(2)利用信号灯本身在水平方向平行的位置关系进行识别。与现有的检测方法相比，本专利技术具有如下优点：(1)该专利技术是应用于无人驾驶车之上，速度较快，每帧的处理时间在100ms左右(分辨率1000*1000)，有较强的实用价值。(2)本专利技术能够识别多种类型的红绿灯，能有效避免车尾灯等其他物体的干扰。(3)本专利技术不同于已有的方法识别红绿灯，结合了时空关联与先验知识，采用了机器学习方法，提高了准确率和实时性。如附图6所示，经过时空关联信息判断图6为识别错误结果，识别信息不发出。附图7，显示了每帧处理时间及识别结果信息。附图说明图1本专利技术的信号灯识别流程图；图2摄像机捕获的原图；图3颜色提取结果图；图4特征过滤结果图；图5红绿灯识别结果图；图6时空关联结果图；图7每帧处理时间结果图。具体实施方式下面结合附图对本专利技术作进一步说明：首先，首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1-1.2米，摄像头广角大于120度，分辨率大于640*480。通过智能车辆上的摄像机，以20-50帧/秒的帧率实本文档来自技高网...

【技术保护点】
一种基于时空关联与先验知识的交通信号灯实时识别方法，其特征在于，包括以下步骤：(1)首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1‑1.2米，摄像头广角大于120度，分辨率大于640*480；通过智能车辆上的摄像机，以20‑50帧/秒的帧率实时获取智能车辆前方道路的图像image；结合先验知识，摄像头安装于智能车辆的正上方，信号灯在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯；故设定感兴趣区域为图片的上半部分；(2)提取信号灯的颜色；摄像机采集到的图片类型为RGB，将图片颜色空间从RGB转换到YCbCr，转换公式如下所示：Y=0.257×R+0.564×G+0.098×B+16Cb=-0.148×R-0.291×G+0.439×B+128Cr=0.439×R-0.368×G-0.071×B+128---(1)]]>在Cb通道下进行信号灯红色及绿色的提取，初步找到信号灯的颜色区域；Rmin为红色阈值的最小值108，Rmax为红色阈值的最大值160.Gmin为绿色阈值的最小值10，Gmax为绿色阈值的最大值60.f(x,y)表示点(x,y)处的像素值；{f(x,y)|Rmin≤fcb≤Rmax},Color＝Red{f(x,y)|Gmin≤fcb≤Gmax},Color＝Green (2)颜色区域找到之后，对找到的区域颜色进行增强，其他无关区域颜色减弱；CRGB(R,G,B)‾=(255,0,0)T,Color=Red(0,255,0)T,Color=Green(128,128,128)T,Color=Else---(3)]]>(3)特征过滤；将上图颜色区域进行二值化，依次依据以下特征过滤；过滤条件1：面积；遍历二值图中所有轮廓，求取所有轮廓的面积，面积在一定范围内的区域保留；；假定图像有Nr个候选区域，记为Ri,i＝1,...Nr；Amax表示轮廓面积的最大值，取值为8000，Amin表示轮廓面积的最小值，取值为60；(Ri(A))表示第i个轮廓的面积；Bool(Ri(A))=1,Amax≤A≤Amin0---(4)]]>过滤条件2：形状；求取每个轮廓的外接矩形，得外接矩形的宽、高，过滤条件为外接矩形的宽高比率Rwh，比率满足以下条件的区域保留；Bool(Ri(Rwh))=1,0.8≤Rwh≤1.50---(5)]]>过滤条件3：密度；求二值图中每个轮廓的密度；对于信号灯来说，颜色区域块内的所有像素点均为同一颜色，并且像素间排列紧密，所求得的密度大；f(x,y)表示二值图中点(x,y)处的像素值，A为轮廓面积；密度大于0.6的区域保留；ρ=AΣi=1mΣj=1nf(x,y)---(6)]]>(4)对保留下来的红绿色区域依次提取HOG特征；(5)采集实际路况下的视频，从中分割出信号灯图片作为样本，利用SVM训练这些信号灯样本，生成信号灯分类器；训练正样本包括以下类型的图片：红色圆形、绿色圆形、红色左转箭头、红色直行箭头、红色右转箭头、绿色左转箭头、绿色直行箭头、绿色右转箭头；负样本为从获取的视频图像中随机剪切出的非信号灯图片；；训练好的分类器包括红色、绿色两组，每组又包括4个分类器，分别是圆形、左转、直行、右转信号灯的分类器；(6)信号灯的识别；信号灯的识别；对上述经过特征过滤保留下来的区域提取HOG特征,特征记为x，依据该区域的颜色选择对应颜色的分类器组，之后把HOG特征x代入所在组的4个分类器来依次进行分类识别,得到对应的分类结果；分类结果包括信号灯的颜色及类型:圆形、左转、直行、右转；在识别过程中求出每个信号灯区域的中心坐标值，判断中心坐标横坐标的大小关系即可得到每个信号灯的位置信息，结合分类器识别的类型结果得到信号灯完整的信息；之后利用时空关联信息进行识别；时间关联：(1)利用帧间图像在时间序列上连续的特点进行识别；通过该特征，确保错误识别结果不发出；(2)利用同一个信号灯的颜色变换顺序特点进行识别；空间关联：(1)利用信号灯在空间中的位置关系进行识别；(2)利用信号灯本身在水平方向平行的位置关系进行识别。...

【技术特征摘要】
1.一种基于时空关联与先验知识的交通信号灯实时识别方法，其特征在于，包括以下步骤：(1)首先固定采集视频的摄像头位置，安装在智能汽车的后视镜中间位置，距离地面1-1.2米，摄像头广角大于120度，分辨率大于640*480；通过智能车辆上的摄像机，以20-50帧/秒的帧率实时获取智能车辆前方道路的图像image；结合先验知识，摄像头安装于智能车辆的正上方，信号灯在图片中出现的位置自底向上，当位置到达图片高度1/2时，开始能够准确的识别信号灯；故设定感兴趣区域为图片的上半部分；(2)提取信号灯的颜色；摄像机采集到的图片类型为RGB，将图片颜色空间从RGB转换到YCbCr，转换公式如下所示：在Cb通道下进行信号灯红色及绿色的提取，初步找到信号灯的颜色区域；Rmin为红色阈值的最小值108，Rmax为红色阈值的最大值160，Gmin为绿色阈值的最小值10，Gmax为绿色阈值的最大值60，f(x,y)表示点(x,y)处的像素值；颜色区域找到之后，对找到的区域颜色进行增强，其他无关区域颜色减弱；(3)特征过滤；将上述图片颜色区域进行二值化，依次依据以下特征过滤；过滤条件1：面积；遍历二值图中所有轮廓，求取所有轮廓的面积，面积在一定范围内的区域保留；假定图像有Nr个候选区域，记为Ri,i＝1,…Nr；Amax表示轮廓面积的最大值，取值为8000，Amin表示轮廓面积的最小值，取值为60；Ri(A)表示第i个轮廓的面积；过滤条件2：形状；求取每个轮廓的外接矩形，得外接矩形的宽、高，过滤条件为外接矩形的宽高比率Rwh，...

【专利技术属性】
技术研发人员：刘宏哲，袁家政，周宣汝，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11