一种箭形交通信号灯分体式候选图像区域的配对拼接方法技术

本发明专利技术公开了一种箭形交通信号灯分体式候选图像区域的配对拼接方法，该候选图像区域包括箭形交通信号灯的指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines；针对BinaryArrows和BinaryLines中的各图像相互一一进行配对，设BinaryArrows中配对图像的外接矩形为R1

【技术实现步骤摘要】
一种箭形交通信号灯分体式候选图像区域的配对拼接方法
本专利技术涉及车辆的智能驾驶辅助及无人驾驶
，更具体地，涉及一种分体成像的箭形交通信号灯候选图像区域的配对拼接方法。
技术介绍
红绿灯自动识别技术，尤其是红灯的自动识别技术，是车辆安全驾驶辅助和无人驾驶的关键支撑技术之一，是车辆交通环境感知的重要组成部分。根据所采用的技术方案不同，现有识别方案主要分为基于车路通信、基于周边车辆状态感知、基于GPS导航和基于车辆视觉四大类。尽管多方案融合是未来发展的趋势，但基于车载视觉的识别技术仍是学术界和企业界研究的热点，已成为智能交通系统的热点研究领域。其中，由于红灯表示禁止标志，对于交通次序和安全具有更为重要的意义，因此，能够快速实时、准确可靠的从交通环境视频图像中检测出红灯是工程应用的基本要求。现有红灯图像自动检测技术主要分为传统图像识别和基于深度学习的红灯识别两大类。前者多基于红灯的颜色、几何等特征提取红灯的候选图像区域，实时性较好。后者需要大量的图像样本进行模型的训练，准确率好，但由于训练好的神经网络模型的参数数量往往很庞大，对硬件处理速度提出了较高要求，不利于部署在车辆上，实时性也较差。这些直接制约着基于车载视觉的红灯自动检测技术在智能驾驶辅助和无人驾驶技术中的应用。而针对图像识别的红绿灯图像提取技术，由于箭形交通信号灯实际的分体式结构，使其在实际识别时存在如下不足：事实上，我国关于交通红绿灯的制作、设置和安装都分别在国标GB14886-2006《道路交通信号灯设置与安装规范》、国标GB14886-2016《道路交通信号灯设置与安装规范》、GB14887-2011《道路交通信号灯》和GB14887-2016《道路交通信号灯》等标准内做出了详细的规定。根据这些标准，常见的箭形交通信号灯主要有箭头朝左的禁止左转方向指示灯和箭头朝上的禁止直行方向指示灯两种，如图1所示。理想情况下，箭形交通信号灯在视频图像中为如图1所示的分体形式，其包括“指向箭头”和“尾部直线”两个独立部分。然而在现实中可能由于光晕、距离过远等原因，其图像成为一体形式，如图2所示。在现有研究中，部分学者并未考虑到箭头灯实际上是由分离的两部分组成，这种分离现象尤其在近距离成像时特别明显；部分学者虽然考虑到了此问题，但大多采用形态学方法进行合并操作，在处理不同距离、不同角度以及复杂多变背景下成像的分离灯体时如何选取形态学内核大小一直没有好的方案。因此对于图像的识别存在限制性。此外，现实中还由于车辆运行过程中相对于红灯灯体可能存在随机变化的侧倾、俯仰和横摆等位置变化，使得箭形交通信号灯的图像发生各类变形。对于这些特征的具体参数如何界定缺乏依据，准确率不高。参考文献(References)：[1]KimKT.STVC:SecureTraffic-lighttoVehicleCommunication[C].InternationalCongressonUltra-ModernTelecommunicationsandControlSystemsandWorkshops,St.PetersburgRussia,2012:96-104。[2]IglesiasI,IsasiL,LarburuM,etal.I2VCommunicationDrivingAssistanceSystem:On-BoardTrafficLightAssistant[C].VehicularTechnologyConference,CalgaryCanada,2008:1-5。[3]CampbellJ,AmorHB,AngMH,etal.Trafficlightstatusdetectionusingmovementpatternsofvehicles[C].ProceedingsoftheIEEEInternationalConferenceonIntelligentTransportationSystems,RiodeJaneiroBrazil,2016:283-288。[4]CampbellJ,TuncaliCE,LiuP,etal.Modelingconcurrencyandreconfigurationinvehicularsystems:Aπ-calculusapproach[C].IEEEInternationalConferenceonAutomationScienceandEngineering,TexasUSA,2016。[5]FairfieldN,UrmsonC.Trafficlightmappinganddetection[C].IEEEInternationalConferenceonRoboticsandAutomation,ShanghaiChina,2011:5421-5426。[6]LevinsonJ,AskelandJ,DolsonJ,etal.Trafficlightmapping,localization,andstatedetectionforautonomousvehicles[C].IEEEInternationalConferenceonRoboticsandAutomation,ShanghaiChina,2011:5784-5791。[7]JangC,ChoS,JeongS,etal.Trafficlightrecognitionexploitingmapandlocalizationateverystage[J].ExpertSystemswithApplications,2017,88:290-304。[8]周宣汝,袁家政,刘宏哲,等.基于HOG特征的交通信号灯实时识别算法研究[J].计算机科学,2014,41(7):313-317。[9]ShiZ,ZouZ,ZhangC.Real-timetrafficlightdetectionwithadaptivebackgroundsuppressionfilter[J].IEEETransactionsonIntelligentTransportationSystems,2015,17(3):690-700。[10]SalarianM,ManavellaA,AnsariR.Avisionbasedsystemfortrafficlightsrecognition[C]//2015SAIIntelligentSystemsConference(IntelliSys).IEEE,2015:747-753。[11]SainiS,NikhilS,KondaKR,etal.Anefficientvision-basedtrafficlightdetectionandstaterecognitionforautonomousvehicles[C]//2017IEEEIntelligentVehiclesSymposium(IV).IEEE,2017:606-611。[12]武莹,张小宁,何斌.基本文档来自技高网...

【技术保护点】
1.一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于：该候选图像区域包括箭形交通信号灯的指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines；针对集合BinaryArrows和集合BinaryLines中的各图像相互一一进行配对，设集合BinaryArrows中的配对图像的外接矩形为R1

【技术特征摘要】
1.一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于：该候选图像区域包括箭形交通信号灯的指向箭头候选图像集合BinaryArrows和尾部直线候选图像集合BinaryLines；针对集合BinaryArrows和集合BinaryLines中的各图像相互一一进行配对，设集合BinaryArrows中的配对图像的外接矩形为R1k，集合BinaryLines中的配对图像的外接矩形为R2k，配对的约束条件为：R1k与R2k的交集不能为空；R2k有且仅有两个顶点位于R1k内部，且这两个顶点的连线是R2k的较短边；R1k、R2k的面积和周长与两者并集的面积和周长的比值分别位于设定的变化范围阈值内；上述约束条件均满足则配对成功，否则配对不成功进行下一组配对，直到均配对完成；将配对成功的两个图像拼接作为一个灯体候选图像添加到箭形交通信号灯候选图像集合BinaryLights中。


2.根据权利要求1所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于所述候选图像区域的提取方法为：提取待识别的原始图像中所有跟箭形交通信号灯点亮区域有关的外轮廓线，计算这些外接矩形的宽高比，根据设定的宽高比变化阈值将图像划分为箭形交通信号灯候选图像集合BinaryLights、箭形交通信号灯的指向箭头候选图像集合BinaryArrows和箭形交通信号灯的尾部直线候选图像集合BinaryLines。


3.根据权利要求1或2所述的一种箭形交通信号灯分体式候选图像区域的配对拼接方法，其特征在于所述阈值的获得方法为：设车辆内摄像头安装位置为原点O，交通信号灯中心坐标为(x,y,z)，车辆摄像头轴心线相对于过交通信号灯表面中心的垂直线的侧倾角为δ、俯仰角为横摆角为ω，再根据交通信号灯标准尺寸，通过空间坐标变换求得各类箭形交通信号灯的相应面积比、周长比或者宽高比几何特征参数的变化公式；之后在覆盖多数车辆行驶条件即给定x、y、z、δ、及ω的约束条件下，获得各类灯体的特征参数变化...

【专利技术属性】
技术研发人员：钟铭恩，汤世福，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：福建;35