一种鲁棒的车牌识别方法及其系统技术方案

本发明专利技术公开了一种鲁棒的车牌识别方法及其系统，该方法包括：兴趣区域搜索步骤，对待识别图像进行检测，找出图像中的非平坦区作为可能存在车牌的兴趣区域；候选区域检测步骤，对兴趣区域进行字符检测，将兴趣区域中存在多个相邻字符的区域作为候选区域；候选区域识别步骤，对候选区域中的字符进行识别，其中首先识别已检出的字符，建立包括已检出的字符的字符样本以及通过缩放和/或倾斜字符样本而获得的扩展样本的样本空间，然后基于样本空间来识别未检出的字符。本发明专利技术提高了车牌识别率，增强了鲁棒性，提高了对不同类型车牌的适应性，扩大了本发明专利技术的应用范围。

Robust license plate recognition method and system thereof

The invention discloses a robust license plate recognition method and system thereof, the method comprises the following steps: region of interest search steps towards recognition image detection, find the image in the non flat regions as region of interest may exist in the license plate; the candidate region detection step, character detection of region of interest, there will be a number of adjacent characters of interest in the area of region as the candidate region; candidate identification steps to identify candidate regions in character, which has been found to first identify the characters, including the establishment of the character samples have been detected and the extended sample obtained by zoom and / or tilt character sample sample space, then based on the sample space to identify the detection of the character. The invention improves the license plate recognition rate, enhances the robustness, improves the adaptability of different types of vehicle plates, and enlarges the application range of the invention.

【技术实现步骤摘要】
一种鲁棒的车牌识别方法及其系统
本专利技术涉及智能交通管理
，尤其涉及一种鲁棒的车牌识别方法及其系统。
技术介绍
车牌识别是智能交通管理中的重点，多年来已形成了基本的技术架构，但是随着应用场景的增加，也面临着越来越多的挑战。该技术主要有三大指标：识别率、实时性、鲁棒性。识别率指标要求卡口图像识别率不低于98％，电子警察图像不低于93％。实时性指标要求图像中的车牌能够实时识别，具体识别时间随着应用场景的不同需在数十毫秒至1秒之间变动。鲁棒性指标则要求在光照变化、雨雾天气、车牌倾斜、污损、车牌图像尺寸较小等各种情况下，识别率均能保持稳定。针对这三个目标，现有技术中已经开发了多种车牌识别算法。虽然算法繁多，但是通常都由以下步骤组成，即：车牌定位、车牌倾斜校正、字符分割、字符识别。车牌定位常见的有基于颜色、边缘、样本训练的三类方法。基于颜色的方法寻找与车牌颜色相近的区域。基于边缘的方法则根据车牌字符多，边缘丰富的特点，寻找竖向边缘密集的区域。基于训练的方法则采集车牌特征做训练，得到一个专用分类器，再使用该分类器定位车牌。其中，常见的方式为类Haar特征+Adaboost分类器方式。车牌定位后，需要对车牌做倾斜校正。如不做校正，会造成字符切割不准确并进一步影响字符识别。常见的方式是利用Hough变换，计算出车牌的倾斜角度，然后再反向旋转同样的倾斜角度，从而达到校正的目的。车牌校正后，需要对车牌做字符分割，常用的方法有连通域法和投影法。连通域法做连通域搜索找到字符，投影法则先对车牌做投影，再通过分析投影找出字符的位置。上述现有技术的基本架构都是通过逐级排除，缩小搜索空间，最终找到并识别车牌字符。目前，有关车牌识别的文献非常多，但是基本上都是基于上述框架，主要的改进点都集中在车牌定位、倾斜校正、字符分割、字符识别的这几个步骤的具体实现上，而忽略了以下算法框架自身的缺陷。1)单向流程，识别率难以提高：基于单向流程来完成识别，一旦某步骤失败，则识别失败。假定车牌定位、倾斜校正、字符分割(考虑7个字符)、字符识别的正确率分别为99.5％，则相当于1+1+7+7＝16个环节串行，总体的识别率就已经降到了99.5％^16＝92.3％。而且，99.5％的单步骤正确率实际上是很难达到的。由此可见，对于单向、纯串行结构的系统框架而言，识别率很难进一步提高。2)每个模块内部处理方式单一，鲁棒性差适：以字符分割为例，通常会固定使用投影法或者连通域法。当车牌定位的范围过大，将车牌周边过多的图像也划进来后，就容易导致投影法失败。光照不均，则容易导致连通域法失败。而一旦失败，并没有任何的补救措施，这也是鲁棒性差的重要原因。3)“车牌”的概念，限制了处理的灵活性：车牌定位时，会先搜索ROI(RegionofInterest，感兴趣区域)，再在ROI内做车牌粗定位和细定位。粗定位找到车牌的可能存在区域，细定位则进一步确定边界。然后对车牌做倾斜校正，再分割字符。因此，车牌定位要非常准确，不大不小。过大，车牌周边的图像容易导致倾斜校正失败；过小，则直接导致字符缺失。另一个问题是车牌还分单层、双层、黑底白字、白底黑字、乃至不同国家和地区的各式车牌。设计者往往以本国的车牌为主要的识别对象，车牌定位和倾斜校正所使用的参数通常也是基于本国的常见车牌类型。结果，车牌形式一变，就要对算法和参数做较大调整。这一方面导致车牌算法的维护工作量大，另一方面导致车牌识别系统在出口到其他国家和地区时遇到困难，乃至贻误商机。4)车牌定位运算量大：利用传统方法做车牌定位时，通常会对所有像素做运算。例如，基于颜色的方法会读取每个像素点的颜色，基于边缘的方法会对每个像素点取边缘。因此，造成运算量偏大。通常，车牌定位阶段会占到算法总运算量的60％以上，影响了识别的实时性。综上所述，如果只是提高系统中各个单一模块的性能，则整体性能的提升效果并不显著。而且单一模块的性能在提升到一定程度后，进一步提高的难度很大。在系统模块内部，由于方法单一，通常一次只能产生一个处理结果，一旦该结果错误，则识别失败。另外，“车牌”这个概念，夹在ROI和字符之间，增加了一个识别层次，降低了识别率，同时缺乏灵活性。车牌定位时，对全部像素的无差别运算也导致了运算量大，影响了实时性。总而言之，现有技术中，单向、单一的流程以及“车牌”的概念导致传统的车牌识别方法及其系统的前后步骤依赖性强、鲁棒性差、设计难度大、灵活性差。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种新的鲁棒的车牌识别方法及其系统。本专利技术提供的鲁棒的车牌识别方法，包括：兴趣区域搜索步骤，对待识别图像进行检测，找出图像中的非平坦区作为可能存在车牌的兴趣区域；候选区域检测步骤，对兴趣区域进行字符检测，将兴趣区域中存在多个相邻字符的区域作为候选区域；候选区域识别步骤，对候选区域中的字符进行识别，其中首先识别已检出的字符，建立包括已检出的字符的字符样本以及通过缩放和/或倾斜字符样本而获得的扩展样本的样本空间，然后基于样本空间来识别未检出的字符。优选地，所述候选区域识别步骤中，基于样本空间来识别未检出的字符是指分析样本空间中每个样本的置信度，获得置信度最高时所对应的字符缩放尺寸和/或倾斜角度，据此来分割未检出的字符，从而识别出未检出的字符。优选地，所述候选区域识别步骤中，识别已检出的字符包括以下小步骤：S310、对已检出的字符提取字符样本；S320、通过对步骤S310所获得的字符样本进行缩放和/或倾斜来获取扩展样本；S330、建立包括步骤S310所获得的字符样本以及步骤S320所获得的扩展样本的样本空间；S340、分析步骤S330所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出。优选地，所述候选区域识别步骤中，识别未检出的字符包括以下小步骤：S350、获得已检出的字符的样本空间中置信度最高时所对应的字符缩放尺寸和/或倾斜角度，据此来分割未检出的字符，并对其提取字符样本；S360、通过沿着最佳倾斜角度滑动步骤S350所获得的字符样本来获取扩展样本；S370、建立包括步骤S350所获得的字符样本以及步骤S360所获得的扩展样本的样本空间；S380、分析步骤S370所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出。优选地，所述候选区域识别步骤中，同时采用投影法和连通域法来提取字符样本，若两个方法的结果有重叠，则重叠部分合并，非重叠部分保留，作为字符样本。优选地，所述候选区域识别步骤中，还对字符识别结果中易混淆的字符进行再次识别。优选地，所述候选区域识别步骤中，根据字符识别结果判断车牌类型，并输出包括车牌类型、车牌号和/或识别置信度的车牌识别结果。优选地，所述兴趣区域搜索步骤包括以下小步骤：S110、计算待识别图像的积分图；S120、利用积分图计算每个区域的均方差和平均值；S130、若一个区域的均方差与平均值的商大于预先给定的阈值，则判断该区域为非平坦区。优选地，所述兴趣区域搜索步骤还包括以下步骤：S140、对非平坦区内的字符的大小进行估算，以便据此设置字符检测时所使用的搜索框的大小，从而提高检测速度。此外，本专利技术还提供鲁棒的车牌本文档来自技高网...

【技术保护点】
一种鲁棒的车牌识别方法，包括：兴趣区域搜索步骤，对待识别图像进行检测，找出图像中的非平坦区作为可能存在车牌的兴趣区域；候选区域检测步骤，对兴趣区域进行字符检测，将兴趣区域中存在多个相邻字符的区域作为候选区域；候选区域识别步骤，对候选区域中的字符进行识别，其中首先识别已检出的字符，建立包括已检出的字符的字符样本以及通过缩放和/或倾斜字符样本而获得的扩展样本的样本空间，然后基于样本空间来识别未检出的字符。

【技术特征摘要】
1.一种鲁棒的车牌识别方法，包括：兴趣区域搜索步骤，对待识别图像进行检测，找出图像中的非平坦区作为可能存在车牌的兴趣区域；候选区域检测步骤，对兴趣区域进行字符检测，将兴趣区域中存在多个相邻字符的区域作为候选区域；候选区域识别步骤，对候选区域中的字符进行识别，其中首先识别已检出的字符，建立包括已检出的字符的字符样本以及通过缩放和/或倾斜字符样本而获得的扩展样本的样本空间，然后基于样本空间来识别未检出的字符。2.根据权利要求1所述的车牌识别方法，其特征在于，所述候选区域识别步骤中，基于样本空间来识别未检出的字符是指分析样本空间中每个样本的置信度，获得置信度最高时所对应的字符缩放尺寸和/或倾斜角度，据此来分割未检出的字符，从而识别出未检出的字符。3.根据权利要求1或2所述的车牌识别方法，其特征在于，所述候选区域识别步骤中，识别已检出的字符包括以下小步骤：S310、对已检出的字符提取字符样本；S320、通过对步骤S310所获得的字符样本进行缩放和/或倾斜来获取扩展样本；S330、建立包括步骤S310所获得的字符样本以及步骤S320所获得的扩展样本的样本空间；S340、分析步骤S330所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出。4.根据权利要求3所述的车牌识别方法，其特征在于，所述候选区域识别步骤中，识别未检出的字符包括以下小步骤：S350、获得已检出的字符的样本空间中置信度最高时所对应的字符缩放尺寸和/或倾斜角度，据此来分割未检出的字符，并对其提取字符样本；S360、通过沿着最佳倾斜角度滑动步骤S350所获得的字符样本来获取扩展样本；S370、建立包括步骤S350所获得的字符样本以及步骤S360所获得的扩展样本的样本空间；S380、分析步骤S370所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出。5.根据权利要求3或4所述的车牌识别方法，其特征在于，所述候选区域识别步骤中，同时采用投影法和连通域法来提取字符样本，若两个方法的结果有重叠，...

【专利技术属性】
技术研发人员：李红波，孙文超，侯林利，
申请(专利权)人：四川九洲电器集团有限责任公司，
类型：发明
国别省市：四川,51