一种车牌识别方法技术

本发明专利技术一种车牌识别方法，涉及用于识别图形的方法，步骤是：图像预处理；根据颜色和纹理特征分割车辆区域；提取车辆区域图的显著因子图；利用基于扩展的Haar-like特征的Adaboost分类器提取候选车牌；从候选车牌中确定真车牌位置；将标记的车牌从对应的车辆区域原图中分割出来；利用结构特征进行字符分割；基于改进的模板匹配方法的字符识别。本发明专利技术方法克服了现有的车牌识别方法应用场景比较单一，有的只适用于简单的单一场景的单一车牌识别，难以适用于多场景的多车牌识别，识别率容易受到强光、雾霾和弱光照环境的影响的缺陷。

【技术实现步骤摘要】
一种车牌识别方法
本专利技术的技术方案涉及用于识别图形的方法，具体地说是一种车牌识别方法。
技术介绍
智能交通系统(IntelligentTransportationSystem,以下简称ITS)有助于解决交通所面临的越来越多的车辆管理难题，而车牌识别是ITS中车辆检测系统的重要环节，可以应用到高速公路收费管理系统、高速公路超速自动化监管系统、城市交通路口的电子警察、停车场收费管理系统等领域。车牌定位技术是车牌识别系统的主要环节，现有技术中比较常见的方法是利用车牌的颜色和纹理信息结合形态学处理方法得到车牌区域，但对光照敏感、强光或者雾霾天的车牌定位效果差，且容易受到复杂背景的影响；现有技术中利用车牌的边缘特征以及形状特征进行定位的方法不适用于边缘模糊以及车身与车牌颜色相近的情况；现有技术中机器学习也是车牌定位技术常用的一种方法，利用车牌特征离线训练分类器，进而对在线图像进行测试分类，如神经网络和Adaboost分类器，机器学习的方法虽然可以更好的容纳不同环境的差异性，克服了图像处理方法对环境变化敏感的缺点，但是预先需要大量的训练样本，因此训练样本数据的建立和特征提取方法的选择是该方法成功的关键。车牌识别技术中车牌字符分割是关键部分，主要分为连通域分析法和投影分析法。连通域分析法对字符进行分割时不受车牌倾斜的影响，但是对噪声敏感，易出现字符粘连的情况；投影法分析操作简单，对车牌进行水平投影，可确定字符的上下边缘，对其进行垂直投影，根据波峰与波谷的位置便可确定七个字符的具体位置，但此方法对倾斜车牌与污损车牌的处理效果差。车牌字符识别主要分为模板匹配法与基于学习的方法，模板匹配法操作简单，是最常用的方法，但其对污损、倾斜字符识别效果差；基于学习的方法包括SVM分类和人工神经网络方法，经过对单个字符的复杂训练实现对字符的识别，此种方法一般识别率较高，但识别率同其在车牌检测中一样取决于训练样本的选取，方法的训练过程复杂。专利CN104036241A公开了一种车牌识别方法，利用车辆图像的HSI颜色空间各分量的阈值限定得到候选区域，根据字符以及背景的颜色特征进行精细定位，并利用车牌的几何特征进行校验，得到车牌图像，对车牌图像进行倾斜校正、连通域字符分割以及训练SVM分类器完成字符的识别，并利用相似字符的特殊特征进行相似字符的二次识别，该方法存在定位部分不具有普适性，不能适应复杂的场景，车牌颜色受到强光，弱光照等影响导致准确率低，分割部分只用连通域法难以保证得到所有的字符的缺陷。综上所述，目前车牌识别领域存在的问题是：现有的车牌识别方法应用场景比较单一，有的只适用于简单的单一场景的单一车牌识别，难以适用于多场景的多车牌识别，识别率容易受到强光、雾霾、弱光照等环境的影响，因此，研发能在多场景下对多车牌识别的方法具有很高的实用价值。
技术实现思路
本专利技术所要解决的技术问题是：提供一种车牌识别方法，根据车牌本身的颜色和纹理特征的先验知识确定车辆区域，分割出车辆区域，然后利用中心像素和其邻域像素的关系得到车辆区域显著因子图，利用基于扩展的Haar-like特征的Adaboost分类器获得候选车牌，对候选车牌进行校验，完成车牌定位，对定位出的所有车牌，利用字符的结构特征进行字符分割，对分割得到的7个字符利用改进的模板匹配方法进行字符识别，克服了现有的车牌识别方法应用场景比较单一，有的只适用于简单的单一场景的单一车牌识别，难以适用于多场景的多车牌识别，识别率容易受到强光、雾霾和弱光照环境的影响的缺陷。本专利技术解决该技术问题所采用的技术方案是：一种车牌识别方法，包括下述步骤：第一步，图像预处理：读入摄像机采集到的原始的彩色道路交通图像，建立Adaboost分类器的训练数据集，其中包括手动截取的4000张不同场景下的车牌正样本彩色图，以及截取的包括道路、树木和车身的20000张不同尺寸的场景负样本彩色图，对该数据集中的所有样本彩色图进行预处理，将车牌正样本彩色图大小归一化到64×20像素，不对场景负样本彩色图进行归一化处理，但保证场景负样本彩色图的尺寸大于车牌正样本彩色图；第二步，根据颜色和纹理特征分割车辆区域：(1)提取颜色特征图：将第一步读入的原始的彩色道路交通图像由RGB颜色空间转换到HSV颜色空间，其中H代表色调，S代表饱和度，V代表亮度，扫描整幅图像，根据H分量和S分量利用公式(1)对图像进行二值化，提取颜色特征图C：其中C为得到的颜色特征图，其保留了原始图像中包含车牌在内的蓝色的部分；(2)提取纹理特征图：将第一步读入的原始的彩色道路交通图像，由RGB颜色空间转换到灰度空间，采用的方法如公式(2)，其中F为得到的灰度图像，采用公式(3)、(4)计算纹理特征：F＝0.299×R+0.587×G+0.114×B(2)，G(i,j)＝|F(i,j)-F(i-1,j)|+|F(i,j)-F(i+1,j)|(3)，其中G(i,j)代表输出的纹理特征的灰度图，Avg_value为纹理特征灰度图G的平均灰度，利用公式(4)得到二值化的阈值，T为获得的纹理特征图；(3)车辆区域分割：将上述步骤(1)得到的颜色特征图C和步骤(2)得到的纹理特征图T进行“与”操作，得到颜色纹理特征图，利用形态学“闭运算”填充该颜色纹理特征图的细小孔洞，进而对该颜色纹理特征图进行投影操作，首先进行垂直投影，得到1～3个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到1～3个车辆区域，将所得到车辆区域从原始的彩色道路交通图像中分割出来，得到彩色车辆区域图；第三步，提取车辆区域图的显著因子图：对第一步预处理后的Adaboost分类器的训练数据集提取车牌正样本彩色图和场景负样本彩色图的显著因子图，并提取第二步的步骤(3)得到的彩色车辆区域图的显著因子图，具体操作如下：将第一步中采集的车牌正样本彩色图和场景负样本彩色图以及第二步的步骤(3)得到的彩色车辆区域图从RGB颜色空间转换到灰度空间，扫描整幅灰度图片，将当前像素作为中心像素，显著因子定义为N×N邻域的各像素值与中心像素值F(i,j)的差的总和与中心像素值的比值，利用反正切函数将比值归一化到(-π/2，π/2)，显著因子的计算过程如公式(5)所示：式中，arctan为反正切函数，Sal(F(i,j))即为当前像素F(i,j)的显著因子，其取值范围为(-π/2，π/2)，对待处理的彩色车辆区域图中每个像素都利用上述显著因子提取方法进行显著因子的提取，获得该彩色车辆区域图的显著因子图；第四步，利用基于扩展的Haar-like特征的Adaboost分类器提取候选车牌：(1)提取扩展的Haar-like特征：对第三步中得到的显著因子图提取扩展的Haar-like特征，就蓝色车牌而言，车牌字符个数固定，每个字符的位置也是固定的，不同车牌的相同字符区域的字符不尽相同，而且车牌具有明显的边框，第二个字符与第三个字符间隔比其余字符间隔大，根据以上的特点，设计如下的(a)～(g)7种扩展的Haar-like特征，并且设计的扩展的Haar-like特征模板内有白色矩形填充区域和黑白线条色矩形填充区域两种矩形；扩展的Haar-like特征(a)：对于整个车牌区域，扩展的Haar-like特征为水平方向的线特征，扩本文档来自技高网...

【技术保护点】
一种车牌识别方法，其特征在于包括下述步骤：第一步，图像预处理：读入摄像机采集到的原始的彩色道路交通图像，建立Adaboost分类器的训练数据集，其中包括手动截取的4000张不同场景下的车牌正样本彩色图，以及截取的包括道路、树木和车身的20000张不同尺寸的场景负样本彩色图，对该数据集中的所有样本彩色图进行预处理，将车牌正样本彩色图大小归一化到64×20像素，不对场景负样本彩色图进行归一化处理，但保证场景负样本彩色图的尺寸大于车牌正样本彩色图；第二步，根据颜色和纹理特征分割车辆区域：(1)提取颜色特征图：将第一步读入的原始的彩色道路交通图像由RGB颜色空间转换到HSV颜色空间，其中H代表色调，S代表饱和度，V代表亮度，扫描整幅图像，根据H分量和S分量利用公式(1)对图像进行二值化，提取颜色特征图C：其中C为得到的颜色特征图，其保留了原始图像中包含车牌在内的蓝色的部分；(2)提取纹理特征图：将第一步读入的原始的彩色道路交通图像，由RGB颜色空间转换到灰度空间，采用的方法如公式(2)，其中F为得到的灰度图像，采用公式(3)、(4)计算纹理特征：F＝0.299×R+0.587×G+0.114×B  (2)，G(i,j)＝|F(i,j)‑F(i‑1,j)|+|F(i,j)‑F(i+1,j)|  (3)，其中G(i,j)代表输出的纹理特征的灰度图，Avg_value为纹理特征灰度图G的平均灰度，利用公式(4)得到二值化的阈值，T为获得的纹理特征图；(3)车辆区域分割：将上述步骤(1)得到的颜色特征图C和步骤(2)得到的纹理特征图T进行“与”操作，得到颜色纹理特征图，利用形态学“闭运算”填充该颜色纹理特征图的细小孔洞，进而对该颜色纹理特征图进行投影操作，首先进行垂直投影，得到1～3个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到1～3个车辆区域，将所得到车辆区域从原始的彩色道路交通图像中分割出来，得到彩色车辆区域图；第三步，提取车辆区域图的显著因子图：对第一步预处理后的Adaboost分类器的训练数据集提取车牌正样本彩色图和场景负样本彩色图的显著因子图，并提取第二步的步骤(3)得到的彩色车辆区域图的显著因子图，具体操作如下：将第一步中采集的车牌正样本彩色图和场景负样本彩色图以及第二步的步骤(3)得到的彩色车辆区域图从RGB颜色空间转换到灰度空间，扫描整幅灰度图片，将当前像素作为中心像素，显著因子定义为N×N邻域的各像素值与中心像素值F(i,j)的差的总和与中心像素值的比值，利用反正切函数将比值归一化到(‑π/2，π/2)，显著因子的计算过程如公式(5)所示：Sal(F(i,j))=arctan{Σx=-(N/2)x=(N/2)Σy=-(N/2)y=(N/2)[F(i+x,j+y)-F(i,j)/F(i,j)]}---(5),]]>式中，arctan为反正切函数，Sal(F(i,j))即为当前像素F(i,j)的显著因子，其取值范围为(‑π/2，π/2)，对待处理的彩色车辆区域图中每个像素都利用上述显著因子提取方法进行显著因子的提取，获得该彩色车辆区域图的显著因子图；第四步，利用基于扩展的Haar‑like特征的Adaboost分类器提取候选车牌：(1)提取扩展的Haar‑like特征：对第三步中得到的显著因子图提取扩展的Haar‑like特征，就蓝色车牌而言，车牌字符个数固定，每个字符的位置也是固定的，不同车牌的相同字符区域的字符不尽相同，而且车牌具有明显的边框，第二个字符与第三个字符间隔比其余字符间隔大，根据以上的特点，设计如下的(a)～(g)7种扩展的Haar‑like特征，并且设计的扩展的Haar‑like特征模板内有白色矩形填充区域和黑白线条色矩形填充区域两种矩形；扩展的Haar‑like特征(a)：对于整个车牌区域，扩展的Haar‑like特征为水平方向的线特征，扩展的Haar‑like特征模板的宽度和高度固定，扩展的Haar‑like特征模板的高度为车牌的高度，扩展的Haar‑like特征模板的宽度为车牌的宽度，共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1∶2∶1，用以描述车牌的整体的扩展的Haar‑like特征，即字符区域与边缘区域的变化的扩展的Haar‑like特征；扩展的Haar‑like特征(b)：在车牌顶部1/4和底部1/4范围内包含如下的水平边缘信息：第一个扩展的Haar‑like特征为水平方向的边缘特征，扩展的Haar‑like特征模板共包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1；第二个扩展的Haar‑like特征为水平方向的线特征，扩展的Haar‑like特征模板共包含三个矩形，白色矩形高度:黑白线条色矩形高度∶白色矩形...

【技术特征摘要】
1.一种车牌识别方法，其特征在于包括下述步骤：第一步，图像预处理：读入摄像机采集到的原始的彩色道路交通图像，建立Adaboost分类器的训练数据集，其中包括手动截取的4000张不同场景下的车牌正样本彩色图，以及截取的包括道路、树木和车身的20000张不同尺寸的场景负样本彩色图，对该数据集中的所有样本彩色图进行预处理，将车牌正样本彩色图大小归一化到64×20像素，不对场景负样本彩色图进行归一化处理，但保证场景负样本彩色图的尺寸大于车牌正样本彩色图；第二步，根据颜色和纹理特征分割车辆区域：(1)提取颜色特征图：将第一步读入的原始的彩色道路交通图像由RGB颜色空间转换到HSV颜色空间，其中H代表色调，S代表饱和度，V代表亮度，扫描整幅图像，根据H分量和S分量利用公式(1)对图像进行二值化，提取颜色特征图C(i，j)：其中C(i，j)为得到的颜色特征图，其保留了原始图像中包含车牌在内的蓝色的部分；(2)提取纹理特征图：将第一步读入的原始的彩色道路交通图像，由RGB颜色空间转换到灰度空间，采用的方法如公式(2)，其中F(i，j)为得到的灰度图像，采用公式(3)、(4)计算纹理特征：F(i，j)＝0.299×R+0.587×G+0.114×B(2)，G(i，j)＝|F(i，j)-F(i-1，j)|+|F(i，j)-F(i+1，j)|(3)，其中G(i，j)代表输出的纹理特征的灰度图，Avg_value为纹理特征灰度图G(i，j)的平均灰度，利用公式(4)得到二值化的阈值，T(i，j)为获得的纹理特征图；(3)车辆区域分割：将上述步骤“(1)提取颜色特征图”得到的颜色特征图C(i，j)和步骤(2)得到的纹理特征图T(i，j)进行“与”操作，得到颜色纹理特征图，利用形态学“闭运算”填充该颜色纹理特征图的细小孔洞，进而对该颜色纹理特征图进行投影操作，首先进行垂直投影，得到1～3个垂直投影区域，在投影的区域内进行水平投影，记录投影边缘，最终得到1～3个车辆区域，将所得到车辆区域从原始的彩色道路交通图像中分割出来，得到彩色车辆区域图；第三步，提取车辆区域图的显著因子图：对第一步预处理后的Adaboost分类器的训练数据集提取车牌正样本彩色图和场景负样本彩色图的显著因子图，并提取第二步的步骤(3)得到的彩色车辆区域图的显著因子图，具体操作如下：将第一步中采集的车牌正样本彩色图和场景负样本彩色图以及第二步的步骤(3)得到的彩色车辆区域图从RGB颜色空间转换到灰度空间，扫描整幅灰度图片，将当前像素作为中心像素，显著因子定义为N×N邻域的各像素值与中心像素值F(i，j)的差的总和与中心像素值的比值，利用反正切函数将比值归一化到(-π/2，π/2)，显著因子的计算过程如公式(5)所示：式中，arctan为反正切函数，Sal(F(i，j))即为当前像素F(i，j)的显著因子，其取值范围为(-π/2，π/2)，对待处理的彩色车辆区域图中每个像素都利用上述显著因子提取方法进行显著因子的提取，获得该彩色车辆区域图的显著因子图；上述N×N中的N＝3，所述公式(5)式中，当前像素F(i，j)的显著因子Sal(F(i，j))划分为七个取值范围：(-π/2，-1.25]，(-1.25，-0.75]，(-0.75，-0.25]，(-0.25，0.25]，(0.25，0.75]，(0.75，1.25]，(1.25，π/2)，每个取值范围映射到灰度图上一个灰度值，将上述七个显著因子取值范围对应的灰度值设定为：0，0，0，120，160，200，255；第四步，利用基于扩展的Haar-like特征的Adaboost分类器提取候选车牌：(1)提取扩展的Haar-like特征：对第三步中得到的显著因子图提取扩展的Haar-like特征，就蓝色车牌而言，车牌字符个数固定，每个字符的位置也是固定的，不同车牌的相同字符区域的字符不尽相同，而且车牌具有明显的边框，第二个字符与第三个字符间隔比其余字符间隔大，根据以上的特点，设计如下的(a)～(g)7种扩展的Haar-like特征，并且设计的扩展的Haar-like特征模板内有白色矩形填充区域和黑白线条色矩形填充区域两种矩形；扩展的Haar-like特征(a)：对于整个车牌区域，扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，扩展的Haar-like特征模板的高度为车牌的高度，扩展的Haar-like特征模板的宽度为车牌的宽度，共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1∶2∶1，用以描述车牌的整体的扩展的Haar-like特征，即字符区域与边缘区域的变化的扩展的Haar-like特征；扩展的Haar-like特征(b)：在车牌顶部1/4和底部1/4范围内包含如下的水平边缘信息：第一个扩展的Haar-like特征为水平方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1；第二个扩展的Haar-like特征为水平方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形高度∶黑白线条色矩形高度∶白色矩形高度＝1∶1∶1；在车牌顶部1/4和底部1/4范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度变化范围为[1，2]，第二个扩展的Haar-like特征模板中单个矩形的宽度变化范围为[1，64]，高度为1，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的水平边框；扩展的Haar-like特征(c)：在车牌左侧1/12和右侧1/12范围内包含如下的垂直边缘：第一个扩展的Haar-like特征为垂直方向的边缘特征，扩展的Haar-like特征模板共包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1；第二个扩展的Haar-like特征为垂直方向的线特征，扩展的Haar-like特征模板共包含三个矩形，白色矩形宽度∶黑白线条色矩形宽度∶白色矩形宽度＝1∶1∶1；在车牌左侧1/12和右侧1/12范围内，第一个扩展的Haar-like特征模板中单个矩形的宽度的变化范围为[1，2]，高度变化范围为[1，20]，第二个扩展的Haar-like特征模板中单个矩形的宽度为1，高度变化范围为[1，20]，在该范围内不断移动每一个扩展的Haar-like特征模板，每一种形态称为一个扩展的Haar-like特征，这两类扩展的Haar-like特征用以描述车牌的垂直边框；扩展的Haar-like特征(d)：车牌第二个字符与第三个字符距离比其他任意两个相邻字符距离远，中间包含一个白色圆形的分割点，利用这个特点，设计了两个扩展的Haar-like特征，两个特征为垂直方向的边缘特征，第一个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，左侧矩形包含前两个字符，右侧矩形包含分隔点、第三个字符与部分字符后的间隙，高度为字符区域的高度，第二个扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，左侧矩形包含分隔点、第三个字符与部分字符后的间隙，右侧矩形包含第四个字符与第五个字符，高度为字符区域的高度，这两类扩展的Haar-like特征用以描述车牌字符区域的第二个字符与第三个字符的较大间隔；扩展的Haar-like特征(e)：车牌的7个字符宽度相等，除了第二个字符与第三个字符间距较大以外，其余相邻字符间距相等，利用这一特点，设计垂直方向的边缘特征，扩展的Haar-like特征模板的宽度和高度固定，包含两个矩形，白色矩形宽度∶黑白线条色矩形宽度＝1∶1，单个矩形宽度为单个字符宽度与1/2字符间距之和，高度为字符区域的高度，在整个字符区域，从左到右扫描得到所有的扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符区域的字符与字符之间的变化扩展的Haar-like特征；扩展的Haar-like特征(f)：对于整个字符区域，由于字符上下两部分结构基本类似，利用这一特点，设计水平方向的边缘特征，扩展的Haar-like特征模板的宽度变化范围为[8，54]，高度固定，包含两个矩形，白色矩形高度∶黑白线条色矩形高度＝1∶1，单个矩形高度为1/2的字符高度，初始宽度为单个字符宽度，在整个字符区域进行扫描，扫描结束后将矩形宽度加1，高度不变，继续扫描，直至矩形宽度增加至等于字符区域的宽度时停止，记录所有的扩展的Haar-like特征，该扩展的Haar-like特征利用的是字符的相似的上下结构；扩展的Haar-like特征(g)：对于整个字符区域，由于每个字符宽度相等，字符之间有间隙，设计垂直方向的线特征，扩展的Haar-like特征模板的宽度和高度固定，包含三个矩形，白色矩形宽度∶黑白线条色矩形宽度∶白色矩形宽度＝1∶3∶1，左侧矩形为字符的左侧间距，中间矩形为单个字符，右侧矩形为字符的右侧间距，高度为字符区域的高度，在整个字符区域进行横向扫描，记录所有扩展的Haar-like特征，该扩展的Haar-like特征描述的是字符与字符间隙的变化扩展的Haar...

【专利技术属性】
技术研发人员：于洋，阎刚，于明，师硕，刘依，张亚娟，耿美晓，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12