一种基于神经网络的车牌倾斜校正的方法技术

本发明专利技术公开了一种基于神经网络的车牌倾斜校正的方法，包括以下步骤：一、数据制作；二、倾斜校正网络设计；三、训练网络；四、使用训练好的网络；本发明专利技术首先在含有车牌的图片中利用图像处理知识定位并提取车牌，然后再利用通过训练得到的网络对其进行前向传播识别并校正，最后切割成一个一个字符，再利用另一个神经网络进行字符识别，与传统的基于Hough线性变换找到边缘在进行仿射变换的方式不同，在复杂、边缘不清晰噪声多的情况下仍然具有较高的校正率，并且运用训练好的网络进行校正时运算量小，速度快。

A method of license plate tilt correction based on Neural Network

The invention discloses a method for vehicle license plate tilt correction based on neural network, which comprises the following steps: A, data production; two, tilt correction network design; three, train the network; four, the use of the trained network; the invention first in containing license plate image using image processing knowledge to locate and extract license plate. Then use the trained network through the forward propagation identification and correction, finally cut into a character, then use another neural network for character recognition, and based on the traditional Hough transform to find the edge of linear affine transformation in different ways, the rate of correction is complicated, the edge is not clear the noise conditions are still high, and the use of the trained network to make the correction computation and speed.

【技术实现步骤摘要】
一种基于神经网络的车牌倾斜校正的方法
本专利技术涉及图像处理与深度神经网络领域，具体是一种基于神经网络的车牌倾斜校正的方法。
技术介绍
随着汽车的使用越来越广泛与频繁，交通问题也越来越严重，怎样高效快速的管理车辆也就越来越成为了大家研究的一个重点课题，车牌作为车辆唯一的标示也就成为了研究中的重中之重。在智能交通系统中，车牌的识别是智能交通系统的一个重要组成部分，其涉及到车牌的定位、切割、字符识别等技术。在现实中由于各种原因我们抓拍提取到的车牌往往存在着各种不同程度的倾斜，所以这不仅对字符分割带来麻烦，最终也会影响车牌字符识别的准确率，因此在切割之前的车牌倾斜校正是之后切割识别工作的基础非常重要。申请号为CN200810045686.0的专利技术专利“一种融合色彩、尺寸和纹理特征的车牌定位方法”公开了“本专利技术属于图像处理
，特别涉及车牌识别技术中的复杂背景中的车牌定位方法。首先把RBG格式的车牌源图像转换到HSI格式，实现颜色信息与亮度信息的分离；接着把得到的饱和度分量图和亮度分量图进行二值化；然后，基于车牌色彩信息对源图像的像素进行分类，依据分类结果获得车牌定位模板二值图，并采用数学形态学运算对车牌定位模板二值图去除噪声；随后，用区域生长法提取车牌定位模板二值图中的每个连通区域并进行车牌尺寸检查，通过尺寸检查的连通区域成为候选车牌区域；在采用Hough变换对倾斜车牌进行矫正之后，进一步利用车牌竖直纹理特征检查每个候选车牌区域，去除伪候选区。采用本专利技术可以有效地提高系统的通用性和定位精度”。类似上述专利的传统的车牌倾斜校正是基于Hough线性变换找到边缘在进行仿射变换，这种方式在车牌区域清晰，边缘清晰的情况下可以能比较好的找到边缘。但是在复杂、边缘不清晰噪声多的时候则很难准确检测边缘，此外此方法也存在计算量大的问题。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的车牌倾斜校正方法，以避免了Hough线性变换，以优化车牌倾斜校正效果的车牌倾斜校正的方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于神经网络的车牌倾斜校正的方法，包括以下步骤：一、数据制作将已有的车牌进行不同角度不同程度的倾斜变化和大小归一化而得到训练数据集，并根据其倾斜程度将训练数据集划分为25类，每张图片的大小为[72*32]，而且各自有一个特定的标签，随机抽取部分数据作为测试集；二、倾斜校正网络设计倾斜校正网络具体分为以下七层：第一层为输入层，首先将大小为[72*32]的原始图片归一化，原始图片的每个像素点像素大小为1-255，对所有像素进行除以255的运算，得到一组大小为0-1维度为[72,32]浮点型数组，这就是第一层输入X；第二层为卷积层C1，有32个卷积核Wconv1，其中每个卷积核的大小是[3*5]，每一个卷积核对输入层X进行卷积滤波操作，其中卷积步长为1，卷积得到的输出就是一组含有32个特征的向量集合输出:Hconv1＝Relu(conv2d(X,Wconv1)+bconv1)(1)其中应用Relu激励函数和conv2d函数，bconv1为偏置项；第三层为池化层P1，选择最大池化操作：Hpool1＝max_pool_2×2(Hconv1)(2)池化层大小2*2，池化后每个特征图像大小变为[36*16]；第四层为卷积层C2,设计有64个卷积核Wconv2，其中每个卷积核大小是3*5，每个卷积核对Hconv1进行卷积操作：Hconv2＝Relu(conv2d(Hpool1,Wconv2)+bconv2)(3)其中应用Relu激励函数和conv2d函数，bconv2为偏置项；第五层为池化层P2，选择最大池化操作：Hpool2＝max_pool_2×2(Hconv2)(4)池化后每个特征大小就为[18*8]；第六层为全连接层S1，其中神经元个数为500，将第五层池化后的向量一维化后与其相连接，这样权值向量为[18*8*64:500]：Hfc1＝Relu(Hpool1×Wfc1+bfc1)(5)其中应用Relu激励函数，bfc1为偏置项；第七层为全连接层S2，其中神经元个数为25，将第六层全连接层和其连接，权值向量为[500：25]：Hfc2＝Hpool1×Wfc2+bfc2(6)其中bfc2为偏置项；第八层为输出层，利用Softmax函数选择概率最大的那个分类得到输出YY＝Softmax(Hfc1)(7)三、训练网络训练过程包括前向传播过程和后向传播过程；四、使用训练好的网络参数保存好后就可以永久的使用整个网络。作为本专利技术进一步的方案：所述步骤一中测试集的数据与训练数据集的比例为1:10。作为本专利技术进一步的方案：所述步骤三中前向传播过程包括以下步骤：(1)从数据集中随机抽取部分数据，(X,Yp)其中X为灰度化后的图像，Yp为标签，(2)将X作为输入并通过公式(1)-(7)计算得到相应的Z、H、Y；其中X为一张图片中的像素矩阵，每一个元素是其对应的像素值；对像素参数进行归一化处理：根据公式(1)-(6)得到网络中其他参数的值，其中Relu激励函数为：作为本专利技术进一步的方案：所述步骤三中后向传播过程包括以下步骤：记住实际输出Y和理想输出的差：按极小化整体均值误差的BP算法更新所有的权值也就是Wconv1、bconv1、Wconv2、bconv2、Wfc1、bfc1、Wfc2、bfc2；在完成1000次训练后在测试集上准确率达到90％，至此结束整个训练过程，并本地持久化保存网络所有的参数。与现有技术相比，本专利技术的有益效果是：本专利技术首先在含有车牌的图片中利用图像处理知识定位并提取车牌，然后再通过训练好的网络对其进行前向传播识别并校正，最后切割成一个一个字符，再利用神经网络进行字符识别，复杂、边缘不清晰噪声多的情况下仍然具有较高的校正率，并且运用训练好的网络进行校正时运算量小，速度快。本专利技术使用的时候只是正向传播而没有反向转播，速度快，占用内存小。附图说明图1为基于神经网络的车牌倾斜校正的方法的流程图；图2为基于神经网络的车牌倾斜校正的方法的倾斜校正流程图；图3为基于神经网络的车牌倾斜校正的方法中倾斜校正网络的结构示意图；图4为基于神经网络的车牌倾斜校正的方法中训练网络的流程图；图5为基于神经网络的车牌倾斜校正的方法的应用效果图。具体实施方式下面结合具体实施方式对本专利的技术方案作进一步详细地说明。请参阅图1-5，一种基于神经网络的车牌倾斜校正的方法，包括以下步骤：一、数据制作将已有的车牌进行不同角度不同程度的倾斜变化和大小归一化而得到训练数据集，并根据其倾斜程度将训练数据集划分为25类，这样每张图片的大小为[72*32]，而且各自有一个特定的标签，另外按照10:1的比例随机抽取了部分数据作为测试集。二、倾斜校正网络设计倾斜校正网络采用采用的是三层，输入层、隐藏层和输出层参见图3；倾斜校正网络具体分为以下七层：第一层为输入层，首先将大小为[72*32]的原始图片归一化(原始图片的每个像素点像素大小为1-255)也就是对所有像素进行除以255的运算，得到一组大小为0-1维度为[72,32]浮点型数组，这就是第一层输入X；第二层为卷积层C1，有32个卷积核Wconv1，其中每个卷积核的大小是[3*本文档来自技高网...

【技术保护点】
一种基于神经网络的车牌倾斜校正的方法，其特征在于，包括以下步骤：一、数据制作将已有的车牌进行不同角度不同程度的倾斜变化和大小归一化而得到训练数据集，并根据其倾斜程度将训练数据集划分为25类，每张图片的大小为[72*32]，而且各自有一个特定的标签，随机抽取部分数据作为测试集；二、倾斜校正网络设计倾斜校正网络具体分为以下七层：第一层为输入层，首先将大小为72*32的原始图片归一化，原始图片的每个像素点像素大小为1‑255，对所有像素进行除以255的运算，得到一组大小为0‑1维度为[72,32]浮点型数组，这就是第一层输入X；第二层为卷积层C1，有32个卷积核Wconv1，其中每个卷积核的大小是[3*5]，每一个卷积核对输入层X进行卷积滤波操作，其中卷积步长为1，卷积得到的输出就是一组含有32个特征的向量集合输出:Hconv1＝Relu(conv2d(X,Wconv1)+bconv1)  (1)其中应用Relu激励函数和conv2d函数，bconv1为偏置项；第三层为池化层P1，选择最大池化操作：Hpool1＝max_pool_2×2(Hconv1)  (2)池化层大小2*2，池化后每个特征图像大小变为[36*16]；第四层为卷积层C2,设计有64个卷积核Wconv2，其中每个卷积核大小是3*5，每个卷积核对Hconv1进行卷积操作：Hconv2＝Relu(conv2d(Hpool1,Wconv2)+bconv2)  (3)其中应用Relu激励函数和conv2d函数，bconv2为偏置项；第五层为池化层P2，选择最大池化操作：Hpool2＝max_pool_2×2(Hconv2)  (4)池化后每个特征大小就为[18*8]；第六层为全连接层S1，其中神经元个数为500，将第五层池化后的向量一维化后与其相连接，这样权值向量为[18*8*64:500]：Hfc1＝Relu(Hpool1×Wfc1+bfc1)  (5)其中应用Relu激励函数，bfc1为偏置项；第七层为全连接层S2，其中神经元个数为25，将第六层全连接层和其连接，权值向量为[500：25]：Hfc2＝Hpool1×Wfc2+bfc2  (6)其中bfc2为偏置项；第八层为输出层，利用Softmax函数选择概率最大的那个分类得到输出YY＝Softmax(Hfc1)  (7)三、训练网络训练过程包括前向传播过程和后向传播过程；四、使用训练好的网络参数保存好后就可以永久的使用整个网络。...

【技术特征摘要】
1.一种基于神经网络的车牌倾斜校正的方法，其特征在于，包括以下步骤：一、数据制作将已有的车牌进行不同角度不同程度的倾斜变化和大小归一化而得到训练数据集，并根据其倾斜程度将训练数据集划分为25类，每张图片的大小为[72*32]，而且各自有一个特定的标签，随机抽取部分数据作为测试集；二、倾斜校正网络设计倾斜校正网络具体分为以下七层：第一层为输入层，首先将大小为72*32的原始图片归一化，原始图片的每个像素点像素大小为1-255，对所有像素进行除以255的运算，得到一组大小为0-1维度为[72,32]浮点型数组，这就是第一层输入X；第二层为卷积层C1，有32个卷积核Wconv1，其中每个卷积核的大小是[3*5]，每一个卷积核对输入层X进行卷积滤波操作，其中卷积步长为1，卷积得到的输出就是一组含有32个特征的向量集合输出:Hconv1＝Relu(conv2d(X,Wconv1)+bconv1)(1)其中应用Relu激励函数和conv2d函数，bconv1为偏置项；第三层为池化层P1，选择最大池化操作：Hpool1＝max_pool_2×2(Hconv1)(2)池化层大小2*2，池化后每个特征图像大小变为[36*16]；第四层为卷积层C2,设计有64个卷积核Wconv2，其中每个卷积核大小是3*5，每个卷积核对Hconv1进行卷积操作：Hconv2＝Relu(conv2d(Hpool1,Wconv2)+bconv2)(3)其中应用Relu激励函数和conv2d函数，bconv2为偏置项；第五层为池化层P2，选择最大池化操作：Hpool2＝max_pool_2×2(Hconv2)(4)池化后每个特征大小就为[18*8]；第六层为全连接层S1，其中神经元个数为500，将第五层池化后的向量一维化后与其相连接，这样权值向量为[18*8*64:500]：Hfc1＝Relu(Hpool1×Wfc1+bfc1)(5)其中应用Relu激励函数，bfc1为偏置项；第七层为全连接层S2，其中神经元...

【专利技术属性】
技术研发人员：周剑扬，陈琼，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35