一种实时交通场景的多车牌动态识别方法技术

本发明专利技术公开了一种实时交通场景的多车牌动态识别方法，主要分为图像预处理、车牌定位网络训练、图像后处理、识别网络训练等几个主要步骤。利用车牌定位网络和字符识别网络，能够在不分割字符信息的情况下，高效实时地识别单张图片中的多个车牌信息，相较于传统的字符分割、识别方法具有创新优势，并可大量应用到停车场收费、高速公路等违章行为监测中。

Multi license plate dynamic recognition method for real-time traffic scenes

The invention discloses a Multi-license plate dynamic recognition method for real-time traffic scene, which is mainly divided into image preprocessing, license plate location network training, image post-processing, recognition network training and other main steps. Using license plate location network and character recognition network, we can recognize multiple license plate information in a single picture efficiently and real-time without dividing character information. Compared with traditional character segmentation and recognition methods, it has innovative advantages, and can be widely applied to the monitoring of parking fees, highways and other violations.

【技术实现步骤摘要】
一种实时交通场景的多车牌动态识别方法
本专利技术涉及机器视觉和图像处理
，具体是一种实时交通场景的多车牌动态识别方法。
技术介绍
近年来，随着智能交通领域的快速发展，车牌自动识别算法的研究引起了越来越广泛的关注。自动化、快速、准确和强大的车牌识别系统已经成为交通管制和交通法规执法的需求。传统的车牌识别方法主要分为车牌区域定位、车牌字符分割、字符识别三个步骤，且都是基于单张图片的单个车牌进行识别。现有技术CN107220638A公开了一种基于深度学习卷积神经网络的车牌检测识别方法，其主要内容包括：数据采集模块、检测识别训练模块、字符定位测试模块，其过程为，首先使用构造自动储存系统来归类真实世界中含有车牌的图像，在不同光照、可视角度、场景中采集足够数量的车牌与切割字符图像，然后使用一系列深度神经网络进行车牌检测与识别的训练，得到的模型再由切割好的字符单独进行检测与识别，最终合并成为结果。该技术优点在于将不同场景条件下的车牌与切割完好的车牌字符输入已经训练好的网络，其中字符切割与识别部分是设计了多步骤的分割操作，然后对字符进行分类与检测。但是该技术虽然能够识别车牌，但是由于受光照强度、车牌形状、污迹遮挡等一系列原因的影响，并不能够对字符进行完美的切割，这就对后续的识别过程带来了很大的不确定性。又有现有技术CN107590774A提供了一种基于生成对抗网络的车牌清晰化方法及装置，包括：将目标车牌图像输入至生成网络，生成网络由样本车牌图像训练得到，用于将低分辨率的车牌图像进行清晰化处理，并生成符合车牌标准的高分辨率的车牌图像，其中，样本车牌图像为符合车牌标准的车牌图像；基于生成网络，对目标车牌图像进行清晰化处理；输出符合车牌标准的清晰车牌图像。该技术优点在于将车牌图像进行清晰化处理，根据清晰化图像分析识别车牌，提高了识别准确度。但是该技术的清晰化处理为在低分辨率图片中提取图像，低分辨率提取过程可能会造成车牌照片发生改变，最终导致车牌识别错误。
技术实现思路
本专利技术的目的在于提供一种实时交通场景的多车牌动态识别方法，以解决上述
技术介绍
中提出的车牌识别易受外界环境因素影响，在车牌清晰化过程中易出现车牌提取错误导致车牌识别误差的问题。为实现上述目的，本专利技术提供如下技术方案：一种实时交通场景的多车牌动态识别方法，其特征在于运用多种卷积神经网络对车牌进行整体识别，包括以下步骤：S1、建立卷积神经网络，其包括车牌定位网络和车牌识别；S2、图像预处理：将采集到的图像调整为224*224分辨率；S3、定位网络训练：将S2中处理过的图像输入到车牌定位网络中进行特征学习；S4、图像后处理：把S3中定位后的车牌图像拉伸到224*224分辨率；S5、识别网络训练：将S4中处理过的车牌图像输入到车牌识别网络中进行学习；S6、神经网络测试：将测试图片输入到车牌定位网络和车牌识别网络中进行整体测试。优选的，所述S3中将图像输入车牌定位网络的特征学习包括以下步骤：S31、所述车牌定位网络具有16个卷积层、4个池化层、2个全连接层，层与层之间采用线性激活函数，其最后一层全连接层采用修正的线性激活函数，卷积层用于提取目标特征，全连接层用于预测坐标和类别概率；S32、将输入图像划分成S*S个格子，进行遍历，当检测目标中心出现在格子中时，该格检测该目标并给出该目标在此格中表示该格子拥有目标的信心值的置信值，置信值范围为0～1，置信值定义为：其中IOU为表示boundingbox与实际目标框交集与并集的比值的交并比函数，将检测出的目标区域定义为boundingbox，每个格子预测出B个boundingbox，boundingbox预测五个值：x、y、h、w、confidence；S33、S32中划分的每个格子预测一个记为C类的类别信息，预测C种假定类别的条件概率为Pr(Classi|Object)；S34、计算张量，张量计算公式为：S*S(B*5+C)；S35、通过将S32和S33得到的类别概率与置信值相乘，得到该类别的置信分数，用于表示该类别在boundingbox中出现的概率，该公式如下：其中，等式左边第一项代表每个网格预测的类别信息；S36、计算坐标预测损失函数，该公式如下：其中，λcoord代表边界框预测权重，λnoobj代表不包含目标边界框的置信度预测权重，其中表示目标是否出现在网格单元i中，表示网格单元i中的第j个边界框预测器负责预测；含有目标的boundingbox置信值预测损失函数计算为：不包含目标的boundingbox置信值预测损失函数计算为：类别预测损失函数计算为：S37、设定识别阈值作为标准，将得到每个boundingbox的特定类别的置信分数与给定阈值比较，滤掉得分较低的boundingbox，对保留的boundingbox进行非极大值抑制处理，得到最终的检测结果。更为优选的，所述车牌定位网络具有16个卷积层，2个全连接层，用以实现基于图像全图信息端到端的输出，其网络结构依次为：卷积层conv1、池化层maxpool、卷积层conv2、池化层maxpool、卷积层conv3、卷积层conv4、卷积层conv5、卷积层conv6、池化层maxpool、卷积层conv7、卷积层conv8、卷积层conv9、卷积层conv10、池化层maxpool、卷积层conv11、卷积层conv12、卷积层conv13、卷积层conv14、卷积层conv15、卷积层conv16、全连接层FC1和全连接层FC2。优选的，所述车牌识别网络还包括字符识别网络算法，其包含5个卷积层，3个全连接层，其网络结构依次为：卷积层conv1、池化层maxpool、卷积层conv2、池化层maxpool、卷积层conv3、卷积层conv4、卷积层conv5、池化层maxpool、全连接层FC1、全连接层FC2和全连接层FC3，其中，全连接层FC3维度分为7部分，用于后续softmax分类字符。更为优选的，所述字符识别网络结构的全连接层FC3维度分为7个部分包括：采用可输出7个label的7个softmax分类器分别对字符进行分类，每个softmax分类器负责输出车牌对应位置的字符，每个分类器输出字符的概率为：且每个softmax分类器的输出字符概率相加为1，即：与现有技术相比，本专利技术的有益效果是：1.本专利技术通过对单张图片进行神经网络分析获取多个车牌信息，实现了资源的高效利用；2.本专利技术通过融合多种基于深度学习的车牌定位与车牌整体识别方法，实现系统的鲁棒性的提升；3.本专利技术通过对车牌的全局信息进行识别，克服了传统方法中对字符进行分割带来的不确定性，实现车牌识别的准确性；4.本专利技术通过对经典网络的改进，将字符识别网络的最后一层改为7个用于字符分类的softmax层，并行输出字符序列，实现字符识别效率的提高，相较于传统网络具有创新意义。附图说明图1为本专利技术一种实时交通场景的多车牌动态识别方法车牌识别流程图；图2为本专利技术一种实时交通场景的多车牌动态识别方法车牌定位卷积神经网络图；图3为本专利技术一种实时交通场景的多车牌动态识别方法字符识别卷积神经网络图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例本文档来自技高网...

【技术保护点】
1.一种实时交通场景的多车牌动态识别方法，其特征在于运用多种卷积神经网络对车牌进行整体识别，包括以下步骤：S1、建立卷积神经网络，其包括车牌定位网络和车牌识别；S2、图像预处理：将采集到的图像调整为224*224分辨率；S3、定位网络训练：将S2中处理过的图像输入到车牌定位网络中进行特征学习；S4、图像后处理：把S3中定位后的车牌图像拉伸到224*224分辨率；S5、识别网络训练：将S4中处理过的车牌图像输入到车牌识别网络中进行学习；S6、神经网络测试：将测试图片输入到车牌定位网络和车牌识别网络中进行整体测试。

【技术特征摘要】
1.一种实时交通场景的多车牌动态识别方法，其特征在于运用多种卷积神经网络对车牌进行整体识别，包括以下步骤：S1、建立卷积神经网络，其包括车牌定位网络和车牌识别；S2、图像预处理：将采集到的图像调整为224*224分辨率；S3、定位网络训练：将S2中处理过的图像输入到车牌定位网络中进行特征学习；S4、图像后处理：把S3中定位后的车牌图像拉伸到224*224分辨率；S5、识别网络训练：将S4中处理过的车牌图像输入到车牌识别网络中进行学习；S6、神经网络测试：将测试图片输入到车牌定位网络和车牌识别网络中进行整体测试。2.根据权利要求1所述的一种实时交通场景的多车牌动态识别方法，其特征在于，所述S3中将图像输入车牌定位网络的特征学习包括以下步骤：S31、所述车牌定位网络具有16个卷积层、4个池化层、2个全连接层，层与层之间采用线性激活函数，其最后一层全连接层采用修正的线性激活函数，卷积层用于提取目标特征，全连接层用于预测坐标和类别概率；S32、将输入图像划分成S*S个格子，进行遍历，当检测目标中心出现在格子中时，该格检测该目标并给出该目标在此格中表示该格子拥有目标的信心值的置信值，置信值范围为0～1，置信值定义为：其中IOU为表示boundingbox与实际目标框交集与并集的比值的交并比函数，将检测出的目标区域定义为boundingbox，每个格子预测出B个boundingbox，boundingbox预测五个值：x、y、h、w、confidence；S33、S32中划分的每个格子预测一个记为C类的类别信息，预测C种假定类别的条件概率为Pr(Classi|Object)；S34、计算张量，张量计算公式为：S*S(B*5+C)；S35、通过将S32和S33得到的类别概率与置信值相乘，得到该类别的置信分数，用于表示该类别在boundingbox中出现的概率，该公式如下：其中，等式左边第一项代表每个网格预测的类别信息；S36、计算坐标预测损失函数，该公式如下：其中，λcoord代表边界框预测权重，λnoobj代表不包含目标边界框的置信度预测权重，其中表示目标是否出现...

【专利技术属性】
技术研发人员：张中，牛雷，
申请(专利权)人：合肥湛达智能科技有限公司，
类型：发明
国别省市：安徽,34