一种基于卷积神经网络的车牌识别方法技术

本发明专利技术涉及一种基于卷积神经网络的车牌识别方法，主要包括以下步骤：S1、通过获取车牌图片训练样本，制作车牌数据集，进行车牌检测定位模型设计及训练，并利用车牌检测定位模型进行车牌定位，从图片或者实时视频流中定位车牌位置及置信度，提取车牌矩形块图片；S2、通过获取车牌样本，制作车牌识别数据集，进行车牌识别模型设计及训练，并利用车牌识别模型进行车牌识别，通过将步骤S1中获取的车牌矩形块图片送入车牌识别模型，获取车牌号码及对应置信度并输出。本发明专利技术通过构建车牌检测定位模型及车牌识别模型，实现不同天气条件、恶劣光照、倾斜等常规及恶劣条件下对车牌的实时识别。

【技术实现步骤摘要】
一种基于卷积神经网络的车牌识别方法
本专利技术涉及计算机视觉、数字图像处理和深度学习领域，尤其涉及一种基于卷积神经网络的车牌识别方法。
技术介绍
车牌识别是现代智能交通网络的重要组成部分及智慧城市的重要基础构建，应用十分广泛，已经渗入生活的各个方面。它以数字图像处理、计算机视觉、深度学习等技术为基础，对拍摄的图片或者视频序列进行分析，得到车辆车牌号码，从而完成识别过程。车牌识别技术可应用于停车场、道路监管、收费站等场景。对于构建智能交通网络、实现智能城市有着重要意义。现有的车牌识别系统大多采用传统图像识别的方法，基于颜色或边缘检测、复杂一点的基于MSER文字定位的方法进行车牌定位、然后对车牌进一步处理，进行倾斜校正，文字分割，然后再进一步对分割出来的文字逐一进行识别，其弊端在于：识别场景单一，只能针对特定场景进行识别，应用于不同的场景需要对算法进行针对性的优化；识别准确率不高，在特定优化场景下识别率能达到98％以上，但是在其他场景下识别准确率低；无法处理复杂环境的识别，如雨天、雾天、夜间、光照不均匀、清晰度低等。
技术实现思路
为解决现有技术所存在的技术问题，本专利技术提供一种基于卷积神经网络的车牌识别方法，通过构建车牌检测定位模型及车牌识别模型，实现不同天气条件、恶劣光照、倾斜等常规及恶劣条件下对车牌的实时识别。本专利技术采用以下技术方案来实现：一种基于卷积神经网络的车牌识别方法，主要包括以下步骤：S1、通过获取车牌图片训练样本，制作车牌数据集，进行车牌检测定位模型设计及训练，并利用车牌检测定位模型进行车牌定位，从图片或者实时视频流中定位车牌位置及置信度，提取车牌矩形块图片；S2、通过获取车牌样本，制作车牌识别数据集，进行车牌识别模型设计及训练，并利用车牌识别模型进行车牌识别，通过将步骤S1中获取的车牌矩形块图片送入车牌识别模型，获取车牌号码及对应置信度并输出。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术通过构建车牌检测定位模型及车牌识别模型，实现不同天气条件、恶劣光照、倾斜等常规及恶劣条件下对车牌的实时识别。2、本专利技术实时性强，准确率极高，鲁棒性高，一幅图像存在多个车牌也可检测识别，同时车牌定位集车牌识别两部分均采用端对端模型，大大简化了处理步骤，避免负责的图像操作。3、本专利技术可应用于智能驾驶、道路监管、收费站、停车场等场景，对构建智能交通网络、实现智能城市有着重要意义。附图说明图1是本专利技术的方法流程图；图2是本专利技术车牌检测定位模型网络结构图；图3是本专利技术车牌检测定位模型结构示意图；图4是本专利技术车牌检测定位模型输出预处理示意图；图5是本专利技术车牌识别模型网络结构图；图6是本专利技术车牌识别模型结构示意图；图7是本专利技术车牌识别模型输入预处理示意图；图8是本专利技术在常规角度下的定位识别图；图9是本专利技术在大角度、夜间、雨、雪及反光各条件下定位识别图；图10(a)是本专利技术100次训练的F1性能变化曲线图；图10(b)是本专利技术100次训练的mAP_0.5性能变化曲线图；图10(c)是本专利技术100次训练的准确率变化曲线图；图10(d)是本专利技术100次训练的召回率变化曲线图；图10(e)是本专利技术100次训练的分类损失变化曲线图；图10(f)是本专利技术100次训练的定位损失变化曲线图；图10(g)是本专利技术100次训练的置信度损失变化曲线图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例如图1所示，本实施例一种基于卷积神经网络的车牌识别方法，主要包括以下步骤：S1、通过获取车牌图片训练样本，制作车牌数据集，进行车牌检测定位模型设计及训练，并利用车牌检测定位模型进行车牌定位，从图片或者实时视频流中定位车牌位置及置信度，提取车牌矩形块图片。本实施例中，车牌检测定位模型的设计及训练，包括车牌检测定位图片预处理、车牌检测定位模型设计及训练，车牌检测定位模型结构如图2和图3所示，由于车牌检测定位模型输入为416x416，因此，图像输入车牌检测定位模型之前，需要将图片等比例缩放为最长边416，其余部分采用灰色，即RGB114、114、114填充，如图4所示。本实施例中，车牌检测定位模型的设计及训练，采用目标检测模型YOLOv3-Tiny网络结构，其以Tiny-Darknet为基础，总共为24层网络结构，包括13个卷积层、6个池化层、2个route层、一个上采样层和2个yolo输出层，相比较Darknet53去掉了一些特征层，只保留了2个独立预测分支，在保证定位准确率的条件下，进一步提升其实时性。网络结构中，主干部分为一个7层卷积Convolutional与池化maxpool网络用以提取特征，yolo层前面是一个1x1xM的卷积层，其中，M与检测类别数目相关，计算公式为M＝3*(classes+5)，其中，classes为检测类别数，例如当检测类别数为4时，卷积输出为1*1*27。本实施例中，第0层到第17层yolo层构成一个完整的检测网络。其中，upsample层用以进行上采样，以便使深层特征与浅层特征具有相同大小，如将第19层特征图13x13x256与第9层特征图进行拼接融合；route层用于获取指定层的输出，然后对这些输出的特征进行处理，比如第18层route层用于获取第14层的输出，第21个route层获取第9层和第20层的输出，进行多尺度融合，将浅层特征图连接到深层特征图，通过叠加浅层特征图相邻特征到不同通道，与原生的深层特征图相连接，使模型有了细粒度特征，提升模型的性能。本实施例中，车牌检测定位模型采用多尺度检测来进行预测，具体形式是在网络预测的最后某些层进行上采样及拼接不同层输出的操作来达到，如第21route层将第9层及第19层的上采样进行拼接；对于分辨率对预测的影响解释如下：分辨率信息直接反映的就是构成检测目标的像素的数量。一个检测目标，像素数量越多，它对目标的细节表现就越丰富越具体，即分辨率信息越丰富。通过不同尺度的检测，能够检测到更加细粒度的特征，第17层尺度为13x13可以检测到较大尺寸的车牌，第24层尺度为26x26可以检测小尺寸的车牌。在本实施例中，车牌检测定位模型在两个尺度上各具有3个先验框，6个先验框通过对40万张车牌数据样本进行聚类分析得到。选择出最优的先验框尺寸，可以使模型的表示能力更强，特征学习更快。在聚类算法中，如果采用欧氏距离计算误差，当目标边界框尺寸较大时，其误差也更大。为了避免此问题，我们采用目标边界框与先验框的交并比IoU来定义目标边界框与先验框尺寸的误差。本实施例中，车牌检测定位模型的输出为车牌位置信息及车牌类别，具体格式为(x,y,w,h,c)；其中，(x,y)为车牌左上角在输入图像中坐标，(w,h)为车牌宽度及高度，c为车牌类别，本实施例中的车牌类别包含：无车牌、蓝牌本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的车牌识别方法，其特征在于，包括以下步骤：/nS1、通过获取车牌图片训练样本，制作车牌数据集，进行车牌检测定位模型设计及训练，并利用车牌检测定位模型进行车牌定位，从图片或者实时视频流中定位车牌位置及置信度，提取车牌矩形块图片；/nS2、通过获取车牌样本，制作车牌识别数据集，进行车牌识别模型设计及训练，并利用车牌识别模型进行车牌识别，通过将步骤S1中获取的车牌矩形块图片送入车牌识别模型，获取车牌号码及对应置信度并输出。/n

【技术特征摘要】
1.一种基于卷积神经网络的车牌识别方法，其特征在于，包括以下步骤：
S1、通过获取车牌图片训练样本，制作车牌数据集，进行车牌检测定位模型设计及训练，并利用车牌检测定位模型进行车牌定位，从图片或者实时视频流中定位车牌位置及置信度，提取车牌矩形块图片；
S2、通过获取车牌样本，制作车牌识别数据集，进行车牌识别模型设计及训练，并利用车牌识别模型进行车牌识别，通过将步骤S1中获取的车牌矩形块图片送入车牌识别模型，获取车牌号码及对应置信度并输出。


2.根据权利要求1所述的一种基于卷积神经网络的车牌识别方法，其特征在于，步骤S1中车牌检测定位模型的设计及训练，包括车牌检测定位图片预处理、车牌检测定位模型设计及训练；其中，图片预处理的过程为：将图片等比例缩放为最长边416，其余部分采用灰色，即RGB114、114、114填充。


3.根据权利要求2所述的一种基于卷积神经网络的车牌识别方法，其特征在于，步骤S1中车牌检测定位模型的设计及训练，采用目标检测模型YOLOv3-Tiny网络结构，其采用Tiny-Darknet结构，总共为24层网络结构，包括13个卷积层、6个池化层、2个route层、一个上采样层和2个yolo输出层。


4.根据权利要求3所述的一种基于卷积神经网络的车牌识别方法，其特征在于，车牌检测定位模型采用多尺度检测进行预测，具体形式是在网络预测中进行上采样及拼接不同层输出。


5.根据权利要求4所述的一种基于卷积神经网络的车牌识别方法，其特征在于，车牌检测定位模型的输出为车牌位置信息及车牌类别，具体格式为(x,y,w,h,c)；其中，(x,y)为车牌左上角在输入图像中坐标，(w,h)为车牌宽度及高度，c为车牌类别；其中，车牌类别包含：无车牌、蓝牌、黄牌、双层黄牌、新能源、黑牌和警牌。


6.根...

【专利技术属性】
技术研发人员：刘永桂，任闯，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44