一种车牌识别方法及装置制造方法及图纸

本发明专利技术公开了一种车牌识别方法及装置，该方法包括：将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列；将车辆轨迹图像序列输入到深度学习车牌检测网络，提取到与该车辆轨迹图像序列相对应的车牌图像序列；根据图像面积、平均梯度和质量分数，对该车辆车牌图像序列中的每一车牌图像进行排序，得到该车辆的最优车牌图像；将所述最优车牌图像输入到LPRNet字符识别网络模型，得到该车辆的车牌号码。采用本发明专利技术能够对所有视频流数据进行分析，使得车牌能够被准确识别。使得车牌能够被准确识别。使得车牌能够被准确识别。

【技术实现步骤摘要】
一种车牌识别方法及装置


[0001]本专利技术涉及图像识别及神经网络
，特别涉及一种基于视频流的车牌识别方法及装置。

技术介绍

[0002]车牌检测识别技术的应用己经十分广泛，尤其是车牌识别在智能交通系统中起着非常重要的作用。尽管目前的技术对于高速收费站卡口、停车场卡口等简单场景的车牌检测识别己经具有足够高的精度，但是在一些复杂场景中，如监控视频连续拍摄的远距离、高速度、弱光照、大角度等诸多不确定因素影响下车牌识别仍有很大的优化空间。目前已公开的现有技术要么不支持这种复杂的视频流场景，要么识别效果较差。
[0003]例如，专利文献(申请号201511016292.9)公开了一种基于视频流的车牌识别方法、系统及智能数字摄像机，先根据原始帧图像的熵和信噪比分别设定阈值，将各个位置分为最佳信息区域，模糊区域和较差信息区域，再选择车牌每个位置的最佳信息区域拼接为融合的最佳信息图像进行识别，最后计算识别结果的置信度得到最终的车牌识别结果。该方法很大程度上依赖于阈值的选择，尤其在变换场景时需要重新计算并预设6个阈值，利用熵计算图像质量可能会出现图像梯度不同、边缘锐度不同、清晰度不同，但熵相同的无法区分的情况。
[0004]又如，有专利和论文提出从监控视频中选择车牌质量好的视频段或帧图像进行识别，可以在一定程度上提高车牌识别的时间效率，但仍存在需要特写摄像头拍摄或车牌质量评价不准确等不足之处。

技术实现思路

[0005]有鉴于此，本专利技术的专利技术目的是：对所有视频流数据进行分析，使得车牌能够被准确识别。
[0006]为达到上述目的，本专利技术的技术方案具体是这样实现的：
[0007]本专利技术提供了一种车牌识别方法，该方法包括：
[0008]将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列；
[0009]将车辆轨迹图像序列输入到深度学习车牌检测网络，提取到与该车辆轨迹图像序列相对应的车牌图像序列；
[0010]根据图像面积、平均梯度和质量分数，对该车辆车牌图像序列中的每一车牌图像进行排序，得到该车辆的最优车牌图像；
[0011]将所述最优车牌图像输入到LPRNet字符识别网络模型，得到该车辆的车牌号码。
[0012]本专利技术还提供了一种车牌识别装置，该装置包括：
[0013]离线分析模块，将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列；
[0014]车牌截图模块，将车辆轨迹图像序列输入到深度学习车牌检测网络，提取到与该车辆轨迹图像序列相对应的车牌图像序列；
[0015]最优评价模块，根据图像面积、平均梯度和质量分数，对该车辆车牌图像序列中的每一车牌图像进行排序，得到该车辆的最优车牌图像；
[0016]车牌识别模块，将所述最优车牌图像输入到LPRNet字符识别网络模型，得到该车辆的车牌号码。
[0017]由上述的技术方案可见，本专利技术提出了一种车牌识别方法及装置，该方法包括：将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列；将车辆轨迹图像序列输入到深度学习车牌检测网络，提取到与该车辆轨迹图像序列相对应的车牌图像序列；根据图像面积、平均梯度和质量分数，对该车辆车牌图像序列中的每一车牌图像进行排序，得到该车辆的最优车牌图像；将所述最优车牌图像输入到LPRNet字符识别网络模型，得到该车辆的车牌号码。
[0018]本专利技术是针对监控视频流中的运动车辆，提出一种选择最优车牌图像并对其进行识别的方法及装置。该方法充分考虑行驶中车辆的遮挡、距离摄像头的远近、运动快慢对画面清晰度的影响等因素，综合运用目标跟踪、图像质量评价和基于深度学习的LPRNet(License Plate Recognition via Deep Neural Networks)识别技术，在保证时间效率的前提下，能够提高车牌识别的准确率，适用于现有视频监控系统中车辆的车牌识别，尤其对被判定为违章的车辆，即使出现短时遮挡或瞬间模糊，也能被正确识别。本专利技术操作步骤简单，易于集成，在基于视频流的车牌识别应用中具有较好的推广价值。
附图说明
[0019]图1为本专利技术车牌识别方法的流程示意图。
[0020]图2为本专利技术实施例中生成车辆轨迹图像序列的图结构示意图。
[0021]图3为本专利技术实施例中所拍摄视频中的帧画面示意图。
[0022]图4为本专利技术实施例中随机选出的一车辆轨迹图像序列示意图。
[0023]图5为本专利技术实施例中与图4对应的同一车辆车牌图像序列示意图。
[0024]图6为本专利技术实施例中根据指标对图5的同一车辆车牌图像序列进行评估的数据统计图。
[0025]图7为本专利技术实施例中车辆压线违章及其前后时刻车牌识别效果图。
[0026]图8为本专利技术车牌识别装置的结构示意图。
具体实施方式
[0027]为使本专利技术的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本专利技术进一步详细说明。
[0028]本专利技术将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，可以对所有视频帧进行分析，能够把所有帧都关联上，从而确认是同一辆车的轨迹图像序列。利用深度学习车牌检测网络，提取到与该车辆轨迹图像序列相对应的车牌图像序列。然后根据图像面积、平均梯度和质量分数，在同一辆车的轨迹图像序列中找到最优车牌图像，最终获取车牌号码。
[0029]实施例一
[0030]本专利技术提供了一种车牌识别方法，流程示意图如图1所示，包括以下步骤：
[0031]步骤11、将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列。
[0032]本专利技术中，通过摄像头获取包含车辆的视频流数据。不需要架设特写摄像头，利用现有已经架设的监控摄像头即可，分辨率达到960p及以上，效果更佳。离线车辆跟踪网络模型指的是可以对摄像头预定时间段内所拍摄的所有视频帧进行分析。车辆轨迹图像序列，指的是能标识该车辆轨迹的多个图像，不同的序列具有不同的标识。每个车辆轨迹图像序列包含不同数量的同一辆车在不同帧中的截图。
[0033]本步骤中，将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列，包括：
[0034]步骤111、将预定时间段内拍摄的至少包含有一辆车的视频流数据的每一帧输入到深度学习车辆检测网络，得到每一车辆的边界框，作为图结构中一个目标对象；
[0035]深度学习是机器学习中的一个应用十分广泛的分支，其常用的结构是一个多层神经网络。“深度”则是指网络对特征的多次变换，即通过多层网络之间输入与输出的非线性变换，使网络学习到更深层次、更抽象的特征。神经网络的使用过程通常分两个阶段：训练网络和使用网络进行预测。第一个阶段训练网络是用已知的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车牌识别方法，其特征在于，该方法包括：将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列；将车辆轨迹图像序列输入到深度学习车牌检测网络，提取到与该车辆轨迹图像序列相对应的车牌图像序列；根据图像面积、平均梯度和质量分数，对该车辆车牌图像序列中的每一车牌图像进行排序，得到该车辆的最优车牌图像；将所述最优车牌图像输入到LPRNet字符识别网络模型，得到该车辆的车牌号码。2.如权利要求1所述的方法，其特征在于，所述将预定时间段内拍摄的至少包含有一辆车的视频流数据输入到离线车辆跟踪网络模型，获取各车辆轨迹图像序列，包括：将预定时间段内拍摄的至少包含有一辆车的视频流数据的每一帧输入到深度学习车辆检测网络，得到每一车辆的边界框，作为图结构中一个目标对象；将图结构中的目标对象进行数据关联，得到各车辆轨迹图像序列。3.如权利要求2所述的方法，其特征在于，所述将图结构中的目标对象进行数据关联，得到各车辆轨迹图像序列，具体包括：A、计算相邻帧两个边界框之间的交并比，根据所述交并比得到边的损失值；B、利用不等式关系删除图结构中的冗余边；C、利用Bellman
‑
Ford算法找到初始最短路径，并修正边的损失值为非负数；D、对最短路径边反向获取残差图，修正残差图边的损失值为非负数，使用Dijkstra算法在修正后的残差图上求新的最短路径；重复执行上述步骤D，直至总损失值不再减小或者找不到新的最短路径时，寻迹流程结束，得到所有车辆轨迹图像序列。4.如权利要求3所述的方法，其特征在于，每次使用Dijkstra算法在修正后的残差图上求出新的最短路径后，该方法进一步包括：对当前找到的所有最短路径，按照路径损失值进行升序排序；按照升序，依次判断各最短路径之间是否有交叉点，如果没有，则将没有交叉点的最短路径中与初始节点和终止节点相连接的边删除，并输出所述没有交叉点的最短路径；如果有，则将有交叉点的最短路径并入下一次升序排序以及是否有交叉点的判断操作中。5.如权利要求1所述的方法，其特征在于，所述根据图像面积、平均梯度和质量分数，对该车辆车牌图像序列中的每一车牌图像进行排序，得到该车辆的最优车牌图像，具体包括：对同一车辆轨迹上的车牌图像序列，利用水平像素数
×
垂直像素数，计算各车牌图像的面积，并按面积数值由大到小的顺序排名，名次分别记作S1，S2，S3，
……
，S
n
，其中n为序列长度；对同一车辆轨迹上的车牌图像序列，根据Sobel算子分别提取水平和垂直方向的梯度值；根据所提取的水平和垂直方向的梯度值，利用Tenengrad梯度函数计算出各车牌图像的平均梯度，并按平均梯度值由大到小的顺序排名，名次分别记作T1，T2，T3，
……
，T
n
，其中n为序列长度；对同一车辆轨迹上的车牌图像序列，查找到对应的车辆图像序列，利用基于JPEG分块压缩原理的图像质量评价公式计算出各车辆图像的质量分数，作为各车牌图像的质量分
数，并按分数由高到低的顺序排名，名次分别记作Q1，Q2，Q3，
……
，Q
n
，其中n为序列长度；按照求出排名最小值，将该最小值所对应的车牌图像作为最优车牌图像。其中，k1，k2，k3分别为车牌面积、平均梯度和质量分数排名的加权系数，满足6.如权利要求5所述的方法，其特征在于，所述利用基于JPEG分块压缩原理的图像质量评价公式计算出各车辆图像的质量分数，包括：对于任一车辆图像的质量分数，根据图像质量评价公式：score＝
‑
245.9+261.9B
‑
0.024
A
0.016
Z
0.0064
计算，其中，参数B表示图像按8
×
8分块后的跨越块边界的四个块顶点和水平、垂直方向上相邻像素值差分的平均值，参数A表示块内相邻像素水平、垂直方向上平均绝对误差的平均值，参数Z表示整幅图像内各像素比左侧/上方相邻像素值大的个数乘以/除以图像边界内的长宽比的平均值；将B、A、Z三个参数代入所述图像质量评价公式，得到该车辆图像的质量分数。7.如权利要求2所述的方法，其特征在于，预先为所述预定时间段内拍摄的至少包含有一辆车的视频流设置安全标记，该方法还包括：将增加了安全标记的视频流数据的每一帧输入到深度学习车辆检测网络，得到每一车辆的边界框；根据安全标记和边界框判断每一车辆的边界框是否符合预设规则，为不符合预设规则的边界框设置标志位值为1，否则设置标志位...

【专利技术属性】
技术研发人员：杜海清，刘勇，温向明，韩兆博，王星，吴旭达，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：