车牌识别方法以及装置制造方法及图纸

本申请公开一种车牌识别方法以及装置。方法包括：将每个监控图像输入至端到端识别模型中，输出预测车牌类别、预测字符类别、预测车牌位置以及预测字符位置；根据真实车牌类别、真实字符类别、真实车牌位置、真实字符位置、预测车牌类别、预测字符类别、预测车牌位置以及预测字符位置，构建损失函数进行训练优化，获得训练完成的端到端识别模型；将待测监控图像输入至训练完成的端到端识别模型中，输出对应的车牌类别、车牌位置、字符类别以及字符位置；将每个车牌位置与每个字符位置进行交并比计算，获得车牌字符交并比值，若车牌字符交并比值大于归属阈值，则字符位置对应的字符属于车牌位置对应的车牌。置对应的车牌。置对应的车牌。

【技术实现步骤摘要】
车牌识别方法以及装置


[0001]本申请涉及图像处理
，特别是涉及一种车牌识别方法以及装置。

技术介绍

[0002]车牌识别技术在城市交通管理、车辆识别、停车场收费管理、违章处理等多个任务中具有重要的作用。车牌识别技术包括车牌位置的检测和车牌字符的识别。车牌位置的检测通过拍摄图像定位得到车牌区域的位置。车牌字符的识别能够将检测到的车牌区域内的可见字符识别出来。
[0003]然而，受光照条件、天气条件、图像的清晰度、车牌的拍摄角度、车牌的颜色等多个因素的影响，车牌识别技术仍是一个富有挑战的任务。传统的车牌识别方法采用两阶段的单独识别方法，首先检测车牌位置，然后在检测车牌位置的基础上进行字符的识别。传统的车牌识别方法对车牌检测与字符识别需要分别建立检测模块与识别模块逐步进行训练和调优，检测车牌位置定位不精确时容易导致字符识别错误，出现车牌与字符匹配错误的问题，进而降低了传统方法的识别准确度。
[0004]申请内容
[0005]本申请的目的是解决传统车牌识别方法的识别准确度低的技术问题。为实现上述目的，本申请提供一种车牌识别方法以及装置。
[0006]本申请提供一种车牌识别方法，包括：
[0007]获取多个监控图像，每个所述监控图像标注有真实车牌类别、多个真实字符类别、多个真实车牌位置以及多个真实字符位置；
[0008]将每个所述监控图像输入至端到端识别模型中，输出预测车牌类别、多个预测字符类别、多个预测车牌位置以及多个预测字符位置；
[0009]根据所述真实车牌类别、所述真实字符类别、所述真实车牌位置、所述真实字符位置、所述预测车牌类别、所述预测字符类别、所述预测车牌位置以及所述预测字符位置，构建损失函数，并根据所述损失函数对所述端到端识别模型进行训练优化，获得训练完成的端到端识别模型；
[0010]获取待测监控图像，并将所述待测监控图像输入至所述训练完成的端到端识别模型中，输出所述待测监控图像对应的车牌类别、多个车牌位置、多个字符类别以及多个字符位置；
[0011]将每个所述车牌位置与每个所述字符位置进行交并比计算，获得车牌字符交并比值，并判断所述车牌字符交并比值是否大于归属阈值，若所述车牌字符交并比值大于所述归属阈值，则所述字符位置对应的字符属于所述车牌位置对应的车牌。
[0012]在一个实施例中，所述将每个所述监控图像输入至端到端识别模型中，输出预测车牌类别、多个预测字符类别、多个预测车牌位置以及多个预测字符位置，包括：
[0013]将特征金字塔网络结构融入至卷积神经网络中，形成所述端到端识别模型；
[0014]根据所述端到端识别模型，对每个所述监控图像进行识别，输出所述预测车牌类
别、所述多个预测字符类别、所述多个预测车牌位置以及所述多个预测字符位置。
[0015]在一个实施例中，所述根据所述真实车牌类别、所述真实字符类别、所述真实车牌位置、所述真实字符位置、所述预测车牌类别、所述预测字符类别、所述预测车牌位置以及所述预测字符位置，构建损失函数，并根据所述损失函数对所述端到端识别模型进行训练优化，获得训练完成的端到端识别模型，包括：
[0016]根据所述真实车牌类别、所述真实字符类别、所述预测车牌类别以及所述预测字符类别构建分类损失函数；
[0017]根据所述真实车牌位置、所述真实字符位置、所述预测车牌位置以及所述预测字符位置构建位置回归损失函数；
[0018]根据所述分类损失函数与所述位置回归损失函数，对所述端到端识别模型进行训练优化，获得训练完成的端到端识别模型。
[0019]在一个实施例中，所述获取待测监控图像，并将所述待测监控图像输入至所述训练完成的端到端识别模型中，输出所述待测监控图像对应的车牌类别、多个车牌位置、多个字符类别以及多个字符位置之后，所述将每个所述车牌位置与每个所述字符位置进行交并比计算，获得车牌字符交并比值，并判断所述车牌字符交并比值是否大于归属阈值，若所述车牌字符交并比值大于所述归属阈值，则所述字符位置对应的字符属于所述车牌位置对应的车牌之前，还包括：
[0020]将所述多个车牌位置中每两个所述车牌位置进行交并比计算，获得车牌交并比值，并判断所述车牌交并比值是否小于第一阈值，若所述车牌交并比值小于所述第一阈值，则计算每个所述车牌位置与每个所述字符位置的交并比。
[0021]在一个实施例中，所述将每个所述车牌位置与每个所述字符位置进行交并比计算，获得车牌字符交并比值，并判断所述车牌字符交并比值是否大于归属阈值，若所述车牌字符交并比值大于所述归属阈值，则所述字符位置对应的字符属于所述车牌位置对应的车牌之后，还包括：
[0022]将每个所述车牌位置对应的满足所述车牌字符交并比值大于所述归属阈值的多个字符位置中每两个字符位置进行交并比计算，获得字符交并比值，并判断所述字符交并比值是否小于第二阈值，若所述字符交并比值小于所述第二阈值，则将每个所述车牌位置中满足所述车牌字符交并比值大于所述归属阈值且所述字符交并比值小于所述第一阈值的字符进行排序，获得完整车牌字符序列。
[0023]在一个实施例中，所述第一阈值的范围为0.8至1.0，所述归属阈值的范围为0.9至1.0，所述第二阈值的范围为0.95至1.0。
[0024]在一个实施例中，本申请提供一种车牌识别装置，包括：
[0025]数据获取模块，用于获取多个监控图像，每个所述监控图像标注有真实车牌类别、多个真实字符类别、多个真实车牌位置以及多个真实字符位置；
[0026]模型建立模块，用于将每个所述监控图像输入至端到端识别模型中，输出预测车牌类别、多个预测字符类别、多个预测车牌位置以及多个预测字符位置；
[0027]模型训练模块，用于根据所述真实车牌类别、所述真实字符类别、所述真实车牌位置、所述真实字符位置、所述预测车牌类别、所述预测字符类别、所述预测车牌位置以及所述预测字符位置，构建损失函数，并根据所述损失函数对所述端到端识别模型进行训练优
化，获得训练完成的端到端识别模型；
[0028]预测模块，用于获取待测监控图像，并将所述待测监控图像输入至所述训练完成的端到端识别模型中，输出所述待测监控图像对应的车牌类别、多个车牌位置、多个字符类别以及多个字符位置；
[0029]关系匹配模块，用于将每个所述车牌位置与每个所述字符位置进行交并比计算，获得车牌字符交并比值，并判断所述车牌字符交并比值是否大于归属阈值，若所述车牌字符交并比值大于所述归属阈值，则所述字符位置对应的字符属于所述车牌位置对应的车牌。
[0030]在一个实施例中，所述模型建立模块包括：
[0031]生成模块，用于将特征金字塔网络结构融入至卷积神经网络中，形成所述端到端识别模型；
[0032]输出模块，用于根据所述端到端识别模型，对每个所述监控图像进行识别，输出所述预测车牌类别、所述多个预测字符类别、所述多个预测车牌位置以及所述多个预测字符位置。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车牌识别方法，其特征在于，包括：获取多个监控图像，每个所述监控图像标注有真实车牌类别、多个真实字符类别、多个真实车牌位置以及多个真实字符位置；将每个所述监控图像输入至端到端识别模型中，输出预测车牌类别、多个预测字符类别、多个预测车牌位置以及多个预测字符位置；根据所述真实车牌类别、所述真实字符类别、所述真实车牌位置、所述真实字符位置、所述预测车牌类别、所述预测字符类别、所述预测车牌位置以及所述预测字符位置，构建损失函数，并根据所述损失函数对所述端到端识别模型进行训练优化，获得训练完成的端到端识别模型；获取待测监控图像，并将所述待测监控图像输入至所述训练完成的端到端识别模型中，输出所述待测监控图像对应的车牌类别、多个车牌位置、多个字符类别以及多个字符位置；将每个所述车牌位置与每个所述字符位置进行交并比计算，获得车牌字符交并比值，并判断所述车牌字符交并比值是否大于归属阈值，若所述车牌字符交并比值大于所述归属阈值，则所述字符位置对应的字符属于所述车牌位置对应的车牌。2.根据权利要求1所述的车牌识别方法，其特征在于，所述将每个所述监控图像输入至端到端识别模型中，输出预测车牌类别、多个预测字符类别、多个预测车牌位置以及多个预测字符位置，包括：将特征金字塔网络结构融入至卷积神经网络中，形成所述端到端识别模型；根据所述端到端识别模型，对每个所述监控图像进行识别，输出所述预测车牌类别、所述多个预测字符类别、所述多个预测车牌位置以及所述多个预测字符位置。3.根据权利要求2所述的车牌识别方法，其特征在于，所述根据所述真实车牌类别、所述真实字符类别、所述真实车牌位置、所述真实字符位置、所述预测车牌类别、所述预测字符类别、所述预测车牌位置以及所述预测字符位置，构建损失函数，并根据所述损失函数对所述端到端识别模型进行训练优化，获得训练完成的端到端识别模型，包括：根据所述真实车牌类别、所述真实字符类别、所述预测车牌类别以及所述预测字符类别构建分类损失函数；根据所述真实车牌位置、所述真实字符位置、所述预测车牌位置以及所述预测字符位置构建位置回归损失函数；根据所述分类损失函数与所述位置回归损失函数，对所述端到端识别模型进行训练优化，获得训练完成的端到端识别模型。4.根据权利要求1所述的车牌识别方法，其特征在于，所述获取待测监控图像，并将所述待测监控图像输入至所述训练完成的端到端识别模型中，输出所述待测监控图像对应的车牌类别、多个车牌位置、多个字符类别以及多个字符位置之后，所述将每个所述车牌位置与每个所述字符位置进行交并比计算，获得车牌字符交并比值，并判断所述车牌字符交并比值是否大于归属阈值，若所述车牌字符交并比值大于所述归属阈值，则所述字符位置对应的字符属于所述车牌位置对应的车牌之前，还包括：将所述多个车牌位置中每两个所述车牌位置进行交并比计算，获得车牌交并比值，并判断所述车牌交并比值是否小于第一阈值，若所述车牌交并比值小于所述第一阈值，则计
算每个所述车牌位置与每个所述字符位置的交并比。5.根据权利要求4所述的车牌识别方法，其特征在于，所述将每个所述车牌位置与每个所述字符位置进行交并比计算，获得车牌字符交并比值，并判断所述车牌字符交并比值是否大于归属阈值，若所述车牌字符交并比值大于所述归属阈值，则所述字符位置对应的字符属于所述车牌位置对应的车牌之后，还包括：将每个所述车牌位置对应的满足所述车牌字符交并比值大于所述归属阈值的多个字符位置中每两个字符位置进行交并比计算，获得字符交并比值，并判断所述字符交并比值是否小于第二阈值，若所述字符交并比值小于所述第二阈值，则...

【专利技术属性】
技术研发人员：闫军，丁丽珠，王艳清，
申请(专利权)人：超级视线科技有限公司，
类型：发明
国别省市：