一种基于R-FCN的车牌字符检测及分割方法技术

本发明专利技术公开了一种基于R‑FCN的车牌字符检测及分割方法。本发明专利技术一种基于R‑FCN的车牌字符检测及分割方法，包括：S1.制作车牌图像样本并训练基于区域的检测网络；S2.输入一张待检测分割的彩色车牌图像；S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；S4.处理检测神经网络输出的结果以得到车牌字符分割结果。本发明专利技术提出的基于R‑FCN的车牌字符检测及分割方法可以在复杂车牌图像情况下同时对汉字、数字和英文字母进行准确地分割并不受输入图像尺寸的限制，相比于其它同类基于深度学习方法具有更好的分割准确性和稳定性。

A method of license plate character detection and segmentation based on r-fcn

【技术实现步骤摘要】
一种基于R-FCN的车牌字符检测及分割方法
本专利技术涉及一种基于R-FCN的车牌字符检测及分割方法，属于车牌图像识别领域中车牌字符分割技术。
技术介绍
车辆牌照识别LPR(LicensePlateRecognition)系统是图像处理与模式识别技术在智能交通领域应用的重要研究课题之一。其在道路交通监控、停车场管理和车辆登记管理等方面有广泛的应用前景。车牌识别系统作为智能交通系统的重要组成部分，它可以大大提高车辆管理工作的效率，实现车辆管理的自动化和智能化。车牌识别系统主要由两部分构成：车牌的检测和车牌的识别。其中车牌检测的任务是从采集的车辆图像中检测车牌位置并提取车牌区域图像。车牌的识别任务包括从检测到的车牌区域图像中检测并按序分割出车牌字符图像和识别字符图像两部分。由此可见，车牌字符检测是车牌识别系统的重要组成部分，车辆字符检测的效果将会直接关系到系统识别率的高低，因此，如何快速、准确地检测出车牌字符是车牌自动识别技术中关键的一步。现有基于深度学习网络的车牌字符检测方法存在以下技术问题：1.现有方法多以基于滑动窗口的深度学习网络为主，由于实际车牌字符由数字、英文字母和部分汉字组成，这些字符形状多为不规则，若仅用单一形状的窗口平移滑动检测车牌字符并不能准确分割车牌字符。2.现有方法多以基于滑动窗口的深度学习网络为主，该类方法对输入图像尺寸有一定限制。因此，研究应用基于区域的卷积神经网络来分割车牌字符的方法是非常有必要的。
技术实现思路
为了解决
技术介绍
中复杂环境下车牌字符分割难的问题，本专利技术提供一种基于R-FCN的车牌字符检测及分割方法，其对带有底纹、光照不均和对比度较低的车牌均具有很好的分割效果，能很好地解决现有基于深度学习网络的车牌字符检测方法在复杂车牌场景下检测精度不高问题。为了解决上述技术问题，本专利技术提供了一种基于R-FCN的车牌字符检测及分割方法，步骤包括：S1.制作车牌图像样本并训练基于区域的卷积神经网络；S2.输入一张待检测分割的彩色车牌图像；S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；S4.处理检测神经网络输出的结果以得到车牌字符分割结果。在其中一个实施例中，其中步骤S1的具体流程为：S1-1.制作车牌字符图像样本；S1-2.使用样本训练检测网络。在其中一个实施例中，其中步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域的最小外接矩形边界处以制作车牌字符图像样本。在其中一个实施例中，其中步骤S1-2用于训练的代价函数为：其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在p像素点的字符区域得分和字符关联区域得分，分别表示网络预测在像素点的字符区域得分和字符关联区域得分。在其中一个实施例中，其中步骤S3的具体流程为：S3-1.通过卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。在其中一个实施例中，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。通过不同分辨率的特征图的信息融合，既可以丰富低层卷积层的特征信息以补充低层卷积层在提取特征信息时丢失的深层语义信息，又可以使特征图包含上下文信息，以此准确地检测模糊、低对比度等目标的准确位置。在其中一个实施例中，步骤S3-3对最后融合后的尺寸大小相同的特征信息进行融合和分类，起到分类器的作用。在其中一个实施例中，其中步骤S4的具体流程为：S4-1.设置阈值，对得分图进行阈值分割获得字符区域和字符关联区域二值图；S4-2.通过连通域标记方法将得到的二值图中的连通域标记并按连通域像素个数进行排序；S4-3.对连通域像素个数设定阈值，并按阈值过滤像素个数不达阈值的连通域；S4-4.计算各个连通域的面积最小外接旋转矩阵；S4-5.使用字符关联区域的外接矩形来分割字符并用字符区域的外接矩形来精确定位车牌字符。本专利技术与现有技术相比有益效果：相比传统方法，本专利技术提出的车牌字符分割方法对带有底纹、光照不均和对比度较低的车牌均具有很好的分割效果，相比于现有基于深度学习网络的车牌字符分割方法，本专利技术提出的车牌字符分割方法可以在复杂车牌图像情况下同时对汉字、数字和英文字母进行准确地分割并不受输入图像尺寸的限制，并且具有更好的分割准确性和稳定性。附图说明图1是本专利技术的流程图；图2是本专利技术的车牌字符检测网络结构图。图3是本专利技术具体实施例中两个车牌在复杂背景环境下车牌字符的准备切分结果示意图具体实施方式下面结合附图和具体实施例对本专利技术作进一步的说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。如图1所示，所述的一种基于R-FCN的车牌字符检测及分割方法包括以下步骤：S1.制作车牌图像样本并训练基于区域的卷积神经网络；S2.输入一张待检测分割的彩色车牌图像；S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；S4.处理检测神经网络输出的结果以得到车牌字符分割结果。在其中一个实施例中，其中步骤S1的具体流程为：S1-1.制作车牌字符图像样本；S1-2.使用样本训练检测网络。在其中一个实施例中，其中步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域的最小外接矩形边界处以制作车牌字符图像样本。在其中一个实施例中，其中步骤S1-2用于训练的代价函数为：其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在像素点的字符区域得分和字符关联区域得分，分别表示网络预测在p像素点的字符区域得分和字符关联区域得分。在其中一个实施例中，其中步骤S3中的具体流程为：S3-1.通过卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。在其中一个实施例中，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。通过不同分本文档来自技高网...

【技术保护点】
1.一种基于R-FCN的车牌字符检测及分割方法，其特征在于，包括：/nS1.制作样本并训练基于区域的卷积神经网络R-FCN；/nS2.输入一张待检测分割的彩色车牌图像；/nS3.将图像输入到基于区域的检测网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；/nS4.处理检测神经网络输出的结果以得到车牌字符分割结果。/n

【技术特征摘要】
1.一种基于R-FCN的车牌字符检测及分割方法，其特征在于，包括：
S1.制作样本并训练基于区域的卷积神经网络R-FCN；
S2.输入一张待检测分割的彩色车牌图像；
S3.将图像输入到基于区域的检测网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；
S4.处理检测神经网络输出的结果以得到车牌字符分割结果。


2.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1的具体流程为：
S1-1.制作车牌字符图像样本；
S1-2.使用样本训练检测网络。


3.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域最小外接矩形边界以制作基于区域的车牌字符图像样本。


4.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1-2用于训练的代价函数L为：



其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在p像素点的字符区域得分和字符关联区域得分，分别表示网络预测在p像素点的字符区域得分和字符关联区域得分。


5.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，其中步骤S3的具体流程为：
S3-1.通过基...

【专利技术属性】
技术研发人员：张远辉，张纪峰，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江;33