车牌关键点矫正方法、系统、设备和存储介质技术方案

本发明专利技术公开了一种车牌关键点矫正方法，包括：获取预先标记好若干个关键点的车牌图像；其中，所述关键点为所述车牌图像中车牌的特征点；将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像；利用仿射变换对所述定位图像中的关键点进行初次矫正；判断进行完初次矫正后的所述定位图像的倾斜角度是否小于预设角度阈值；若是，判定矫正成功；若否，判定矫正失败，并利用仿射变换对所述定位图像进行二次矫正。本发明专利技术还公开一种车牌关键点矫正系统、设备和一种计算机可读存储介质。采用本发明专利技术实施例，在保证准确回归定位出倾斜车牌关键点的同时，也保证了倾斜车牌关键点特征的矫正效果。

【技术实现步骤摘要】
车牌关键点矫正方法、系统、设备和存储介质
本专利技术涉及车辆识别
，尤其涉及一种车牌关键点矫正方法、系统、设备和存储介质。
技术介绍
近年来，随着深度卷积网络的深入发展，神经网络高效的特征提取、强健的泛化适应性及高效的自动学习深层特征能力，正逐渐被应用于智能交通执法的各个领域。车牌关键点矫正是一种基于倾斜车牌检测区域对车牌关键点特征信息进行矫正的技术。这种技术被广泛地运用在交通卡口、执法仪违章及事故取证等领域。其技术路线可以总结为：对输入处理的一张图像或一段视频，首先采用车辆检测器对图像或视频中的车辆进行一级检测，然后对检测到的车辆区域进行车二级车牌区域检测，然后将车牌待检区域输入到车牌关键点特征模型中提取车牌区域图像的关键点特征，最后对车牌关键点矫正。早期的车牌矫正方法主要以传统方法提取车牌待检域边缘特征，通过改变车牌投影角度值进行矫正，使用的Sobel对车牌边缘特征检测，然后依据车牌特征投影角度进行车牌矫正，其优点是速度快，但是Sobel这种传统车牌边缘特征检测方法及矫正方式，易受车身颜色、部件遮挡、模糊等外部条件干扰，且矫正角度有限，环境适应性差，无法满足复杂场景倾斜车牌矫正需求。
技术实现思路
本专利技术实施例的目的是提供一种车牌关键点矫正方法、系统、设备和存储介质，在保证准确回归定位出倾斜车牌关键点的同时，也保证了倾斜车牌关键点特征的矫正效果。为实现上述目的，本专利技术实施例提供了一种车牌关键点矫正方法，包括：获取预先标记好若干个关键点的车牌图像；其中，所述关键点为所述车牌图像中车牌的特征点；将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像；利用仿射变换对所述定位图像中的关键点进行初次矫正；判断进行完初次矫正后的所述定位图像的倾斜角度是否小于预设角度阈值；若是，判定矫正成功；若否，判定矫正失败，并利用水平和垂直投影方式对所述定位图像进行二次矫正。与现有技术相比，本专利技术实施例公开的车牌关键点矫正方法，首先，获取预先标记好若干个关键点的车牌图像；然后，将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像；最后，利用仿射变换对所述定位图像中的关键点进行初次矫正，当进行完初次矫正后的所述定位图像的倾斜角度小于预设角度阈值时，判定矫正成功。本专利技术实施例公开的车牌关键点矫正方法在保证准确回归定位出倾斜车牌关键点的同时，也保证了倾斜车牌关键点特征的矫正效果。作为上述方案的改进，所述将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像，包括：将所述车牌图像划分为训练集和测试集；将所述训练集输入到预先构建的基于注意力机制的车牌关键点回归模型中，以对所述车牌关键点回归模型进行训练；其中，所述车牌关键点回归模型为基于HRNet网络框架的神经网络；在训练完所述车牌关键点回归模型后，将所述测试集输入到训练完的所述车牌关键点回归模型中，以输出定位图像。作为上述方案的改进，所述在训练完所述车牌关键点回归模型后，还包括：随机从训练集中按照预设比例选取回归验证集；将所述回归验证集输入到所述车牌关键点回归模型中进行关键点提取；动态保存所述回归验证集中的困难样本；对所述困难样本按照加噪和裁剪方式进行数据增强，并作为回归验证集重新输入到所述车牌关键点回归模型中；直至所述车牌关键点回归模型的损失值满足预设要求时，输出当前车牌关键点回归模型作为训练完成的车牌关键点回归模型。作为上述方案的改进，所述获取预先标记好若干个关键点的车牌图像后，还包括：计算所述车牌图像中车牌的倾斜角度信息；根据所述倾斜角度信息对所述车牌图像进行分组；对每一组内的所述车牌图像进行加噪和数据增强处理。作为上述方案的改进，所述车牌关键点回归模型采用的损失函数包括EuclideanLoss、ContrastiveLoss中的至少一种。为实现上述目的，本专利技术实施例还提供了一种车牌关键点矫正系统，包括：车牌图像获取模块，用于获取预先标记好若干个关键点的车牌图像；其中，所述关键点为所述车牌图像中车牌的特征点；定位模块，用于将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像；关键点矫正模块，用于利用仿射变换对所述定位图像中的关键点进行初次矫正；判断模块，用于判断进行完初次矫正后的所述定位图像的倾斜角度是否小于预设角度阈值；若是，判定矫正成功；若否，判定矫正失败，以使关键点矫正模块利用水平和垂直投影方式对所述定位图像进行二次矫正。与现有技术相比，本专利技术实施例公开的车牌关键点矫正系统，首先，车牌图像获取模块获取预先标记好若干个关键点的车牌图像；然后，定位模块将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像；最后，关键点矫正模块利用仿射变换对所述定位图像中的关键点进行初次矫正，当进行完初次矫正后的所述定位图像的倾斜角度小于预设角度阈值时，判断模块判定矫正成功。本专利技术实施例公开的车牌关键点矫正系统在保证准确回归定位出倾斜车牌关键点的同时，也保证了倾斜车牌关键点特征的矫正效果。作为上述方案的改进，所述定位模块包括：车牌图像划分单元，用于将所述车牌图像划分为训练集和测试集；训练集训练单元，用于将所述训练集输入到预先构建的基于注意力机制的车牌关键点回归模型中，以对所述车牌关键点回归模型进行训练；其中，所述车牌关键点回归模型为基于HRNet网络框架的神经网络；测试集测试单元，用于在训练完所述车牌关键点回归模型后，将所述测试集输入到训练完的所述车牌关键点回归模型中，以输出定位图像。作为上述方案的改进，所述定位模块还包括回归验证单元，所述回归验证单元用于：随机从训练集中按照预设比例选取回归验证集；将所述回归验证集输入到所述车牌关键点回归模型中进行关键点提取；动态保存所述回归验证集中的困难样本；对所述困难样本按照加噪和裁剪方式进行数据增强，并作为回归验证集重新输入到所述车牌关键点回归模型中；直至所述车牌关键点回归模型的损失值满足预设要求时，输出当前车牌关键点回归模型作为训练完成的车牌关键点回归模型。为实现上述目的，本专利技术实施例还公开了一种车牌关键点矫正设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的车牌关键点矫正方法。为实现上述目的，本专利技术实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的车牌关键点矫正方法。附图说明图1是本专利技术实施例提供的一种车牌关键点矫正方法的流程图；图2是本专利技术实施例提供的HRnet网络架本文档来自技高网...

【技术保护点】
1.一种车牌关键点矫正方法，其特征在于，包括：/n获取预先标记好若干个关键点的车牌图像；其中，所述关键点为所述车牌图像中车牌的特征点；/n将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像；/n利用仿射变换对所述定位图像中的关键点进行初次矫正；/n判断进行完初次矫正后的所述定位图像的倾斜角度是否小于预设角度阈值；/n若是，判定矫正成功；若否，判定矫正失败，并利用水平和垂直投影方式对所述定位图像进行二次矫正。/n

【技术特征摘要】
1.一种车牌关键点矫正方法，其特征在于，包括：
获取预先标记好若干个关键点的车牌图像；其中，所述关键点为所述车牌图像中车牌的特征点；
将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像；
利用仿射变换对所述定位图像中的关键点进行初次矫正；
判断进行完初次矫正后的所述定位图像的倾斜角度是否小于预设角度阈值；
若是，判定矫正成功；若否，判定矫正失败，并利用水平和垂直投影方式对所述定位图像进行二次矫正。


2.如权利要求1所述的车牌关键点矫正方法，其特征在于，所述将所述车牌图像输入到预先构建的基于注意力机制的车牌关键点回归模型中，以输出定位图像，包括：
将所述车牌图像划分为训练集和测试集；
将所述训练集输入到预先构建的基于注意力机制的车牌关键点回归模型中，以对所述车牌关键点回归模型进行训练；其中，所述车牌关键点回归模型为基于HRNet网络框架的神经网络；
在训练完所述车牌关键点回归模型后，将所述测试集输入到训练完的所述车牌关键点回归模型中，以输出定位图像。


3.如权利要求2所述的车牌关键点矫正方法，其特征在于，所述在训练完所述车牌关键点回归模型后，还包括：
随机从训练集中按照预设比例选取回归验证集；
将所述回归验证集输入到所述车牌关键点回归模型中进行关键点提取；
动态保存所述回归验证集中的困难样本；
对所述困难样本按照加噪和裁剪方式进行数据增强，并作为回归验证集重新输入到所述车牌关键点回归模型中；
直至所述车牌关键点回归模型的损失值满足预设要求时，输出当前车牌关键点回归模型作为训练完成的车牌关键点回归模型。


4.如权利要求1所述的车牌关键点矫正方法，其特征在于，所述获取预先标记好若干个关键点的车牌图像后，还包括：
计算所述车牌图像中车牌的倾斜角度信息；
根据所述倾斜角度信息对所述车牌图像进行分组；
对每一组内的所述车牌图像进行加噪和数据增强处理。


5.如权利要求1所述的车牌关键点矫正方法，其特征在于，所述车牌关键点回归模型采用的损失函数包括EuclideanLoss、ContrastiveLoss中的至少一种。


6.一种车牌关键...

【专利技术属性】
技术研发人员：詹益俊，贺迪龙，夏长得，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：广东;44