【技术实现步骤摘要】
本专利技术属于车牌识别的，特别是涉及一种雾霾天气状况下的道路车辆车牌识别方法。
技术介绍
1、在车辆信息多源化的复杂环境下，车牌识别是道路交通安全监管中的关键。随着计算机视觉技术的发展和传感器硬件的日益成熟，良好天气下的车牌检测技术已基本满足实际使用需要。然而，雾霾等恶劣天气捕获的车辆图像存在大量噪声，对比度低、白化程度高等问题为车辆识别的准确性和鲁棒性带来了一定的挑战。虽然基于深度学习的车辆识别技术已经探索了许多不同的网络架构，但是仍存在上下文信息利用有限的问题，难以去除非均匀雾霾，恢复图像的细节和颜色。因此，本专利技术通过利用二维图推理捕获具有相似结构的不同区域、不同维度的相互作用，有效消除了非均匀雾霾，解决了雾霾天气状况下道路车辆车牌识别的问题。
技术实现思路
1、为了解决雾霾天气下车牌识别中上下文信息利用有限的问题，本专利技术提出了一种雾霾天气状况下的道路车辆车牌识别方法，其具体技术方案如下。
2、第一方面，本专利技术提供一种雾霾天气状况下的道路车辆车牌识别方法，包括以下步骤：
3、步骤一、图像去雾处理。
4、步骤1-1：检测被处理图像中包含车辆信息的区域，得到车辆图像块。
5、步骤1-2：对车辆图像块进行卷积，获取特征编码x。
6、步骤1-3：对特征编码x依次进行图投影、图推理、图重投影处理。图投影中将特征编码x投影至空间图和通道图，分别得到空间图和通道图的节点特征vi。图推理对不同节点特征进行交互，获得特征图重
7、步骤1-4：将空间图和通道图对应的重投影特征fi依次进行池化、残差连接、标准化、激活函数、多层卷积堆积、全局池化后进行解码，得到去雾后的图像
8、步骤二、检测步骤一得到的图像中的车牌位置，得到车牌图像块。
9、步骤三、对步骤二得到的车牌图像块进行识别，得到车牌信息。
10、作为优选，步骤一中被处理的图像通过道路上的摄像头采集影像分帧处理得到。
11、作为优选，步骤1-1中得到车辆图像块的具体过程为：对多种交通场景现场先验知识进行聚合，转化为非线性不等式约束，构建多重先验知识神经网络模型；将被处理图像输入多重先验知识神经网络模型，获取车辆合理出现的区域，得到车辆图像块。
12、作为优选，步骤1-3中，将特征编码x投影至空间图和通道图的节点特征vi的表达式为：
13、
14、根据节点特征vi构造连通矩阵ai如下：
15、
16、其中，ai(p,q)为连通矩阵ai第p行第q列的元素，表示从第p个节点的特征vi(p)到第q个的节点特征vi(q)的连通性；n表示图节点总数；θ(·)和θ'(·)表示不同参数的两个线性嵌入。
17、作为优选，步骤1-3中，不同节点特征交互得到的特征的表达式如下：
18、
19、其中，σ(·)表示激活函数，wi属于图卷积的权重。
20、作为优选，步骤二的具体过程为：
21、步骤2-1：以步骤一得到的图像的角点作为特征点；利用基于卢卡斯-柯乃德约束法的光流计算预测下一帧图像中特征点的位置；描述运动矢量并生成光流图；以速度为阈值筛选有效特征点，消除噪声特征点，获得车辆的位置信息及外形轮廓，确定存在车牌的范围区间。
22、步骤2-1：将图像转换至gray色彩空间；对图像进行中值滤波与边缘检测，腐蚀干扰特征；对步骤2-1确定的存在车牌的范围区间进行哈弗变换，得到线特征，划定车牌范围并裁剪图像，得到车牌图像块。
23、作为优选，步骤三的具体过程为：
24、将步骤二得到的车牌图像块输入空间转换器，获取平直的车牌图像；将平直的车牌图像输入车牌推理模型识别出车牌信息。
25、作为优选，推理模型的训练过程为：利用骨干卷积神经网络提取车牌的卷积特征，之后利用注意力分类器的交叉熵损失训练空间转换器、骨干卷积神经网络和注意力分支，利用连接时序分类器训练联接时间分支，融合多种文本特征的表达，得到训练完成的车牌推理模型；对车牌推理模型进行裁剪优化。最终得到的车牌推理模型仅保留连接时序分类器对平直的车牌图像进行识别。
26、第二方面，本专利技术提供一种用于执行前述道路车辆车牌识别方法的识别系统，其包括图像去雾模块、车牌检测模块和车牌识别模块。所述的图像去雾模块包括多重先验知识神经网络模型、编码器和解码器。编码器包括卷积层、二维图推理模块、池化层、残差连接层、标准化层、激活函数、多层卷积堆积层和全局池化层。所述的车牌检测模块用于在图像去雾模块处理后的图像中检测出车牌的位置，并框选出包含车牌号的图像块。车牌识别模块用于对车牌检测模块检测得到的图像块进行识别，获取车牌号文本信息。
27、本专利技术具体有益效果如下：
28、1、本专利技术对交通道路上的摄像头拍摄到的车辆图像通过卷积提取特征编码，再利用二维的图推理模块对特征编码进行图投影，再对所得空间图、通道图的节点各自进行图推理、图重投影处理，解决雾霾环境导致的图像模糊问题，相较于传统的道路车辆车牌识别方法，可以识别更多模糊的复杂场景，有效地应对了雾霾等恶劣天气。
29、2、本专利技术引入图推理模块消除雾霾对图像的污染，通过图数据结构将非局部均值滤波器的像素相似性简化为更紧凑的节点相似性，提高了计算效率。
30、3、本专利技术通过空间推理模块和通道推理模块建立并捕获具有相似结构的不同区域、不同维度的相互作用，消除了非均匀雾霾，很好地保留了图像的纹理和颜色，解决了雾霾天气下车牌识别中上下文信息利用有限的问题。
本文档来自技高网...【技术保护点】
1.一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤一中被处理的图像通过道路上的摄像头采集影像分帧处理得到。
3.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤1-1中得到车辆图像块的具体过程为：对多种交通场景现场先验知识进行聚合，转化为非线性不等式约束，构建多重先验知识神经网络模型；将被处理图像输入多重先验知识神经网络模型，获取车辆合理出现的区域，得到车辆图像块。
4.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤1-3中，将特征编码X投影至空间图和通道图的节点特征Vi的表达式为：
5.根据权利要求4所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤1-3中，不同节点特征交互得到的特征的表达式如下：
6.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤二的具体过程为：
7.根据权利要求1所述的一种雾
8.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：推理模型的训练过程为：利用骨干卷积神经网络提取车牌的卷积特征，之后利用注意力分类器的交叉熵损失训练空间转换器、骨干卷积神经网络和注意力分支，利用连接时序分类器训练联接时间分支，融合多种文本特征的表达，得到训练完成的车牌推理模型；对车牌推理模型进行裁剪优化；最终得到的车牌推理模型仅保留连接时序分类器对平直的车牌图像进行识别。
9.一种道路车辆车牌识别系统，其特征在于：如权利要求1所述的道路车辆车牌识别方法；该道路车辆车牌识别系统包括图像去雾模块、车牌检测模块和车牌识别模块；所述的图像去雾模块包括多重先验知识神经网络模型、编码器和解码器；编码器包括卷积层、二维图推理模块、池化层、残差连接层、标准化层、激活函数、多层卷积堆积层和全局池化层；所述的车牌检测模块用于在图像去雾模块处理后的图像中检测出车牌的位置，并框选出包含车牌号的图像块；车牌识别模块用于对车牌检测模块检测得到的图像块进行识别，获取车牌号文本信息。
...【技术特征摘要】
1.一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤一中被处理的图像通过道路上的摄像头采集影像分帧处理得到。
3.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤1-1中得到车辆图像块的具体过程为：对多种交通场景现场先验知识进行聚合，转化为非线性不等式约束，构建多重先验知识神经网络模型；将被处理图像输入多重先验知识神经网络模型，获取车辆合理出现的区域，得到车辆图像块。
4.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤1-3中，将特征编码x投影至空间图和通道图的节点特征vi的表达式为：
5.根据权利要求4所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤1-3中，不同节点特征交互得到的特征的表达式如下：
6.根据权利要求1所述的一种雾霾天气状况下的道路车辆车牌识别方法，其特征在于：步骤二的具体过程为：
7.根据权利要求1所述的一...
【专利技术属性】
技术研发人员：孙勇，
申请(专利权)人：浙江交通职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。