一种基于双层卷积神经网络的重建车牌的方法技术

本发明专利技术提出一种基于双层卷积神经网络的重建车牌的方法，对清晰车牌图像基于随机模糊核做模糊处理，生成对应模糊车牌图像；从模糊车牌图像中截取固定尺寸的模糊图像块输入到预先设计好的去模糊卷积神经网络中，得到去模糊图像特征层；将同一块模糊车牌图像块输入到预先设计好的图像增强卷积神经网络中，得到图像增强掩码集；将去模糊图像特征层和图像增强掩码集合并成双层聚合特征集，训练模型获得重建卷积参数；将实际场景中的模糊车牌图像输入到双层卷积神经网络中与重建卷积参数卷积计算，得到重建后的车牌图像。本发明专利技术能够改善模糊退化图像的质量，同时提高图像对比度，提高图像的清晰度，增强图像的边缘和纹理细节信息。

A method of reconstructing license plate based on double convolution neural network

The present invention proposes a method for reconstructing a license plate based on a double-layer convolution neural network, which obscures a clear license plate image based on a random fuzzy kernel and generates a corresponding fuzzy license plate image. De-blurred image feature layer; input the same blurred license plate image block into the pre-designed image enhancement convolution neural network to obtain the image enhancement mask set; combine the de-blurred image feature layer and image enhancement mask set into a two-layer aggregation feature set, and train the model to obtain the reconstruction convolution parameters; and obtain the actual scene in the image enhancement convolution. The blurred license plate image is input into the double-layer convolution neural network and convolution calculation of the reconstructed convolution parameters, and the reconstructed license plate image is obtained. The invention can improve the quality of blurred and degraded images, improve the contrast of images, improve the definition of images, and enhance the edge and texture details of images.

【技术实现步骤摘要】
一种基于双层卷积神经网络的重建车牌的方法
本专利技术属于图像处理
，具体涉及一种基于双层卷积神经网络的重建车牌的方法。
技术介绍
随着智能化和自动化管理的不但发展，人们越来越重视，其中车牌的自动识别是其中一项重要的基本功能。实际场景下车牌检测识别系统需要面对诸多特殊环境，例如，下雨，下雪和雾霾等。这些实际场景下的光线不足导致所需要检测和识别的车牌不够清晰，模糊一片的情况。相机失焦或晃动导致拍摄得到的车牌图像字符模糊不清的问题。所以重建模糊的车牌图像，复原真实信息越来越受到技术人员的重视。现有技术中的图像去模糊方法有较多种。比如Wiener滤波算法和ConstraintLeastSquare算法，虽然计算速度很快，但是去模糊结果图像会受到噪声的较大干扰。目前常用的RL算法和TotalVariation算法虽然能够获得比较好的图像去模糊结果，但是由于需要循环迭代处理，算法计算复杂度高，计算速度慢。现有图像复原的方法会导致重建后的图像存在振铃现象和过曝光斑问题。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于双层卷积神经网络的重建车牌的方法,通过学习模糊图像中的图像全局特征信息和局部特征信息，有效处理图像对比度低的模糊场景图像，同时运行速度快，适应性更强。本专利技术可处理对比度低同时存在模糊现象的车牌图像，有效降低车牌识别中应用场景多样导致的识别错误率。为了解决上述技术问题，本专利技术提供一种基于双层卷积神经网络的重建车牌的方法，包括以下步骤：S1:读取清晰的车牌图像，对固定数目的清晰车牌图像基于随机模糊核做模糊处理，生成对应模糊车牌图像；S2:从模糊车牌图像中截取固定尺寸的模糊图像块输入到预先设计好的去模糊卷积神经网络中，得到去模糊图像特征层；S3:将同一块模糊车牌图像块输入到预先设计好的图像增强卷积神经网络中，得到图像增强掩码集；S4:将去模糊图像特征层和图像增强掩码集合并成双层聚合特征集，训练模型获得重建卷积参数；S5:将实际场景中的模糊车牌图像输入到双层卷积神经网络中与重建卷积参数卷积计算，得到重建后的车牌图像。作为一种优选方法，所述的S1步骤对固定数目的清晰的车牌图像基于随机模糊核做模糊处理，其中固定数目是100-2000张车牌图像。作为一种优选方法，所述S1步骤生成对应的模糊车牌图像块作为训练样本，同时保留对应位置上的原始清晰图像块作为标准对比图，具体训练步骤包括：选取车牌字符清晰的车牌图像样本集；将清晰车牌样本图像集中的图像进行模糊处理；随机选取1至8之间的数值，作为高斯模糊核大小，对清晰车牌样本图像集中所有车牌图像做高斯模糊；随机选取1至8之间的数值做运动模糊核长度的大小，随机选取0至360度之间的数值做运动模糊核角度的大小，对高斯模糊后的车牌样本图像集中所有车牌图像做运动模糊，得到与清晰车牌图像集对应的模糊车牌图像集；截取45x45大小的模糊图像块作为训练样本，以相同中心点位置的33x33大小的原始清晰图像块做标准对比图。作为一种优选方法，所述的S2和S3步骤提到的去模糊卷积神经网络和图像增强卷积神经网络构成双层卷积神经网络，两个卷积神经网络模块共有同一个输入层；构建图像去模糊卷积神经网络，卷积神经网络设置为3层结构，包括1个输入层，2个卷积层；构建图像增强卷积神经网络，卷积神经网络设置为9层结构，包括1个输入层，5个卷积层，3个全连接层；初始化后，采用随机梯度下降法对构建的卷积神经网络进行迭代训练，每迭代一次计算一次损失函数的值，以获得卷积神经网络结构中各权重值W和偏置值最优解，迭代多次后得到本次最优的训练卷积神经网络；所述的训练双层卷积神经网络包括以下步骤：从模糊图像集中抽取128张图像，按图像宽高截取45*45尺寸的图像块组成小样本集，输入到初始图像增强卷积神经网络中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张模糊车牌图像块对应的图像增强掩码特征集；将输入到图像增强卷积神经网络的同一块模糊图像块输入到初始去模糊卷积神经网络模块中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张模糊车牌图像块对应的最后一层卷积层，即去模糊图像特征层；合并图像增强卷积神经网络的输出图像增强掩码特征集与图像去模糊卷积神经网络的去模糊图像特征层成双层聚合特征集。将双层聚合特征集与卷积核卷积计算得到最后的预测图像块。将预测图像块与标准对比图对比，确定所述初始双层卷积神经网络的最后一层的损失值。将初始双层卷积神经网络最后一层的损失值进行反向传播，更新每一层的权重值W和偏置值b。重复从模糊样本图像集中抽取另外的128张图像，截取固定尺寸大小的模糊图像块，输入到更新权重值W和偏置值b后的卷积神经网络中，进行前行传播，获得该样本图像块对应的预测图像块与标准对比图之间的像素值之差，直到该小样本图像集预测的重建后车牌图像块与对应的标准对比图具有相同的拟合结果，获得训练后的双层卷积神经网络。作为一种优选方法，所述的通过图像增强卷积神经网络获得小样本图像集每一张模糊车牌图像块对应的图像增强掩码特征集，包括：1个45x45尺寸的图像块做为数据的输入层，接着连接3层卷积层，第三层卷积层第三层卷积层经过relu处理，同时输入到第二部分第一层的全连接层和第二部分第一层的卷积层。第二部分第一层的全连接层再连接2层全连接层，构建3层全连接层，输出64层1x1的数据输出层。第二部分第一层的卷积层再连接一层卷积层，输出64层33x33的数据输出层，将64层1x1的数据输出层作为卷积核与64层33x33的数据输出层卷积计算，合并两层数据，得到64层33x33的图像增强掩码特征集。作为一种优选方法，所述的通过去模糊卷积神经网络模块获得小样本图像集每一张模糊车牌图像块对应的去模糊图像特征层，包括：1个45x45尺寸的图像块作为数据的输入层，接着连接3层卷积层，第三层卷积层为1维33x33的数据输出层，作为去模糊图像特征层。作为一种优选方法，所述的将预测图像块与标准对比图对比，确定所述初始双层卷积神经网络的最后一层的损失值，包括：将预测图像块与对应的标准对比图相同位置上的像素一一相减，差值按图像尺寸大小累加起来，得到图像双层卷积神经网络最后一层图像特征层的损失值；图像增强卷积神经网络输出的图像增强掩码特征集是64层的，模糊卷积神经网络输出的去模糊图像特征层是1层的，将模糊卷积神经网络模块输出的去模糊图像特征层作为新的一层，组成65层的双层聚合特征集；作为一种优选方法，所述的将双层聚合特征集与卷积核卷积计算得到最后的预测图像块，包括：将65层33x33的双层聚合特征集与一个65层的1维的1x1大小的卷积核卷积，并将65层数据对应累加，输出最后一层的33x33大小的预测图像块；本专利技术与现有技术相比有益效果：本专利技术不被实际场景下光照不均所影响，能有效提高模糊与光照不均杂糅的复杂现实场景下的车牌识别率。模型简单，通过使用卷积神经网络直接从模糊车牌图像中提取模糊图像特征信息，自我学习与纠正，避免了大量的预处理工作。卷积神经网络可以一次训练，多次使用，能适应实际场景下复杂的外界环境变化，能够胜任需要实时车牌识别的场景。本专利技术双层卷积神经网络能提高图像特征利用率，不仅保存图像局部细节特征信息，而且从本文档来自技高网...

【技术保护点】
1.一种基于双层卷积神经网络的重建车牌的方法，其特征在于，包括以下步骤：S1:读取清晰的车牌图像，对固定数目的清晰车牌图像基于随机模糊核做模糊处理，生成对应模糊车牌图像；S2:从模糊车牌图像中截取固定尺寸的模糊图像块输入到预先设计好的去模糊卷积神经网络中，得到去模糊图像特征层；S3:将同一块模糊车牌图像块输入到预先设计好的图像增强卷积神经网络中，得到图像增强掩码集；S4:将去模糊图像特征层和图像增强掩码集合并成双层聚合特征集，训练模型获得重建卷积参数；S5:将实际场景中的模糊车牌图像输入到双层卷积神经网络中与重建卷积参数卷积计算，得到重建后的车牌图像。

【技术特征摘要】
1.一种基于双层卷积神经网络的重建车牌的方法，其特征在于，包括以下步骤：S1:读取清晰的车牌图像，对固定数目的清晰车牌图像基于随机模糊核做模糊处理，生成对应模糊车牌图像；S2:从模糊车牌图像中截取固定尺寸的模糊图像块输入到预先设计好的去模糊卷积神经网络中，得到去模糊图像特征层；S3:将同一块模糊车牌图像块输入到预先设计好的图像增强卷积神经网络中，得到图像增强掩码集；S4:将去模糊图像特征层和图像增强掩码集合并成双层聚合特征集，训练模型获得重建卷积参数；S5:将实际场景中的模糊车牌图像输入到双层卷积神经网络中与重建卷积参数卷积计算，得到重建后的车牌图像。2.如权利要求1所述的一种基于双层卷积神经网络的重建车牌的方法，其特征在于，所述的S1步骤对固定数目的清晰的车牌图像基于随机模糊核做模糊处理，其中固定数目是100-2000张车牌图像。3.如权利要求1所述的一种基于双层卷积神经网络的重建车牌的方法，其特征在于，所述S1步骤生成对应的模糊车牌图像块作为训练样本，同时保留对应位置上的原始清晰图像块作为标准对比图，具体训练步骤包括：选取车牌字符清晰的车牌图像样本集；将清晰车牌样本图像集中的图像进行模糊处理；随机选取1至8之间的数值，作为高斯模糊核大小，对清晰车牌样本图像集中所有车牌图像做高斯模糊；随机选取1至8之间的数值做运动模糊核长度的大小，随机选取0至360度之间的数值做运动模糊核角度的大小，对高斯模糊后的车牌样本图像集中所有车牌图像做运动模糊，得到与清晰车牌图像集对应的模糊车牌图像集；截取45x45大小的模糊图像块作为训练样本，以相同中心点位置的33x33大小的原始清晰图像块做标准对比图。4.如权利要求1所述的一种基于双层卷积神经网络的重建车牌的方法，其特征在于，所述的S2和S3步骤提到的去模糊卷积神经网络和图像增强卷积神经网络构成双层卷积神经网络，两个卷积神经网络模块共有同一个输入层；构建图像去模糊卷积神经网络模块，卷积神经网络设置为3层结构，包括1个输入层，2个卷积层；构建图像增强卷积神经网络模块，卷积神经网络设置为9层结构，包括1个输入层，5个卷积层，3个全连接层；初始化后，采用随机梯度下降法对构建的卷积神经网络进行迭代训练，每迭代一次计算一次损失函数的值，以获得最优卷积神经网络结构中各权重值W和偏置值b，迭代多次后得到本次训练最优卷积神经网络；所述的训练双层卷积神经网络包括以下步骤：从模糊图像集中抽取128张图像，按图像宽高截取45*45尺寸的图像块组成小样本集，输入到初始图像增强卷积神经网络中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张模糊车牌图像块对应的图像增强掩码特征集；将输入到图像增强卷积神经网络模块的同一块模糊图像块输入到初始去模糊卷积神经网络模块中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张模糊车牌...

【专利技术属性】
技术研发人员：庞星，
申请(专利权)人：杭州雄迈集成电路技术有限公司，
类型：发明
国别省市：浙江,33