基于YOLOV3和非对称卷积的小尺寸交通标志识别方法技术

本发明专利技术涉及一种基于YOLOV3和非对称卷积的小尺寸交通标志识别方法，包括下列步骤：准备包含不同种类交通标志的数据集并进行数据增强；搭建网络并训练：搭建加入了非对称卷积模块和空间池化金字塔模块的YOLOV3改进网络；将改进网络的参数保存为模型，该模型为未融合非对称卷积模块的模型；融合模型中的非对称卷积模块：读取未融合非对称卷积模块的模型中保存的参数，通过计算将模块中非对称卷积模块三个并行的3×3、3×1和1×3卷积核融合为一个3×3的卷积核；第四步，检测与识别交通标志。

Small size traffic sign recognition method based on yolov3 and asymmetric convolution

【技术实现步骤摘要】
基于YOLOV3和非对称卷积的小尺寸交通标志识别方法
本专利技术涉及智能驾驶
，特别涉及交通标志检测与识别领域。
技术介绍
随着经济的不断发展，汽车的出现大大增加了我们出行的便利性，但与此同时也带来了交通事故频发的问题。引起交通事故发生的主要原因有：违章驾驶、疲劳驾驶、道路建设不达标等。为了增加安全性，减少交通事故的发生，人们做了很多努力。早期的汽车安全倾向于车辆碰撞后对车内人员的保护，而现在的汽车更倾向于预防事故的发生，因此高级辅助驾驶系统(AdvancedDriverAssistanceSystems，ADAS)逐渐发展起来，其中交通标志的检测与识别是ADAS中的一项十分重要的内容。交通标志传递了引导、限制、警示或者指示信息，在预示道路状况、减少交通事故方面起到了十分重要的作用。ADAS越早检测并识别出交通标志，就能越早做出相应的反应，从而减少事故的发生，因此实时且准确地识别交通标志成为了ADAS的重要目标之一。为了解决交通标志检测与识别的问题，国内外学者对此进行了很多研究，现有的解决方案主要可分为三类：基于形状和颜色特征的传统交通标志检测与识别技术、基于机器学习方法的交通标志检测与识别技术和基于卷积神经网络的交通标志检测与识别技术。(CN201810034487.3)将交通标志的几何特征与视觉注意机制结合，进行交通标志检测，能够准确、高效地提取交通标志图像。(CN201810040243.6)根据交通标志的颜色特征，利用SVM分类器得到交通标志的真实感兴趣区域，再将真实感兴趣区域放入卷积神经网络中进行分类，该方法能对交通标志进行快速准确的识别和分类。(CN201910552184.5)采用了一种基于深度学习的实时交通标志检测方法，降低了对硬件设备的要求，并有效提升了实时性。在现有方法中还存在以下问题：基于传统的方法和基于机器学习的方法鲁棒性较差，在实际中难以应用；基于深度学习方法鲁棒性较好，但其精度与速度难以平衡，精度高的方法复杂且计算量庞大，而计算速度快的方法精度低。在现有公开数据集GTSDB和GTSRB中，交通标志只分为四大类，显然不能满足实际智能驾驶中的需求；其次交通标志在每张图像中占比较大，对于检测高分辨率图像下小尺寸交通标志的问题来说，该数据集并不适用。针对以上问题，本专利考虑采用精度与速度相对较高的目标检测网络YOLOV3进行改进，并使用以小尺寸交通标志为主的数据集TT100k，以提高对高分辨率图像下小尺寸交通标志的检测与识别精度。
技术实现思路
本专利技术提供一种高分辨率图像下小尺寸交通标志的检测与识别方法。本方法基于目标检测网络YOLOV3进行了改进，实现了高分辨率图像下对小尺寸交通标志的检测与识别功能，并且在网络中加入了非对称卷积模块使得网络在预测参数量不增加的情况下，提高了算法的检测与识别精度。技术方案如下：一种基于YOLOV3和非对称卷积的小尺寸交通标志识别方法，包括下列步骤：第一步，准备包含不同种类交通标志的数据集并进行数据增强；第二步，搭建网络并训练搭建加入了非对称卷积模块和空间池化金字塔模块的YOLOV3改进网络，其中，非对称卷积模块利用三个并行的分别为3×3、3×1和1×3卷积核替换原始YOLOV3网络中3×3的卷积核；空间池化金字塔模块使用三种不同的池化核对特征图分别池化，将得到的三个池化后的特征图与原始输入进行通道合并；YOLOV3改进网络搭建完成后，对改进网络中的可训练参数进行初始化，将第一步经过数据增强后的数据集分批次输入到所搭建的改进网络中，根据改进网络预测值与训练集的真实标签值构建损失函数并计算损失，使用AdaBound优化算法进行反向传播更新改进网络的参数，直至损失不再减小，此时将改进网络的参数保存为模型，该模型为未融合非对称卷积模块的模型。第三步，融合模型中的非对称卷积模块读取未融合非对称卷积模块的模型中保存的参数，通过计算将模块中非对称卷积模块三个并行的3×3、3×1和1×3卷积核融合为一个3×3的卷积核，计算方式如下：输入图像I通过三个并行的卷积及BN层之后相加的计算公式为式中I表示输入图像，K表示3×3的卷积核，μ表示该3×3卷积核之后的BN层的平均值，σ表示标准差，γ表示缩放系数，β表示偏移量；表示1×3的卷积核，表示该卷积核之后的BN层的平均值，表示标准差，表示缩放系数，表示偏移量，表示3×1的卷积核，表示该卷积核之后的BN层的平均值，表示为标准差，表示缩放系数，表示偏移量，上式等价于：即融合后的卷积核大小为偏置值为将所有的非对称卷积模块根据该公式融合之后，把所得的模型保存为最终模型；第四步，检测与识别交通标志加载最终模型，将摄像头拍摄的高分辨率的含有交通标志的图像输入最终模型中，进行交通标志的检测与识别。与原始的YOLOV3网络相比，本专利技术的改进之处在于：1、采用了空间池化金字塔模块，该模块中含有三个并行的池化层，在通道合并时该模块将不同尺度的特征图进行了融合，增强了YOLOV3对不同尺度目标的检测能力，但是该过程并不会增加网络的可训练参数。2、在现有的网络中，训练过程和测试过程中网络的参数量是相同的，如果增加训练过程中网络的参数量，则网络的学习能力变得更强，训练的效果可能变得更好，这样训练得到的模型在测试时，参数量也会变大，测试过程也会相应变慢。而本专利采用了非对称卷积模块，在训练过程中增加了可训练参数，可提升模型的性能，而在测试时可以将非对称卷积模块融合，从而使测试的参数量不增加。3、采用了AdaBound优化算法，该优化算法结合了Adam与SGD的优点，能够让损失函数快速准确地收敛。附图说明图1裁剪后数据集中的部分图像，左图和右图分别为两个剪裁后的图像图2基于改进YOLOV3和非对称卷积的网络整体结构图图3非对称卷积模块结构图图4空间池化金字塔模块结构图图5使用改进网络的识别结果，左图和右图分别为两个识别结果图具体实施方式为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术做进一步阐述。第一步，准备数据集并进行数据增强(1)准备目标检测网络所需图像和标签数据。采用TT100k(Tsinghua-Tencent100K)公开数据集，使用其中的训练集和测试集进行操作，其中训练集共6103张图像，测试集共3067张图像，训练集和测试集的图像分辨率均为2048×2048。由于数据集中有些交通标志出现频次较少，网络在训练过程中难以学习到这些交通标志的特征，因此本专利使用在整个数据集中出现频次超过100次的交通标志，此类标志共45类。该数据集的标签值为json格式，为了能够在本专利所用网络中使用该数据集，需要将数据集的标签数据转换成VOC格式。经过前期实验发现，若将2048×2048的图像直接送入网络进行训练，会导致训练过程中的参数量过多而无法进行训练，若将输入图像resize变小后送入网络进行训练会本文档来自技高网...

【技术保护点】
1.一种基于YOLOV3和非对称卷积的小尺寸交通标志识别方法，包括下列步骤：/n第一步，准备包含不同种类交通标志的数据集并进行数据增强；/n第二步，搭建网络并训练/n搭建加入了非对称卷积模块和空间池化金字塔模块的YOLOV3改进网络，其中，非对称卷积模块利用三个并行的分别为3×3、3×1和1×3卷积核替换原始YOLOV3网络中3×3的卷积核；空间池化金字塔模块使用三种不同的池化核对特征图分别池化，将得到的三个池化后的特征图与原始输入进行通道合并；/nYOLOV3改进网络搭建完成后，对改进网络中的可训练参数进行初始化，将第一步经过数据增强后的数据集分批次输入到所搭建的改进网络中，根据改进网络预测值与训练集的真实标签值构建损失函数并计算损失，使用AdaBound优化算法进行反向传播更新改进网络的参数，直至损失不再减小，此时将改进网络的参数保存为模型，该模型为未融合非对称卷积模块的模型。/n第三步，融合模型中的非对称卷积模块/n读取未融合非对称卷积模块的模型中保存的参数，通过计算将模块中非对称卷积模块三个并行的3×3、3×1和1×3卷积核融合为一个3×3的卷积核，计算方式如下：/n输入图像I通过三个并行的卷积及BN层之后相加的计算公式为/n...

【技术特征摘要】
1.一种基于YOLOV3和非对称卷积的小尺寸交通标志识别方法，包括下列步骤：
第一步，准备包含不同种类交通标志的数据集并进行数据增强；
第二步，搭建网络并训练
搭建加入了非对称卷积模块和空间池化金字塔模块的YOLOV3改进网络，其中，非对称卷积模块利用三个并行的分别为3×3、3×1和1×3卷积核替换原始YOLOV3网络中3×3的卷积核；空间池化金字塔模块使用三种不同的池化核对特征图分别池化，将得到的三个池化后的特征图与原始输入进行通道合并；
YOLOV3改进网络搭建完成后，对改进网络中的可训练参数进行初始化，将第一步经过数据增强后的数据集分批次输入到所搭建的改进网络中，根据改进网络预测值与训练集的真实标签值构建损失函数并计算损失，使用AdaBound优化算法进行反向传播更新改进网络的参数，直至损失不再减小，此时将改进网络的参数保存为模型，该模型为未融合非对称卷积模块的模型。
第三步，融合模型中的非对称卷积模块<...

【专利技术属性】
技术研发人员：吕卫，吴思翰，褚晶辉，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12