一种基于多属性联合特征的交通标志识别方法技术

本发明专利技术涉及一种基于多属性联合特征的交通标志识别方法，首先对图像进行预处理，然后设计卷积神经网络结构，通过该CNN网络自动提取交通标志特征，为了充分利用CNN多层特征的有用信息，提取最后3层特征图，将提取出的每层特征图通过多尺度池化操作形成3个尺度的特征矩阵，将3个尺度的特征矩阵按列展开并级联成列向量；然后将得到的3个列向量级联成一个具有多尺度多属性的联合特征向量；最后将联合特征向量通过ELM分类器进行分类，从而高效地完成交通标志的识别分类。

A traffic sign recognition method based on multi attribute joint feature

The present invention relates to a traffic sign recognition method based on multi-attribute joint features. Firstly, the image is preprocessed, and then the convolution neural network is designed to automatically extract the traffic sign features. In order to make full use of the useful information of multi-layer features of CNN, the last three feature maps are extracted, and each of them is extracted. Layer feature maps form three-scale feature matrices by multi-scale pooling operation, expand the three-scale feature matrices in columns and cascade them into column vectors, then cascade the three column vectors into a joint feature vector with multi-scale and multi-attribute, and finally classify the joint feature vectors by ELM classifier. The identification and classification of traffic signs are completed efficiently.

【技术实现步骤摘要】
一种基于多属性联合特征的交通标志识别方法
本专利技术涉及一种基于多属性联合特征的交通标志识别方法，属于智能交通系统中交通标志识别领域。
技术介绍
近年来，交通标志识别被广泛运用到驾驶员辅助系统，无人驾驶智能汽车以及公路养护等方面，传统的交通标志识别方法难以满足高准确率和实时性的要求。基于深度学习的交通标志识别方法近两年成为研究热门，如卷积神经网络(CNN)已成功运用到交通标志识别系统中，但通常情况都是使用CNN的最后一层特征进行分类器训练，而这些特征可能并没有包含足够多的有用信息来实现交通标志的分类。因此如果能够充分利用多层网络提取的特征进行分类器训练，不仅可以提高识别的准确率，还能一定程度上减少训练时间和运算量。目前大多数的CNN研究都关注于提高分类精度，而忽略了学习速度，交通标志识别恰恰需要提高学习速度来保证实时性需求。同时研究表明，CNN的泛化能力有一定的局限性，而极限学习机(ELM)具有很好的泛化性能。ELM属于单隐层前馈神经网络，在保证学习的精度下，学习速度要比其他传统学习算法更快。
技术实现思路
本专利技术专利所要解决的技术问题是：针对
技术介绍
中存在的问题和不足，提供一种基于多属性联合特征的交通标志识别方法，能够准确的进行交通标志识别，提取出有效信息，为无人驾驶智能汽车，驾驶员辅助系统以及公路养护等方面提供技术支持。本专利技术提出的技术方案为：一种基于多属性联合特征的交通标志识别方法，包括如下步骤：步骤1、对交通标志图像进行预处理，将图像数据归一化；步骤2、设计卷积神经网络结构；步骤3、训练步骤2的卷积神经网络，并用该网络提取预处理后的交通标志图像特征；步骤4、提取卷积神经网络后三层的特征图，将提取出的后三层特征图通过多尺度池化操作形成三个尺度的特征矩阵，将三个尺度的特征矩阵按列展开并级联成列向量，然后将得到的三个列向量级联成一个具有多尺度多属性的联合特征向量；步骤5、设计ELM分类器模型；步骤6、将联合特征向量通过ELM分类器进行分类。对上述技术方案的进一步设计为：步骤2中卷积神经网络结构由8层组成，包括1个输入层，1个全连接层，3个卷积层和3个池化层，所述卷积层和池化层交叉排列。步骤3中训练卷积神经网络时的迭代次数设定为30。所述ELM分类器模型为：上述ELM分类器输入的带标签的特征向量表示为(fi,ti)，i＝1,2,...,N，N表示训练样本的个数；其中，fi＝[fi1,fi2,...,fin]T∈Rn表示第i个样本的联合特征向量，n为ELM模型输入神经元的个数；ti＝[ti1,ti2,...,tim]T∈Rm表示第i个样本的标签向量，m为ELM模型输出神经元的个数；j＝1,2,...,M，M表示隐藏层神经元个数，βj表示连接第j个隐藏节点和输出节点的权值；wij表示连接第i个样本和第j个隐藏节点的权值向量；bj表示第j个隐藏节点的偏置；oi表示第i个样本的输出向量；ti表示第i个样本的标签向量；g(·)表示激活函数。本专利技术的有益效果为：(1)本专利技术采用卷积神经网络进行特征提取和极限学习机进行分类，充分结合了卷积神经网络的多层特征提取的优势和极限学习机的泛化性能及学习速度快等优点，不仅能够提高交通标志的识别准确率，还能够保证交通标志识别的实时性需求。(2)本专利技术采用卷积神经网络提取多层交通标志特征图，多层特征包含更多的细节信息，具有更稳定的结构，充分利用多层特征的有用信息，能够有效提高交通标志的识别准确度。(3)本专利技术采用多尺度池化对提取的特征图进行采样，可以让卷积神经网络处理任意尺寸的输入，针对不同尺寸的输入都可以得到相同维度的输出，解决了传统的卷积神经网络中输入图像必须固定尺寸的问题；同时在卷积操作后对特征图进行多尺度池化操作能增强卷积神经网络提取特征的不变性，从而提高目标识别的准确性和鲁棒性。(4)本专利技术与现有交通标志识别技术相比，在预处理过程中，只需要简单的归一化处理，大大简化了前期繁琐的预处理流程。附图说明图1为本专利技术的识别方法的流程图。图2为CNN提取最后三层特征的结构示意图。图3为多尺度池化操作示意图。图4为ELM分类器模型示意图。具体实施方式下面结合附图对本专利技术的基于多属性联合特征的交通标志识别方法做进一步说明。如图1所示，本专利技术的交通标志识别方法，包括如下步骤：步骤1：数据库图像预处理；本实施例采用的交通标志图像主要来源于GTSRB数据集和智能相机拍摄的自然场景下的交通标志图像，共计5000张训练样本，1000张测试样本，包含43类交通标志。首先将图片大小统一调整为48×48像素，并进行归一化处理。训练样本需要携带标签，带标签的训练样本表示为(xi,ti)，i＝1,2,...,N，N表示训练样本的个数；xi表示第i个样本的特征向量，ti表示第i个样本的标签向量。步骤2：设计CNN网络结构；本专利设计的CNN网络结构由8层组成，包括1个输入层，1个全连接层，3个卷积层(C1，C3，C5)和3个池化层(P2，P4，P6)，卷积层和池化层交叉排列。输入层为像素值大小为48×48的交通标志图像样本，分RGB三个颜色维度输入。卷积层C1有100个大小为46×46的特征图，卷积核大小为3×3，卷积步幅为1；池化层P2有100个大小为23×23的特征图，池化的核大小为2×2，步幅为2；卷积层C3有150个大小为20×20的特征图，卷积核大小为4×4，步幅为1；池化层P4有150个大小为10×10的特征图，池化的核大小为2×2，步幅为2；卷积层C5有250个大小为8×8的特征图，卷积核大小为3×3，步幅为1；池化层P6有250个大小为4×4的特征图，池化的核大小为2×2，步幅为2。因为CNN网络只是用于特征提取而不是用于分类，所以最后的全连接层相当于一个普通的前向神经网络(SLFN)分类器，总共有43个神经元，代表43类不同的交通标志种类。本专利中每个神经元的激活函数使用双曲正切函数：f(x)＝tanh(x)＝(ex-e-x)/(ex+e-x)。步骤3：训练CNN网络，自动提取样本各层级的交通标志图像特征；本实施例使用在线梯度下降的方法训练步骤2设计好的CNN网络。训练迭代次数本实施例设定为30，过高的迭代次数会发生过拟合，过低的迭代次数会发生欠拟合。网络初始权值被初始化在[-0.01,0.01]区间内。步骤4：提取CNN网络后三层的特征图，使用多尺度池化操作联合形成一个多尺度多属性的联合特征向量；传统CNN通常使用网络最后一层特征进行识别分类，并不能完整的展现交通标志的细节特征，联合多层特征能够更全面更丰富的展现交通标志的多属性特征。首先，在前馈训练时提取后三层(P4，C5，P6)特征图；然后，使用多尺度池化操作形成3个特征矩阵，最后将3个特征矩阵按列展开并级联成具有多尺度多特征的列向量，CNN提取最后三层特征的结构示意图如图2所示。多尺度池化是采用多种采样尺寸和采样步长，无论提取的特征图的尺寸是多大，多尺度池化后输出的是3个不同尺度的特征矩阵，即1×1×a，2×2×a，3×3×a，其中a表示提取的特征图的数量，多尺度池化操作示意图如图3所示。本实施例中，P4层采用多尺度池化后得到3个大小为1×150，4×150，9×150的特征矩阵，依次级联，得到固定尺寸的14×150＝210本文档来自技高网...

【技术保护点】
1.一种基于多属性联合特征的交通标志识别方法，其特征在于，包括如下步骤：步骤1、对交通标志图像进行预处理；步骤2、设计卷积神经网络结构；步骤3、训练步骤2的卷积神经网络，并用该网络提取预处理后的交通标志图像特征；步骤4、提取卷积神经网络后三层的特征图，将提取出的后三层特征图通过多尺度池化操作形成三个尺度的特征矩阵，将三个尺度的特征矩阵按列展开并级联成列向量，然后将得到的三个列向量级联成一个具有多尺度多属性的联合特征向量；步骤5、设计ELM分类器模型；步骤6、将联合特征向量通过ELM分类器进行分类。

【技术特征摘要】
1.一种基于多属性联合特征的交通标志识别方法，其特征在于，包括如下步骤：步骤1、对交通标志图像进行预处理；步骤2、设计卷积神经网络结构；步骤3、训练步骤2的卷积神经网络，并用该网络提取预处理后的交通标志图像特征；步骤4、提取卷积神经网络后三层的特征图，将提取出的后三层特征图通过多尺度池化操作形成三个尺度的特征矩阵，将三个尺度的特征矩阵按列展开并级联成列向量，然后将得到的三个列向量级联成一个具有多尺度多属性的联合特征向量；步骤5、设计ELM分类器模型；步骤6、将联合特征向量通过ELM分类器进行分类。2.根据权利要求1所述基于多属性联合特征的交通标志识别方法，其特征在于：步骤2中卷积神经网络结构由8层组成，包括1个输入层，1个全连接层，3个卷积层和3个池化层，所述卷积层和池化层交叉...

【专利技术属性】
技术研发人员：孙伟，杜宏吉，张小瑞，赵玉舟，施顺顺，杨翠芳，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32