图像分类卷积神经网络结构的构建方法技术

一种图像分类卷积神经网络结构的构建方法，由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成。构建卷积神经网络结构的步骤为：获得训练样本图像和测试样本图像并对其进行预处理、设定卷积神经网络初始结构、引入激活函数、确定池化方法、确定滤波器、确定卷积层个数，得到图像分类卷积神经网络结构；卷积神经网络的训练和测试步骤为：用K‑Means聚类方法获得含有20个特征图的卷积层的滤波器，经前向传播和反向传播更新网络权值矩阵至最大训练次数，得到训练好的卷积神经网络，对测试样本图像进行测试，得到验证后的图像分类卷积神经网络结构，具有构建方法简单、有效等优点，适用于门牌号码、手写数字、邮政编码等图像分类。

Construction method of image classification convolution neural network structure

A method of constructing image classification convolution neural network consists of constructing convolutional neural network structure, training and testing steps of convolutional neural network. Construction of convolutional neural network comprises the following steps: acquire the training sample and test sample image and the image pre-processing, setting the initial structure, convolutional neural network is introduced to determine the activation function, pooling method, determine the filter, determine the number of image convolution layer, classified convolutional neural network structure; convolutional neural network training and the test method comprises the following steps: obtaining filter volume laminated contains 20 feature maps using K Means clustering method, the propagation and back propagation network update weight matrix to the maximum number of training, training the convolution neural network to the testing sample image, image classification of convolutional neural network structure after verification the construction, has the advantages of simple and effective method, suitable for numbers, handwriting recognition, image classification and post encoding.

【技术实现步骤摘要】
图像分类卷积神经网络结构的构建方法
本专利技术属于图像处理及模式识别
，具体涉及到适用于图像分类的卷积神经网络结构。
技术介绍
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。它通过模仿人脑的机制来解释数据，例如图像、声音和文本，其核心是通过构建具有多个隐层的机器学习模型和大量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。现有的LeNet-5、AlexNet、GoogLeNet、ResNet等代表性网络都是基于卷积神经网络结构。其中，LeNet-5由7层组成，其1、3、5层为卷积层，2、4层为池化层；AlexNet由8层组成，其前5层是卷积层，后3层是全连接层；GoogLeNet由22层组成，其中有21个卷积层，1个全连接层；ResNet由152层组成，其中有151个卷积层，最后一层为全连接层。这些网络模型都是在卷积神经网络模型的基础上，通过加深网络深度完成对网络模型的改进。此外，还有人提出将卷积神经网络学习算法与其它思想或方法相结合，如隐马尔科夫模型(HiddenMarkovModel,HMM)与CNN相结合的混合模型，快速PCA和CNN相结合的模型等。上述基于神经网络在图像分类方法中所存在的主要技术问题是网络结构设计过程中，关于滤波器个数和大小、池化方法、激活函数往往是依赖经验确定，不恰当的网络结构会极大地增加网络参数个数，导致网络计算复杂度增加。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术的缺点，提供一种结构简单、易实现、收敛速度快的图像分类卷积神经网络结构的构建方法。解决上述技术问题所采用的技术方案是由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，所述的构建卷积神经网络结构步骤如下：(1)获得训练样本图像和测试样本图像并对其进行预处理(a)从图像数据集中选取50400～73257张训练样本图像和6000～26032张测试样本图像；(b)对50400～73257张训练样本图像进行预处理包括图像灰度化、图像减均值步骤：图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：I＝W1×R+W2×G+W3×B(1)式中I为灰度化后的图像，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，W1为彩色图像的红色分量的权重，W2为彩色图像的绿色分量的权重，W3为彩色图像的蓝色分量的权重。图像减均值：用(2)式对已被灰度化的训练样本图像进行减均值处理：式中Z为减均值后的图像，vi为n个图像中的第i个图像的像素矩阵，n为50400～73257整数个图像。(c)对6000～26032张测试样本图像进行预处理测试样本图像的预处理与对训练样本进行预处理步骤(b)相同。(2)设定卷积神经网络初始结构设定卷积神经网络初始结构：输入层(1)是50400～73257张大小为28×28或32×32的训练样本图像，输入层(1)后连接含有20个特征图的卷积层(2)，含有20个特征图的卷积层(2)后连接含有20个特征图的池化层(3)，含有20个特征图的池化层(3)后连接含有64个特征图的卷积层(2)，含有64个特征图的卷积层(2)后连接含有64个特征图的池化层(3)，含有64个特征图的池化层(3)后连接含有500个特征图的卷积层(2)，含有500个特征图的卷积层(2)后连接全连接层(4)，全连接层(4)后连接输出层(5)。(3)引入激活函数在每个卷积层(2)后引入ReLu激活函数为：yi＝max{xi,0}(3)式中xi为与前一层输出相连的第i个权值矩阵与当前层输入的内积，即卷积结果，yi为第i个特征图的输出，20≤i≤500。(4)确定池化方法卷积神经网络中的池化层(3)选用最大池化方法或均值池化方法或随机池化方法进行池化。(5)确定滤波器在3×3～9×9方阵之间、以图像宽度28或32为步长，在20～500内进行网格搜索，得到滤波器，为卷积层(2)的权值矩阵，滤波器的大小在3×3～9×9方阵之间，个数在20～500之间。(6)确定卷积层(2)个数在含有20个特征图的池化层(3)后增加一层卷积层(2)，其滤波器大小和个数与含有20个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，在含有64个特征图的池化层(3)后增加或不增加一层卷积层(2)，若增加一层卷积层，其滤波器大小和个数与含有64个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，卷积层(2)个数为3～5层，选择使得卷积神经网络对所选测试样本图像6000～26032张分类效果最好时的卷积层(2)个数，得到图像分类卷积神经网络结构：o＝I*－m+1(4)式中I*为本层输入矩阵的长，m为滤波器的像素矩阵长，o为卷积层(2)特征图的像素矩阵长。上述的卷积神经网络的训练和测试步骤为：(1)用K-Means聚类方法获得含有20个特征图的卷积层(2)的权值矩阵(a)从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取图像块有限的正整数，m为3～9含有20个特征图的卷积层(2)的滤波器的像素矩阵长。(b)用式(5)对步骤(a)中所选取的N个图像块中的每一个图像块进行归一化处理：式中x*为m×m矩阵大小的图像块，μ为N个图像块的平均值，σ为N个图像块的标准差，x表示经过归一化后的结果。(c)以式(6)为目标函数，对上步得到的图像块进行10次K-Means聚类方法，取其中目标函数值最小的一次所得到的20个聚类中心，作为含有20个特征图的卷积层(2)的滤波器初始化值：式中k为20是聚类个数，s表示图像块的类别数，xj为第i类别中的图像块，为第i类的样本均值，i为1～20的整数。(2)将预处理后的50400～73257张训练样本图像输入图像分类卷积神经网络结构，经过前向传播和反向传播两个步骤反复循环更新网络的权值矩阵，直至达到30～70次数，训练过程结束，得到训练好的卷积神经网络。(3)将预处理后的6000～26032张测试样本图像输入到训练好的卷积神经网络进行测试，得到验证后的图像分类卷积神经网络结构。在本专利技术的构建卷积神经网络结构步骤的设定卷积神经网络初始结构步骤(2)中，本专利技术的输入层(1)的图像大小为28×28或32×32。在本专利技术的构建卷积神经网络结构步骤的确定池化方法步骤(4)中，卷积神经网络中的池化层(3)选用最大池化方法进行池化。在本专利技术的构建卷积神经网络结构步骤的确定滤波器步骤(5)中，滤波器的大小分别为9×9、5×5、4×4，以图像宽度32为步长，滤波器的个数分别为20、64、500，得到滤波器，为卷积层(2)的权值矩阵。在本专利技术的卷积神经网络的训练和测试步骤的用K-Means聚类方法获得含有20个特征图的卷积层(2)的权值矩阵步骤(1)中的(a)步骤为：从训练集中随机选取N个m×m矩阵大小的图像块，N为所选取的400000图像块，m为含有20个特征图的卷积层(2)的滤波器的像素矩阵长。本专利技术采用了引入激活函数、确定池化方法、确定滤波器以及确定卷积层个数的方法构建卷积神经网络结构，并采用了K-Means聚类方法获得含有20个特征图的卷积层的滤波器，改进了卷积神经网本文档来自技高网...

【技术保护点】
一种图像分类卷积神经网络结构的构建方法，由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，其特征在于所述的构建卷积神经网络结构步骤如下：(1)获得训练样本图像和测试样本图像并对其进行预处理(a)从图像数据集中选取50400～73257张训练样本图像和6000～26032张测试样本图像；(b)对50400～73257张训练样本图像进行预处理包括图像灰度化、图像减均值步骤：图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：I＝W1×R+W2×G+W3×B        (1)式中I为灰度化后的图像，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，W1为彩色图像的红色分量的权重，W2为彩色图像的绿色分量的权重，W3为彩色图像的蓝色分量的权重；图像减均值：用(2)式对已被灰度化的训练样本图像进行减均值处理：

【技术特征摘要】
1.一种图像分类卷积神经网络结构的构建方法，由构建卷积神经网络结构、卷积神经网络训练和测试步骤组成，其特征在于所述的构建卷积神经网络结构步骤如下：(1)获得训练样本图像和测试样本图像并对其进行预处理(a)从图像数据集中选取50400～73257张训练样本图像和6000～26032张测试样本图像；(b)对50400～73257张训练样本图像进行预处理包括图像灰度化、图像减均值步骤：图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：I＝W1×R+W2×G+W3×B(1)式中I为灰度化后的图像，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，W1为彩色图像的红色分量的权重，W2为彩色图像的绿色分量的权重，W3为彩色图像的蓝色分量的权重；图像减均值：用(2)式对已被灰度化的训练样本图像进行减均值处理：式中Z为减均值后的图像，vi为n个图像中的第i个图像的像素矩阵，n为50400～73257整数个图像；(c)对6000～26032张测试样本图像进行预处理测试样本图像的预处理与对训练样本进行预处理步骤(b)相同；(2)设定卷积神经网络初始结构设定卷积神经网络初始结构：输入层(1)是50400～73257张大小为28×28或32×32的训练样本图像，输入层(1)后连接含有20个特征图的卷积层(2)，含有20个特征图的卷积层(2)后连接含有20个特征图的池化层(3)，含有20个特征图的池化层(3)后连接含有64个特征图的卷积层(2)，含有64个特征图的卷积层(2)后连接含有64个特征图的池化层(3)，含有64个特征图的池化层(3)后连接含有500个特征图的卷积层(2)，含有500个特征图的卷积层(2)后连接全连接层(4)，全连接层(4)后连接输出层(5)；(3)引入激活函数在每个卷积层(2)后引入ReLu激活函数为：yi＝max{xi,0}(3)式中xi为与前一层输出相连的第i个权值矩阵与当前层输入的内积，即卷积结果，yi为第i个特征图的输出，20≤i≤500；(4)确定池化方法卷积神经网络中的池化层(3)选用最大池化方法或均值池化方法或随机池化方法进行池化；(5)确定滤波器在3×3～9×9方阵之间、以图像宽度28或32为步长，在20～500内进行网格搜索，得到滤波器，为卷积层(2)的权值矩阵，滤波器的大小在3×3～9×9方阵之间，个数在20～500之间；(6)确定卷积层(2)个数在含有20个特征图的池化层(3)后增加一层卷积层(2)，其滤波器大小和个数与含有20个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，在含有64个特征图的池化层(3)后增加或不增加一层卷积层(2)，若增加一层卷积层，其滤波器大小和个数与含有64个特征图的卷积层(2)的滤波器大小和个数相同，通过式(4)得到该卷积层(2)特征图的大小，卷积层(2)个...

【专利技术属性】
技术研发人员：马苗，刘琳，武杰，陈昱莅，裴炤，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西,61