图像识别深度信念网络结构的构建方法技术

一种图像识别深度信念网络结构的构建方法，由图像预处理、确定图像识别深度信念网络结构、调整图像识别深度信念网络参数、对测试样本图像进行识别步骤组成。采用了受限玻尔兹曼机原理，将图像输入到受限玻尔兹曼机网络中，得到重构误差，确定一个隐含层节点数，增加隐含层层数，将训练样本图像分批输入到含有1～3层隐含层的网络结构中迭代至指定迭代次数，得到识别率，选择识别率最高时所对应的隐含层节点数，确定网络层数和各隐含层节点数，构建成图像识别深度信念网络结构。本发明专利技术与现有技术相比，具有方法简单、鲁棒性好等优点，图像识别率达98.62％，能有效地防止网络的过拟合现象，可用于手势、手写数字、门牌号码等图像识别。

Construction method of deep belief network structure for image recognition

A construction method of image recognition by a deep belief network structure, image preprocessing, image recognition to determine the depth of belief network structure and the adjustment of image recognition and deep belief network parameters, the test sample images recognition steps. The principle of RBM, input images to the RBM network, get the reconstruction error, to determine a number of hidden layer nodes, increase the hidden layer number, batch input to the training sample images containing 1 to 3 hidden layer network structure in the iteration to specify the number of iterations, get the recognition rate, select the corresponding to the highest recognition rate when the number of hidden layer nodes, determine the network number and the number of hidden layer nodes, to construct a belief network structure depth image recognition. Compared with the prior art, has the advantages of simple process, good robustness, the image recognition rate is up to 98.62%, can effectively prevent the network overfitting phenomenon can be used for gesture, handwritten digit number, image recognition etc..

【技术实现步骤摘要】
图像识别深度信念网络结构的构建方法
本专利技术属于图像处理及模式识别
，具体地涉及到对图像进行识别。
技术介绍
随着机器学习的不断完善和发展，深度学习算法越来越受到重视，其中深度信念网络是深度学习中的一种重要算法，目前已成为图像处理、语音分析、文档分类等领域的研究热点。深度信念网络利用级联的若干个受限玻尔兹曼机进行样本特征的自我学习，基于概率生成模型，建立数据与标签之间的联合分布，通过对比散度方法更新网络参数，是一类无监督学习与有监督微调相结合的学习网络。基于深度信念网络，研究人员在图像分类、语音识别、文档分类、视频检测等应用中取得了很多成果。细究这些应用，不难发现，合理有效的网络结构的构建是众多研究人员追求的目标，是影响深度学习算法性能的关键组成部分，因此，如何根据特定数据集的特点快速建立一个行之有效的网络结构具有重要意义，并得到研究人员的重视。然而，网络结构构建过程中还存在很多问题，例如：网络的深度(层数)确定没有可靠的理论基础，与求解问题的复杂程度相关；在网络深度相同的情况下，增加节点个数时识别率会提升，相应的网络复杂度也会提高，如何平衡两者之间的关系也是值思考的；此外，对于网络中参数的选择及网络的初始化方式目前还没有普遍适用的方法。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术的缺点，提供一种设计简单、识别精度高、速度快的图像识别深度信念网络结构的构建方法。解决上述技术问题所采用的技术方案是由下述步骤组成：(1)图像预处理从图像数据集中选取50400～60000张训练样本图像和6000～20000张测试样本图像进行灰度化和大小归一化至32×32或28×28。(2)确定图像识别深度信念网络结构1)确定第一个受限玻尔兹曼机隐含层节点数M设定受限玻尔兹曼机隐含层节点数为M，将训练样本图像分100批输入到受限玻尔兹曼机网络中，迭代至网络收敛，得到训练样本图像的重构误差，重构误差用(1)式确定：式中m为输入图像的像素点个数，n为每一批数据的图像个数，vi为每一批输入的图像矩阵，为经过隐含层hn后重构出的图像矩阵为输出层pf，θ为权值与偏置的集合，不断调整M的大小，根据不同M得到的重构误差和迭代所需时间，选择重构误差最小，所用时间最短的节点数M为第一个受限玻尔兹曼机隐含层hn节点数，构建成在输入层vm与输出层pf之间含有一个隐含层hn的网络结构。2)确定网络层数和各隐含层节点数在确定第一个隐含层hn节点数的基础上，在输入层vm与输出层pf之间增加1～3层隐含层hn，将训练样本图像分100批输入到含有1～3层隐含层hn的网络结构中迭代至指定迭代次数50～200次，得到识别率，选择使当前层中识别率达到最高所对应的隐含层hn节点数，确定网络层数和各隐含层hn节点数，构建成图像识别深度信念网络结构。(3)调整图像识别深度信念网络参数改变网络初始化方式：将训练样本图像输入到由步骤(1)所确定的输入层vm与输出层pf之间含有一个隐含层hn的网络中，迭代至网络收敛，得到输入层vm与隐含层hn之间的连接权重，用该连接权重去初始化图像识别深度信念网络结构中输入层vm与第一个隐含层hn之间的连接权重。确定图像识别深度信念网络学习率α：通过全局学习算法对图像识别深度信念网络的学习率进行调整，0.1≤α<1，间隔为0.1，选择迭代次数为50～200、识别率最高时所对应的α的值；在网络损失函数中加入正则项约束并调整正则项系数，在损失函数中加入正则项约束，得到图像识别深度信念网络的损失函数为(3)式，式中λ为正则项系数，根据图像识别深度信念网络识别率按照1×10-10～1、间隔10倍进行调整λ的值，选择识别率最高时所对应的λ值，式中m为输入图像像素点的个数，n为每一批数据的个数，vi为输入的图像矩阵，为经过一层隐含层hn后重构出的图像矩阵，Wij为各层间连接权值，θ为{W,b}，b为图像识别深度信念网络的偏置，得到图像识别深度信念网络结构及参数。(4)对测试样本图像进行识别将测试样本图像6000～20000张输入到上述构建成的图像识别深度信念网络中，得到各测试样本图像的识别结果，判断所构建的网络为图像识别深度信念网络结构。本专利技术步骤(2)中的迭代至网络收敛为：在连续50次训练样本图像的重构误差的变化范围小于0.001时为收敛。在本专利技术的步骤(3)中，在网络损失函数中加入正则项约束并调整正则项系数，在损失函数中加入正则项约束，得到图像识别深度信念网络的损失函数为(3)式，式中λ为正则项系数，根据图像识别深度信念网络识别率按照1×10-5进行调整λ的值，得到图像识别深度信念网络结构及参数。由于本专利技术采用了受限玻尔兹曼机原理，将图像输入到受限玻尔兹曼机网络中，迭代至网络收敛，得到训练样本图像的重构误差，根据重构误差确定一个隐含层节点数，增加隐含层层数，将训练样本图像分批输入到含有1～3层隐含层的网络结构中迭代至指定迭代次数，得到识别率，选择识别率最高时所对应的隐含层节点数，确定网络层数和各隐含层节点数，构建成图像识别深度信念网络结构。本专利技术与现有技术相比，具有方法简单、参数选择合理、鲁棒性好等优点，图像识别率达98.62％，能有效地防止网络的过拟合现象，可用于手势、手写数字、门牌号码等图像识别。附图说明图1是本专利技术的流程图。图2是实施例1的图像识别深度信念网络结构示意图。图3是实施例2的图像识别深度信念网络结构示意图。图4是实施例3的图像识别深度信念网络结构示意图。具体实施方式下面结合附图和实施例对本专利技术进进一步详细说明，但本专利技术不限于下述实施例。实施例1在图1中，本实施例的图像来自ASL数据集，选取其中50400张为训练样本图像，6000张为测试样本图像，图像识别深度信念网络结构的构建方法步骤如下：(1)图像预处理从图像数据集中选取训练样本图像50400张和测试样本图像6000张进行灰度化和大小归一化至32×32。灰度化为：用下式对50400张训练样本图像和6000张测试样本图像进行灰度化处理，将彩色图像转换为灰度图像：I＝Wr×R+Wg×G+Wb×B式中I为图像灰度化后的亮度，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重，Wb为彩色图像的蓝色分量的权重。大小归一化：将灰度化后的图像用双三次插值法归一化为32×32，像素总个数为1024，将图像转换为列向量。(2)确定图像识别深度信念网络结构1)确定第一个受限玻尔兹曼机隐含层节点数M设定受限玻尔兹曼机隐含层hn节点数为M，将训练样本图像分100批输入到受限玻尔兹曼机网络中，受限玻尔兹曼机隐含层hn由输入层vm、输出层pf、位于输入层vm与输出层pf之间的隐含层hn构成，迭代至网络收敛；迭代至网络收敛为：在连续50次训练样本图像的重构误差的变化范围小于0.001时为收敛。得到训练样本图像的重构误差，重构误差用(1)式确定：式中m为1024是输入图像像素点的个数，n为504是每一批数据的图像个数，vi为每一批输入的图像矩阵，为经过隐含层hn后重构出的图像矩阵为输出层pf，θ为权值与偏置的集合，不断调整M的大小，根据不同M得到的重构误差和迭代所需时间，选择重构最小为0.2130本文档来自技高网...

【技术保护点】
一种图像识别深度信念网络结构的构建方法，其特征在于由下述步骤组成：(1)图像预处理从图像数据集中选取50400～60000张训练样本图像和6000～20000张测试样本图像进行灰度化和大小归一化至32×32或28×28；(2)确定图像识别深度信念网络结构1)确定第一个受限玻尔兹曼机隐含层节点数M设定受限玻尔兹曼机隐含层节点数为M，将训练样本图像分100批输入到受限玻尔兹曼机网络中，迭代至网络收敛，得到训练样本图像的重构误差，重构误差用(1)式确定：

【技术特征摘要】
1.一种图像识别深度信念网络结构的构建方法，其特征在于由下述步骤组成：(1)图像预处理从图像数据集中选取50400～60000张训练样本图像和6000～20000张测试样本图像进行灰度化和大小归一化至32×32或28×28；(2)确定图像识别深度信念网络结构1)确定第一个受限玻尔兹曼机隐含层节点数M设定受限玻尔兹曼机隐含层节点数为M，将训练样本图像分100批输入到受限玻尔兹曼机网络中，迭代至网络收敛，得到训练样本图像的重构误差，重构误差用(1)式确定：式中m为输入图像的像素点个数，n为每一批数据的图像个数，vi为每一批输入的图像矩阵，为经过隐含层(hn)后重构出的图像矩阵为输出层(pf)，θ为权值与偏置的集合，不断调整M的大小，根据不同M得到的重构误差和迭代所需时间，选择重构误差最小，所用时间最短的节点数M为第一个受限玻尔兹曼机隐含层(hn)节点数，构建成在输入层(vm)与输出层(pf)之间含有一个隐含层(hn)的网络结构；2)确定网络层数和各隐含层节点数在确定第一个隐含层(hn)节点数的基础上，在输入层(vm)与输出层(pf)之间增加1～3层隐含层(hn)，将训练样本图像分100批输入到含有1～3层隐含层(hn)的网络结构中迭代至指定迭代次数50～200次，得到识别率，选择使当前层中识别率达到最高所对应的隐含层(hn)节点数，确定网络层数和各隐含层(hn)节点数，构建成图像识别深度信念网络结构；(3)调整图像识别深度信念网络参数改变网络初始化方式：将训练样本图像输入到由步骤(1)所确定的输入层(vm)与输出层(pf)之间含有一个隐含层(hn)的网络中，迭代至网络收敛，得到输入层(vm)与隐含层(hn)之间的连接权重，用该连接权重去初始化图像识别深度信念网络结构中输入层(vm)与第一个隐含层(hn)之间的连接权重；确定图像识别深度信念网络学习率α：通过全局学习算法对图像识别深度信念网络的学习率进行调整，0.1≤α...

【专利技术属性】
技术研发人员：马苗，许西丹，武杰，郭敏，吴琦，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西,61