一种深度卷积神经网络模型构建方法技术

一种深度卷积神经网络模型构建方法，属于模式识别与机器学习领域。其特征在于：包括以下步骤，1)、卷积神经网络模型初始化；2)、对网络进行端到端的全局扩展学习，直到卷积神经网络系统平均误差达到预设期望值；3)、全局扩展后，采用交叉验证样本对网络性能进行评估，若识别率未达到期望值，则对网络展开局部扩展学习；4)、增加新的增量式端到端扩展学习支路，实现网络结构的增量扩展学习，最终实现深度卷积神经网络的模型构建。本发明专利技术可根据参与训练样本的情况按需添加神经元，实现网络结构的扩充式扩展和增量式扩展，增强了数据样本和网络模型之间的关联性，实现了网络结构自适应增量学习。

【技术实现步骤摘要】
一种深度卷积神经网络模型构建方法
一种深度卷积神经网络模型构建方法，属于模式识别与机器学习领域。
技术介绍
卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的，另一方面同一层中某些神经元之间的连接的权重是共享的(即相同的)。它的非全连接和权值共享的网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。卷积神经网络又是一种为识别二维图像而特殊设计的多层感知器，具有良好的容错能力、并行处理能力和自学习能力，可处理环境信息复杂、推理规则不明确等复杂情况下的模式识别问题。当前针对卷积神经网络的研究主要集中在两大方面：(1)卷积神经网络的应用方法研究；(2)卷积神经网络的理论方法研究。关于卷积神经网络的应用方法研究：2012年，Hinton等人使用并行化手段实现了更深层次的卷积神经网络，在ImageNet竞赛上取得了前所未有的成功，实现了卷积神经网络对自然图像的识别，增强了卷积神经网络研究者的信心。此后，基于7层深度卷积神经网络实现了文档图像识别；基于卷积神经网络实现了无参考图像质量评价、人脸识别、表情识别等等。关于卷积神经网络的模型构建理论研究：2013年，Sun(YSun,XWang,XTang.Hybriddeeplearningforfaceverification.Proc.ofIEEEInternationalConferenceonComputerVision,2013:1489-1496.)等融合卷积神经网络和受限玻尔兹曼机提出一种混合深度学习策略，在复杂非受控条件下的人脸识别中作用明显。Zou(JZou，QWu，YTan，FWuAnalysisRangeofCoefficientsinLearningRateMethodsofConvolutionNeuralNetwork,InternationalSymposiumonDistributedComputing&ApplicationsforBusinessEngineering&Science2015:513-517.)等则针对卷积神经网络中的学习率取值范围开展了研究和分析，在最优取值下，获得了更小的错误率和更好的训练速度。但目前，现有技术中的传统卷积神经网络结构存在过度依赖人为经验、网络深度和特征图个数难以确定、训练难度大等缺点，数据样本和网络模型之间的关联性较弱。
技术实现思路
本专利技术所要解决的技术问题是：克服现有技术的不足，提供一种增强数据样本和网络模型之间关联性，降低对人为经验的依赖性，训练难度小的深度卷积神经网络模型构建方法。本专利技术解决其技术问题所采用的技术方案是：该深度卷积神经网络模型构建方法，其特征在于：包括以下步骤，1)、卷积神经网络模型初始化，初始网络模型只设置一条支路，该支路上包含输入层、卷积层、池化层和全连接层，且每层仅包含一幅特征图；2)、以卷积神经网络的收敛速度为评价指标，对网络进行端到端的全局扩展学习，直到卷积神经网络系统平均误差达到预设期望值，则全局网络扩展结束；3)、全局扩展后，采用交叉验证样本对网络性能进行评估，采用交叉验证样本测试所得网络的识别率，若识别率未达到期望值，则对网络展开局部扩展学习，直到交叉验证样本的识别率达到预设期望值后，停止局部网络学习；4)、保留扩充式扩展学习训练得到的网络训练结果，针对新追加的训练样本，增加新的增量式端到端扩展学习支路，实现网络结构的增量扩展学习，以系统平均误差达到期望值为训练结束的标志，最终实现深度卷积神经网络的模型构建。改变传统深度卷积神经网络模型的构建思路，采用初始化网络模型，扩充式扩展网络模型及增量式扩展网络模型三大步，逐步显现深度卷积神经网络的模型的构建。其中，可根据参与训练样本的情况按需添加神经元，实现网络结构的扩充式扩展和增量式扩展，直到获取最优分类结果或满足预设条件。本专利技术的构建方法的构建思想能够克服传统卷积神经网络网络结构过度依赖人为经验、网络深度和特征图个数难以确定、训练难度大等缺点，实现了网络模型与样本数据的直接关联。增强了数据样本和网络模型之间的关联性，实现了网络结构的自适应增量学习，在网络训练时间和识别效果上展现出较好的优越性。全局扩展后，网络模型并未达到最优的识别性能。当不同批次交叉验证样本的识别率趋于某一个稳定值，且此稳定值为非理想状态时，需要构建形成新的局部支路，实现网络结构的局部扩展学习，用于提高网络识别精度。卷积神经网络模型的增量式扩展是针对新追加的训练样本，在保留已有训练结果的基础上，通过拓展新的端到端全局支路的方式，实现网络结构的自适应增量学习，降低了训练开销，实现了预期识别效果。步骤1)的网络深度设置为5层，所述的卷积层和池化层分别设有两个，全连接层设有一个，卷积层和池化层交错设置。步骤2)所述的卷积神经网络系统平均误差小于预设期望值时，对当前网络结构展开端到端的全局扩展训练学习，扩展出新的端到端支路，网络深度变为6层。全局扩展训练学习是以网络的收敛速度作为评价指标，从网络的输入端到输出端进行端到端的全局扩展学习，直到卷积神经网络系统平均误差达到预设期望值。在扩展所述的新的端到端支路前，应先保留已训练完成的初试网络的卷积层和池化层的相关参数及其输出层的输出结果。扩展出的新的端到端支路与步骤1)所述的初试网络相同或相近，且在网络输出层产生新的输出，最后的输出层添加一个新的全连接层，将两条端到端支路和支路的输出融合到一起，并获得最终输出结果。步骤3)所述的对网络展开局部扩展学习，即当不同批次交叉验证样本的识别率趋于一个稳定值，且此稳定值为非理想状态时，构建形成新的局部支路，并对已有网络的分支在第一级池化层进行局部融合。卷积神经网络模型的局部扩展学习采用交叉验证样本测试当前网络识别率，当识别率未达到期望值时，对已有网络的分支从第一级池化层进行局部融合，实现网络结构的局部扩展学习，直到交叉验证样本的识别率达到预设期望值后停止局部网络学习。所述的局部扩展之前，需保存已经完成的全局扩展模型的相关权重参数以及网络输出层的输出值，在训练局部支路时，将全局扩展模型中池化层的特征图作为输入，将全局扩展和局部扩展的输出融合到一起，得到最终的输出结果。步骤3)所述的局部扩展后，形成两个全连接层，网络深度扩展为7层。步骤4)所述的增量式扩展学习训练后，网络深度扩展为8层。与现有技术相比，本专利技术所具有的有益效果是：本专利技术提供了一种深度卷积神经网络模型构建方法，改变传统深度卷积神经网络模型的构建思路，采用初始化网络模型，扩充式扩展网络模型及增量式扩展网络模型三大步，逐步显现深度卷积神经网络的模型的构建。其中，可根据参与训练样本的情况按需添加神经元，实现网络结构的扩充式扩展和增量式扩展，直到获取最优分类结果或满足预设条件。本专利技术的构建方法的构建思想能够克服传统卷积神经网络网络结构过度依赖人为经验、网络深度和特征图个数难以确定、训练难度大等缺点，实现了网络模型与样本数据的直接关联。增强了数据样本和网络模型之间的关联性，实现了网络结构的自适应增量学习，在网络训练时间和识别效果上展现出较好的优越性。全局扩展后，网络模型并未达到最优的识别性能。当不同批次交叉验证样本本文档来自技高网...

【技术保护点】
一种深度卷积神经网络模型构建方法，其特征在于：包括以下步骤，1)、卷积神经网络模型初始化，初始网络模型只设置一条支路，该支路上包含输入层、卷积层、池化层和全连接层，且每层仅包含一幅特征图；2)、以卷积神经网络的收敛速度为评价指标，对网络进行端到端的全局扩展学习，直到卷积神经网络系统平均误差达到预设期望值，则全局网络扩展结束；3)、全局扩展后，采用交叉验证样本对网络性能进行评估，采用交叉验证样本测试所得网络的识别率，若识别率未达到期望值，则对网络展开局部扩展学习，直到交叉验证样本的识别率达到预设期望值后，停止局部网络学习；4)、保留扩充式扩展学习训练得到的网络训练结果，针对新追加的训练样本，增加新的增量式端到端扩展学习支路，实现网络结构的增量扩展学习，以系统平均误差达到期望值为训练结束的标志，最终实现深度卷积神经网络的模型构建。

【技术特征摘要】
1.一种深度卷积神经网络模型构建方法，其特征在于：包括以下步骤，1)、卷积神经网络模型初始化，初始网络模型只设置一条支路，该支路上包含输入层、卷积层、池化层和全连接层，且每层仅包含一幅特征图；2)、以卷积神经网络的收敛速度为评价指标，对网络进行端到端的全局扩展学习，直到卷积神经网络系统平均误差达到预设期望值，则全局网络扩展结束；3)、全局扩展后，采用交叉验证样本对网络性能进行评估，采用交叉验证样本测试所得网络的识别率，若识别率未达到期望值，则对网络展开局部扩展学习，直到交叉验证样本的识别率达到预设期望值后，停止局部网络学习；4)、保留扩充式扩展学习训练得到的网络训练结果，针对新追加的训练样本，增加新的增量式端到端扩展学习支路，实现网络结构的增量扩展学习，以系统平均误差达到期望值为训练结束的标志，最终实现深度卷积神经网络的模型构建。2.根据权利要求1所述的一种深度卷积神经网络模型构建方法，其特征在于：步骤1)的网络深度设置为5层，所述的卷积层和池化层分别设有两个，全连接层设有一个，卷积层和池化层交错设置。3.根据权利要求1所述的一种深度卷积神经网络模型构建方法，其特征在于：步骤2)所述的卷积神经网络系统平均误差小于预设期望值时，对当前网络结构展开端到端的全局扩展训练学习，扩展出新的端到端支路，网络深度变为6层。4.根据权利要求3所述...

【专利技术属性】
技术研发人员：邹国锋，傅桂霞，赵新宇，林钉屹，高明亮，尹丽菊，李海涛，
申请(专利权)人：山东理工大学，
类型：发明
国别省市：山东,37