基于学习自动机的深度神经网络增量式训练方法及系统技术方案

本发明专利技术提供了一种基于学习自动机的深度神经网络增量式训练方法及系统，包括：原始样本集训练步骤：采用原始训练样本集对深度神经网络模型进行训练；增量样本集训练步骤：对前一次训练样本集进行类别扩充，采用扩充后的训练样本集对前一次训练好的深度神经网络模型进行增量式训练。本发明专利技术可以将复杂数据集上的训练过程分解为一系列的简单任务的训练过程，通过对模型增量式的训练逐步解决所有类别的分类问题。这种累积性的学习策略也更符合现实生活中人的学习过程。

Incremental Training Method and System of Deep Neural Network Based on Learning Automata

The invention provides an incremental training method and system of deep neural network based on learning automata, which includes: training steps of original sample set: training deep neural network model with original training sample set; training steps of incremental sample set: expanding the category of the previous training sample set, and adopting the expanded training sample set to the depth of the previous training. Neural network model is incremental training. The training process on complex data sets can be decomposed into a series of simple task training processes, and the classification problem of all categories can be solved step by step through incremental model training. This cumulative learning strategy is more in line with the learning process of people in real life.

【技术实现步骤摘要】
基于学习自动机的深度神经网络增量式训练方法及系统
本专利技术涉及信息处理领域，具体地，涉及基于学习自动机的深度神经网络增量式训练方法及系统。
技术介绍
神经网络是一种模拟生物大脑神经元的层次化连接结构而设计的机器学习算法，其可以从样本数据中学习潜在的特征变换，实现从输入到输出的非线性映射。近年来，随着大数据及高性能并行运算设备(如通用图形处理器GUGPU)的快速发展，深度神经网络技术得到了广泛研究，并取得了显著成果，在图像分类、目标检测、语音识别甚至棋类游戏等领域不断取得了超越人类的效果。神经网络的基本构成单元是神经元，由特定数量的神经元构成一个神经网络层，并与上一层的神经元相连接。每个神经元的功能是对输入向量通过仿射变换和非线性的激活函数而得到输出值。具体的，用x表示神经元的输入向量，y表示其输出值，则x和y的关系可以描述为y＝f(w*x+b)，其中权重向量w和偏置值b为可训练的参数，f为可选的非线性激活函数(通常采用sigmoid函数或ReLU函数)。传统的神经网络模型通常由输入层、隐藏层和输出层组成，每一层的神经元都与上一层的所有神经元相连接从而构成全连接的网络结构。而深度神经网络是指更深层的神经网络，通常包含有更多的隐藏层(几十甚至上百层)和更精细复杂的网络连接结构(如卷积核、长短时记忆单元等)，因此深度神经网络具有更强大的特征表达能力，可以直接从原始样本数据中学习到针对特定任务的有效的特征模式。用θ表示神经网络模型中所有可训练参数(每层的权重和偏置)的集合，用X表示其输入向量，则输出向量Y＝F(X，θ)，其中，F表示由网络拓扑结构所形成的从输入到输出的映射关系。对于设定好的神经网络模型结构，可以通过调节θ值来拟合(X,Y)的联合概率分布，因此，神经网络通常用来在带标签的样本集(X,Y)上进行有监督学习的训练，求解最优θ值的组合，以使得模型分布尽可能拟合样本数据的分布。训练好的模型即可以用来对同样类型的输入数据预测其对应输出值的概率分布。近年来关于深度神经网络的研究成果也集中于有监督学习领域，ImageNet等大规模数据集的出现使得更深层的包含上百万参数的深度神经网络模型的训练成为可能。然而，尽管在大数据时代，为每一个特定任务构建一个庞大的数据集也是及其费时费力的事情，需要对大量特定目标数据进行采集和标注。因此在真实场景下，数据集的构建通常是增量式的，即新的类别和新的样本会被不断产生并添加进样本库中；另一方面，在实际应用场景下，针对复杂多变的用户场景，也需要智能算法具有增量式学习的能力以适应不断变化的环境及不断改变的用户需求，实现模型的实时迭代更新。然而目前深度神经网络广泛采用的随机梯度下降训练算法，如专利CN108182469A公开的“一种神经网络模型训练方法、系统、装置及存储介质”，需要在预先准备好的样本集上每次选择一批样本对网络参数进行迭代更新直至收敛到最优值。在某样本集上训练好的模型如果在新的样本上继续训练则会面临灾难性遗忘的问题，即在新样本上训练后，模型中原有的特征会被很快破坏掉，相当于又在扩充后的样本集上对整个模型进行了重新训练，无法很好的利用之前学习到的特征。因此目前的深度神经网络训练算法不具有在训练数据逐渐增加的情况下进行增量式、持续学习的能力。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于学习自动机的深度神经网络增量式训练方法及系统。根据本专利技术提供的一种基于学习自动机的深度神经网络增量式训练方法，包括：原始样本集训练步骤：采用原始训练样本集对深度神经网络模型进行训练；增量样本集训练步骤：对前一次训练样本集进行类别扩充，采用扩充后的训练样本集对前一次训练好的深度神经网络模型进行增量式训练。较佳的，所述原始样本集训练步骤包括：模型构建子步骤：构建深度神经网络模型，赋予深度神经网络的每个连接权重一个包含第一行为和第二行为的学习自动机；采样子步骤：学习自动机根据选择概率进行采样，选择第一行为或第二行为；梯度值计算子步骤：从第一训练样本集中抽取样本，计算损失函数对于深度神经网络的网络参数的梯度值，计算梯度值时忽略第二行为的连接；更新子步骤：根据梯度值对深度神经网络的权重和偏置进行更新；交互子步骤：每个学习自动机与深度神经网络交互，若学习自动机对应的当前权重大于第一阈值，则对学习自动机进行奖励，否则进行惩罚；迭代子步骤：从采样子步骤至交互子步骤进行迭代，直至损失函数不能再继续减小，收敛到第一行为的连接为核心连接，收敛到第二行为的连接为边缘连接。较佳的，所述增量样本集训练步骤包括：稀疏度计算子步骤：计算深度神经网络中每一层连接的稀疏度，若稀疏度小于第二阈值，则在对应层添加随机初始化的神经元，使稀疏度达到第二阈值，其中，在分类层中添加与新增类别数量相等的随机初始化的神经元，重置所有边缘连接的学习自动机状态；迭代训练子步骤：对核心连接采用第一学习速率以及对边缘连接采用第二学习速率进行随机梯度下降的迭代训练，第一学习速率小于第二学习速率。较佳的，所述第一行为代表当前连接被激活，所述第二行为代表当前连接被休眠。较佳的，所述梯度值计算子步骤中，采用反向传播算法计算损失函数对于深度神经网络的网络参数的梯度值。根据本专利技术提供的一种基于学习自动机的深度神经网络增量式训练系统，包括：原始样本集训练模块：采用原始训练样本集对深度神经网络模型进行训练；增量样本集训练模块：对前一次训练样本集进行类别扩充，采用扩充后的训练样本集对前一次训练好的深度神经网络模型进行增量式训练。较佳的，所述原始样本集训练模块包括：模型构建子模块：构建深度神经网络模型，赋予深度神经网络的每个连接权重一个包含第一行为和第二行为的学习自动机；采样子模块：学习自动机根据选择概率进行采样，选择第一行为或第二行为；梯度值计算子模块：从第一训练样本集中抽取样本，计算损失函数对于深度神经网络的网络参数的梯度值，计算梯度值时忽略第二行为的连接；更新子模块：根据梯度值对深度神经网络的权重和偏置进行更新；交互子模块：每个学习自动机与深度神经网络交互，若学习自动机对应的当前权重大于第一阈值，则对学习自动机进行奖励，否则进行惩罚；迭代子模块：从采样子模块至交互子模块进行迭代，直至损失函数不能再继续减小，收敛到第一行为的连接为核心连接，收敛到第二行为的连接为边缘连接。较佳的，所述增量样本集训练模块包括：稀疏度计算子模块：计算深度神经网络中每一层连接的稀疏度，若稀疏度小于第二阈值，则在对应层添加随机初始化的神经元，使稀疏度达到第二阈值，其中，在分类层中添加与新增类别数量相等的随机初始化的神经元，重置所有边缘连接的学习自动机状态；迭代训练子模块：对核心连接采用第一学习速率以及对边缘连接采用第二学习速率进行随机梯度下降的迭代训练，第一学习速率小于第二学习速率。较佳的，所述第一行为代表当前连接被激活，所述第二行为代表当前连接被休眠。较佳的，所述梯度值计算子模块中，采用反向传播算法计算损失函数对于深度神经网络的网络参数的梯度值。与现有技术相比，本专利技术具有如下的有益效果：通过本专利技术可以将复杂数据集上的训练过程分解为一系列的简单任务的训练过程，通过对模型增量式的训练逐步解决所有类别的分类问题。这种累积性的学习策略也更符合现实生活中人的学习过程。附图说明本文档来自技高网...

【技术保护点】
1.一种基于学习自动机的深度神经网络增量式训练方法，其特征在于，包括：原始样本集训练步骤：采用原始训练样本集对深度神经网络模型进行训练；增量样本集训练步骤：对前一次训练样本集进行类别扩充，采用扩充后的训练样本集对前一次训练好的深度神经网络模型进行增量式训练。

【技术特征摘要】
1.一种基于学习自动机的深度神经网络增量式训练方法，其特征在于，包括：原始样本集训练步骤：采用原始训练样本集对深度神经网络模型进行训练；增量样本集训练步骤：对前一次训练样本集进行类别扩充，采用扩充后的训练样本集对前一次训练好的深度神经网络模型进行增量式训练。2.根据权利要求1所述的基于学习自动机的深度神经网络增量式训练方法，其特征在于，所述原始样本集训练步骤包括：模型构建子步骤：构建深度神经网络模型，赋予深度神经网络的每个连接权重一个包含第一行为和第二行为的学习自动机；采样子步骤：学习自动机根据选择概率进行采样，选择第一行为或第二行为；梯度值计算子步骤：从第一训练样本集中抽取样本，计算损失函数对于深度神经网络的网络参数的梯度值，计算梯度值时忽略第二行为的连接；更新子步骤：根据梯度值对深度神经网络的权重和偏置进行更新；交互子步骤：每个学习自动机与深度神经网络交互，若学习自动机对应的当前权重大于第一阈值，则对学习自动机进行奖励，否则进行惩罚；迭代子步骤：从采样子步骤至交互子步骤进行迭代，直至损失函数不能再继续减小，收敛到第一行为的连接为核心连接，收敛到第二行为的连接为边缘连接。3.根据权利要求2所述的权利要求1所述的基于学习自动机的深度神经网络增量式训练方法，其特征在于，所述增量样本集训练步骤包括：稀疏度计算子步骤：计算深度神经网络中每一层连接的稀疏度，若稀疏度小于第二阈值，则在对应层添加随机初始化的神经元，使稀疏度达到第二阈值，其中，在分类层中添加与新增类别数量相等的随机初始化的神经元，重置所有边缘连接的学习自动机状态；迭代训练子步骤：对核心连接采用第一学习速率以及对边缘连接采用第二学习速率进行随机梯度下降的迭代训练，第一学习速率小于第二学习速率。4.根据权利要求2所述的权利要求1所述的基于学习自动机的深度神经网络增量式训练方法，其特征在于，所述第一行为代表当前连接被激活，所述第二行为代表当前连接被休眠。5.根据权利要求3所述的权利要求1所述的基于学习自动机的深度神经网络增量式训练方法，其特征在于，所述梯度值计算子步骤中，采用反向传播算法计算损失函数对于深度神经...

【专利技术属性】
技术研发人员：李生红，郭浩楠，马颖华，陈秀真，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31