RNN模型的逐点损失估计优化方法技术

本发明专利技术公开了一种RNN模型的逐点损失估计优化方法，属于计算机与信息科学技术领域。该方法包括：按时间顺序将多个时间节点不同的数据集拼接成一个时间序列数据集，被拼接的数据包括各特征值和标签；利用CART决策树算法从拼接数据集中提取重要程度较高的特征，构成新的数据集；对新数据集进行数据重采样，填充各时间节点缺失的数据；基于逐点估计的损失函数训练RNN模型。由于本发明专利技术在损失函数的计算中引入了逐点损失估计，因此可以避免因长时间传输造成的信息丢失和误差增加，从而克服RNN在处理长时序列时易出现梯度爆炸或梯度消失的问题。

OPTIMIZATION METHOD OF POINT-BY-POINT LOSS ESTIMATION FOR RNN MODEL

【技术实现步骤摘要】
RNN模型的逐点损失估计优化方法
本专利技术涉及一种RNN模型的逐点损失估计优化方法，属于计算机与信息科学

技术介绍
时间序列数据处理是深度学习的重要研究领域之一，时间序列数据是指按照时间顺序收集到的，可以描述某一事物、现象等随时间变化情况的数据。相较于传统的全连接神经网络，循环神经网络(RNN)在时间序列数据处理方面具有较大的优势，但循环神经网络自身也具有一定的缺陷，具体表现为当循环轮次过多时，会产生长期依赖问题。针对这一问题，现有的解决方案以门机制、跨尺度连接和特殊初始化为代表。1.门机制门机制指通过门控制信息流动、信息变形和选择性，从而解决长期依赖导致的梯度爆炸、梯度消失等问题。基于门机制的代表性网络是长短时记忆网络(LSTM)，网络通过输入门、遗忘门和输出门控制信息的丢弃与传递。2.跨尺度连接跨尺度连接指将当前时间点与前几个时间点直接相连，从而对距离较远的依赖关系进行学习。基于跨尺度连接的代表性网络是CW-RNN，网络将隐层划分成不同的周期，通过较长的周期在少量循环中学习较远的依赖关系。3.特殊初始化特殊初始化指通过构造特殊的自循环矩阵维持信息传递。基于特殊初始化的代表性网络是IRNN，网络通过恒等初始化结合ReLU激活函数将信息不变形地复制到下一时间点，其后再学习如何平衡长短距离的依赖信息。综上所述，针对RNN的长期依赖问题，现有的解决方案多以改进网络结构或改进网络初始化参数为手段，但这些方案并未考虑到损失函数对梯度爆炸、梯度消失问题的影响。常规RNN模型更新参数的方式为：在信息传递n个时刻后，在第n个时刻给出最终的分类结果，其后根据分类结果和样本标签计算误差，通过反向传播更新网络参数。这种参数更新方式会因为长时间的传输造成信息的丢失和误差的增加。
技术实现思路
本专利技术的目的是为解决循环神经网络在处理长时序列时易出现梯度爆炸或梯度消失问题，提出RNN模型的逐点损失估计优化方法。本专利技术的设计原理为：首先，按时间顺序将多个时间节点不同的数据集拼接成一个时间序列数据集，被拼接的数据包括各特征值和标签；其后，利用CART决策树算法从拼接数据集中提取重要程度较高的特征，构成新的数据集；然后，对新数据集进行数据重采样，填充每个样本在不同时间节点缺失的数据；最终，基于逐点估计的损失函数训练RNN模型。具体过程见图1。本专利技术的技术方案是通过如下步骤实现的：步骤1，数据拼接。将多个时间节点的数据集拼接成时间序列数据集。步骤2，特征选择。使用CART决策树算法筛选特征，构成新数据集。步骤3，数据重采样。补全数据样本在各时间节点缺失的特征和标签。步骤4，基于逐点损失估计算法优化RNN模型。有益效果相对于一般采用的方法，本专利技术采用的RNN模型的逐点损失估计优化方法，利用了轻量级的模型结构解决长期依赖问题，在不增加RNN模型训练时间的前提下，大幅提升了RNN模型的分类准确率。附图说明图1为本专利技术的RNN模型的逐点损失估计优化方法原理图。图2为本专利技术的基于逐点损失估计优化算法的RNN模型结构图。具体实施方式为了更好的说明本专利技术的目的和优点，下面结合附图对本专利技术方法的实施方式做进一步详细说明。具体流程为：步骤1，数据拼接。按时间顺序对n个时间节点不同的数据集进行拼接，拼接所得数据集的样本xi由各个时间节点的样本ti,j组成，时间节点之间的间隔为1小时，每个样本最多有n个时间节点的特征值和标签。步骤2，特征选择。如果拼接数据集的特征维度大于10维，则以基尼指数作为特征重要性的评价指标，使用CART决策树算法对原始特征进行筛选，取出重要度排序位于前10的特征构成新的数据集。步骤3，数据重采样，具体实现方法为：步骤3.1，去除在所有时间节点上都缺少标签的样本。步骤3.2，假设样本xi不包含数据完整的时间节点，则将任一完整样本xj的第一个时间节点的数据tj,1复制到样本xi的首个时间节点ti,1。步骤3.3，假设样本xk至少包含一个数据完整的时间节点tk,i，则使用以下策略补全数据：对于某个数据不完整的时间节点tk,m，复制距离该时间节点最近的完整的时间节点tk,n(m≠n)补全数据。在距离相等的情况下，优先复制tk,m之前距离tk,m最近的时间节点tk,l(l＜m)。被补全的时间节点不参与后续复制操作。步骤4，基于逐点损失估计算法优化RNN模型，模型结构见图2。假设某样本xi包含的总时刻数为T，在基于逐点损失估计算法的RNN模型中，从第1个到第T个时刻均有一个当前的分类标签y(n)＝tag{ti,n}(n＝1,2,..,T)与之对应，当前的实际输出与当前分类标签y(n)之间的误差会作为损失函数L的一部分。损失函数L：其中，T表示总时刻数，α∈[0,1]用于调整T时刻之前的局部误差对总体误差的影响程度。模型最终将根据损失函数L，使用反向传播算法更新参数。如上所述，便可较好地实现本专利技术。本专利技术通过引入逐点损失估计及参数优化方法，最小化时序空间中每一个节点的局部判别误差，避免长时间的传输造成信息的丢失和误差的增加。是一种能够很好地克服循环神经网络在处理长时序列数据时易出现梯度爆炸或梯度消失问题的RNN模型损失计算优化方法。以上所述的具体描述，对专利技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施例而已，并不用于限定本专利技术的保护范围，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.RNN模型的逐点损失估计优化方法，其特征在于所述方法包括如下步骤：步骤1，按时间顺序对n个时间节点不同的数据集进行拼接，拼接所得数据集的样本xi由各个时间节点的样本ti,j组成，时间节点的间隔为1小时，每个样本最多有n个时间节点的特征值和标签；步骤2，如果拼接数据集的特征维度大于10维，则以基尼指数作为特征重要性的评价指标，使用CART决策树算法对原始特征进行筛选，取出重要度排序位于前10的特征构成新的数据集；步骤3，对数据集进行数据重采样；步骤4，假设某样本xi包含的总时刻数为T，利用第1个时刻到第T个时刻的实际输出

【技术特征摘要】
1.RNN模型的逐点损失估计优化方法，其特征在于所述方法包括如下步骤：步骤1，按时间顺序对n个时间节点不同的数据集进行拼接，拼接所得数据集的样本xi由各个时间节点的样本ti,j组成，时间节点的间隔为1小时，每个样本最多有n个时间节点的特征值和标签；步骤2，如果拼接数据集的特征维度大于10维，则以基尼指数作为特征重要性的评价指标，使用CART决策树算法对原始特征进行筛选，取出重要度排序位于前10的特征构成新的数据集；步骤3，对数据集进行数据重采样；步骤4，假设某样本xi包含的总时刻数为T，利用第1个时刻到第T个时刻的实际输出和分类标签y(n)＝tag{ti,n}计算损失函数L，最终根据损失函数L，使用反向传播算法更新网络参数。2.根据权利要求1所...

【专利技术属性】
技术研发人员：潘丽敏，闫晗，罗森林，胡雅娴，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11