基于融合注意力机制的创业指数收盘价数据预测方法技术

本发明专利技术提出一种基于融合注意力机制的创业指数收盘价数据预测方法，包括，获取创业指板收盘价数据集作为训练数据集；对训练数据集进行预处理；将Bahdanau

【技术实现步骤摘要】
基于融合注意力机制的创业指数收盘价数据预测方法


[0001]本专利技术属于大数据人工智能与金融交叉领域。

技术介绍

[0002]受国际疫情和经济大环境影响，股票市场波动较大，很多股民或企业对于未来股票指数情况十分关心。为了更全面的反映创业板市场情况，向投资者提供更多的可交易的指数产品和金融衍生工具，2010年正式编制和发布创业板指。创业板指的推出，标志着创业板平稳启动后进入新的发展时期，标志多层次资本市场指数体系得以建立。随着创业板作为独立市场层次的影响力和服务能力日渐提高，全面、客观的反映创业板股票的总体价格变动和走势这一工作也迫在眉睫。但是，能够影响股票波动的原因很多，所以对于数据的动态预测逐渐成为人工智能领域的研究热点。针对数据量大、数据随时间发生变化以及输入序列较多且繁杂等问题，越来越多的工程师会将注意力机制融入到数据预测模型中。
[0003]为了传统RNN预测模型没有较长记忆功能的特点，提出了LSTM模型(Long Short
‑
Term Memory，长短期记忆网络)，其中的门控机制可以通过留存和删除记忆单元中的信息，来更有效地避免梯度消失和梯度爆炸问题，从而更好的解决长时依赖情况。在处理时序问题时，LSTM被证明有更好的预测能力，其优势不仅在于可以记忆之前输入的数据特征信息，还在于可以有选择的遗忘一些对当前模型预测结果作用不大甚至混淆视听的特征信息。
[0004]LSTM模型针对处理固定长度的时序数据表现能力较为突出，为了解决不定长的时序数据，提出了Seq2Seq模型，Seq2Seq模型包含Encoder和Decoder两个部分，各部分都是一个RNNCell(RNN、LSTM、GRU等)结构。Encoder负责将序列编码为一个固定长度的语义向量，Decoder负责将该语义向量解码为另一个序列。此模型的优势是输入序列和输出序列的长度是可变的，输入输出序列长度可不相等。
[0005]但Seq2Seq模型处理信息的过程是对信息压缩的过程，不可避免地会损失很多信息，一旦输入的序列变长，则有效信息的权重会不同程度的降低，而且Decoder在解码时无法关注到输入序列的更多细节，这也就引出了更加完善的注意力机制。
[0006]注意力机制是为了解决输入信息较长或需要并行处理时，模型的中间向量无法存储足够信息进而容易出现梯度下降或消失问题而设计的。它将通过上下文信息以及数据与目标量的相关程度赋予每个输入信息权重。注意力机制是一种高效获取信息的方式。一方面，它使得解码器可以在每一步主动查询相关性高的信息，而暂时忽略相关性低的信息，此优点更使得模型从用户角度出发，得到更加人性化的输出结果；另一方面，它很大程度缩减了信息流动的距离，提高了算法运行效率。基于以上优点，在数据预测领域的模型设计中引入注意力机制会使预测结果更加精准。
[0007]在数据预测领域，传统的序列预测方法主要是回归模型、如自回归模型ARIMA等，然而此类方法具有拟合性差等缺点。随着深度学习逐渐在人工智能中占据主流地位，基于深度学习的方法也逐渐应用于序列预测中，最著名的是长短期记忆网络LSTM和门控GRU方法，此类方法均基于时序模型，然而仍存在无法获取长期依赖、对于序列学习不充分等问
题。在目前的模型改进中，LSTM对序列进行编码和解码，通过隐藏层参数在序列之间进行传递得到历史信息，通过GRU等方法解决长期依赖导致的梯度下降及梯度消失问题，同时引入注意力机制使得预测的关注点不再均衡，使预测结果更有针对性。注意力机制所具有的能捕捉数据动态变化特征的优势可以使得相关分析准确性提高，时间序列通过注意力机制后能快速捕捉特定范围数据的动态变化特征。
[0008]随着注意力机制的深入使用，越来越多工程师对其进行改进，其中Bahdanau
‑
Attention及Luong
‑
Attention机制在近几年受到广泛使用，两种注意力机制均为通过动态可变的中间变量对输入数据赋予不同的影响权重，使得模型在解码的各个时刻对不同输入产生不同的注意程度，使得预测结果更加准确，提高信息的利用率，但两种机制计算影响程度的对齐函数不同，预测产生的效果及模型的内部框架也具有差异。由于两者都有优有缺，所以目前在深度学习领域两者均在使用。

技术实现思路

[0009]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0010]为此，本专利技术的目的在于提出一种基于融合注意力机制的创业指数收盘价数据预测方法，用于对创业指板收盘价数据的预测。
[0011]为达上述目的，本专利技术第一方面实施例提出了一种基于融合注意力机制的创业指数收盘价数据预测方法，包括：
[0012]获取创业指板收盘价数据集作为训练数据集；
[0013]对所述训练数据集进行预处理；
[0014]将Bahdanau
‑
Attention机制与Luong
‑
Attention机制进行融合，将融合后的机制BAL
‑
Attention引入到数据预测模型的LSTM层及输出层之间对所述数据预测模型进行改进；
[0015]利用预处理后的训练数据集对改进后的数据预测模型进行训练，得到训练完成的数据预测模型；
[0016]通过训练完成的数据预测模型预测未来的股市数据波动情况。
[0017]另外，根据本专利技术上述实施例的一种基于融合注意力机制的创业指数收盘价数据预测方法还可以具有以下附加的技术特征：
[0018]进一步地，在本专利技术的一个实施例中，所述创业指板收盘价数据集，包括开盘价、最高价、最低价、收盘价、成交量以及相关的数据集。
[0019]进一步地，在本专利技术的一个实施例中，对所述训练数据集进行预处理，包括：
[0020]对所述训练数据集进行数据统计，包括对数据文字混杂的信息记录进行数据提取；
[0021]将提取后的结果合并到一个数据列表中，用于后续模型的训练。
[0022]进一步地，在本专利技术的一个实施例中，将Bahdanau
‑
Attention机制与Luong
‑
Attention机制进行融合，包括：
[0023]输入序列编码时保存每一个时刻的隐层状态；
[0024]将解码器的隐层状态和编码器所有位置输出通过线性组合对齐后，利用所述编码器的隐状态h
t
和初始状态h
s
计算变长的隐状态的对齐权值向量，所使用的对齐函数公式如
下：
[0025][0026]融合后的注意力机制计算流程为：h
t
‑1→
a
t
→
C
t
→
h
t
，融合后所用激活函数为tanh激活函数，其中，h
t
表示编码器t时刻的隐状态，h
s
为编码器的初始状态，W
a
为a权重下的函数系数。
...

【技术保护点】

【技术特征摘要】
1.一种基于融合注意力机制的创业指数收盘价数据预测方法，其特征在于，包括以下步骤：获取创业指板收盘价数据集作为训练数据集；对所述训练数据集进行预处理；将Bahdanau
‑
Attention机制与Luong
‑
Attention机制进行融合，将融合后的机制BAL
‑
Attention引入到数据预测模型的LSTM层及输出层之间对所述数据预测模型进行改进；利用预处理后的训练数据集对改进后的数据预测模型进行训练，得到训练完成的数据预测模型；通过训练完成的数据预测模型预测未来的股市数据波动情况。2.根据权利要求1所述的方法，其特征在于，所述创业指板收盘价数据集，包括开盘价、最高价、最低价、收盘价、成交量以及相关的数据集。3.根据权利要求1所述的方法，其特征在于，对所述训练数据集进行预处理，包括：对所述训练数据集进行数据统计，包括对数据文字混杂的信息记录进行数据提取；将提取后的结果合并到一个数据列表中，用于后续模型的训练。4.根据权利要求1所述的方法，其特征在于，将Bahdanau
‑
Attention机制与Luong
‑
Attention机制进行融合，包括：输入序列编码时保存每一个时刻的隐层状态；将解码器的隐层状态和编码器所有位置输出通过线性组合对齐后，利用所述编码器的隐状态h
t
和初始状态h
s
计算变长的隐状态的对齐权值向量，所使用的对齐函数公式如下：融合后的注意力机制计算流程为：h
t
‑1→
a
t
→
C
t
→
h
t
，融合后所用激活函数为tanh激活函数，其中，h
t
表示编码器t时刻的隐状态，h
s
为编码器的初始状态，W

【专利技术属性】
技术研发人员：罗宁，韦冰，商婷娇，张树东，周丽娟，
申请(专利权)人：海南大学，
类型：发明
国别省市：