用于股票决策的信息处理方法、装置、设备和介质制造方法及图纸

本公开提供了一种用于股票决策的信息处理方法，可以应用于人工智能技术领域。该方法包括：获取目标股票的当前股票新闻数据、目标股票当前的市场状态信息和投资者当前的资产状态信息；输入当前股票新闻数据至情绪分析模型，得到情绪分析模型输出的当前市场情绪得分；将当前市场情绪得分、目标股票当前的市场状态信息、投资者当前的资产状态信息输入至强化学习模型；以及获得强化学习模型输出的决策信息，其中，该决策信息包括买入目标股票、卖出目标股票或不进行目标股票的买卖交易。本公开还提供了一种用于股票决策的信息处理装置、设备、存储介质和程序产品。存储介质和程序产品。存储介质和程序产品。

【技术实现步骤摘要】
用于股票决策的信息处理方法、装置、设备和介质


[0001]本公开涉及人工智能
，可以用于金融领域，更具体地涉及一种用于股票决策的信息处理方法、装置、设备、介质和程序产品。

技术介绍

[0002]在股票交易的智能决策中，通常可以将股票交易数据处理为时间序列数据，进行趋势的分析和预测。然而，传统的时间序列预测模型ARIMA和SARIMA等，只能有效地用于平稳的时间序列数据。而在股票实时交易场景中，应用这些模型是一个非常大的挑战，因为股票市场上的股票价格等数据可能并不总是平稳的时间序列数据，这导致传统的时间序列预测模型难以满足股票市场中的价格预测等需求。为此，相关技术中开始采用深度学习算法模型，通过对股票历史价格变化趋势的学习来预测接下来的股票走势，然而这种方案通常仅能给出股价波动的趋势性建议。然而这类趋势性建议在股票长期波动趋势上可以做到比较准确，但在股票买卖决策(如当前是否买入或卖出股票)所需的短期变动信息方面而言，信息不够准确，难以提供有效的参考价值。

技术实现思路

[0003]鉴于上述问题，本公开提供了一种使用强化学习神经网络和市场情绪来帮助股票市场交易决策的信息处理方法、装置、设备、介质和程序产品。
[0004]根据本公开的第一方面，提供了一种用于股票决策的信息处理方法。所述方法包括：获取目标股票的当前股票新闻数据、所述目标股票当前的市场状态信息和投资者当前的资产状态信息；输入所述当前股票新闻数据至情绪分析模型，得到所述情绪分析模型输出的当前市场情绪得分，其中，所述情绪分析模型为利用所述目标股票的历史股票新闻数据和历史市场情绪得分训练得到的机器学习算法模型；将所述当前市场情绪得分、所述目标股票当前的市场状态信息、投资者当前的资产状态信息输入至强化学习模型，其中，所述强化学习模型基于强化学习算法对输入数据进行处理；以及获得所述强化学习模型输出的决策信息，其中，所述决策信息包括买入所述目标股票、卖出所述目标股票或不进行所述目标股票的买卖交易。其中，所述强化学习算法中，基于所述目标股票的当前价格相对于与预定历史时期内的价格水平的变动来计算即时奖励，以及以所述投资者的资产净值来计算累计奖励。
[0005]根据本公开的实施例，所述市场状态信息包括以下至少之一：开盘价格、价格波动信息或预设天数内的股价移动均线。
[0006]根据本公开的实施例，所述资产状态信息包括以下至少之一：持有的现金额、持有的所述目标股票的信息或持有的其他股票的信息。
[0007]根据本公开的实施例，所述情绪分析模型的训练过程如下：获取至少一个所述历史股票新闻数据，所述历史股票新闻数据为所述目标股票的在一个历史交易日的股票新闻数据；从以下至少一个途径获取所述历史交易日内市场对所述历史股票新闻数据的情绪反
应数据，包括：从交易论坛或社交网络中爬取所述历史交易日内关于所述目标股票的评论信息；获取所述历史交易日内所述目标股票的交易量和涨跌幅；或者搜集所述历史交易日内采集到的多个市场参与者读取所述历史股票新闻数据时的表情图像；处理所述情绪反应数据，得到所述历史市场情绪得分；以所述历史市场情绪得分对同一历史交易日内的所述历史股票新闻数据进行标注，得到训练样本数据；以及利用所述训练样本数据训练所述情绪分析模型。
[0008]根据本公开的实施例，所述强化学习模型采用深度神经网络；其中，所述深度神经网络包括一个输入层、三个完全连接的隐藏层和一个输出层。其中，输入层的大小与所述强化学习模型的输入数据的维度大小相对应；以及输出层包括三个神经元，分别对应于所述决策信息中的三个行为：买入、卖出和持有。
[0009]根据本公开的实施例，所述强化学习模型的训练过程中，使用Q
‑
learning算法和经验回放算法训练所述深度神经网络。
[0010]根据本公开的实施例，所述使用Q
‑
learning算法和经验回放算法训练所述深度神经网络包括：设置所述Q
‑
learning算法的状态包括所述目标股票的市场状态信息、投资者的资产状态信息、所述目标股票在前一天的市场情绪得分；设置所述Q
‑
learning算法的行为包括买入、卖出或持有；以所述Q
‑
learning算法的状态作为所述深度神经网络的输入，以所述Q
‑
learning算法的行为作为所述深度神经网络的输出；基于所述目标股票的当前价格相对于预定历史时期的价格水平的变动来计算即时奖励：基于所述投资者的资产状态信息，计算所述投资者当前的资产净值：根据所述深度神经网络针对每个状态输出的行为，重新计算所述投资者的资产净值，并定义下一个状态；将与所述深度神经网络每一次输入输出对应的所述Q
‑
learning算法的参数添加到智能体内存中；其中，所述强化学习算法的参数包括状态、行为、即时奖励和下一个状态；以及以所述智能体内存作为输入，并调用经验回放函数，更新所述深度神经网络。
[0011]本公开实施例的第二方面，提供了一种用于股票决策的信息处理装置。所述装置包括数据获取模块、情绪分析模块和强化学习模块。数据获取模块用于获取目标股票的当前股票新闻数据、所述目标股票当前的市场状态信息和投资者当前的资产状态信息。情绪分析模块设置有情绪分析模型，用于输入所述当前股票新闻数据至所述情绪分析模型，得到所述情绪分析模型输出的当前市场情绪得分，其中，所述情绪分析模型为利用所述目标股票的历史股票新闻数据和历史市场情绪得分训练得到的机器学习算法模型。强化学习模块，设置有强化学习模型，用于将所述当前市场情绪得分、所述目标股票当前的市场状态信息、投资者当前的资产状态信息输入至所述强化学习模型，并获得所述强化学习模型输出的决策信息；其中，所述决策信息包括买入所述目标股票、卖出所述目标股票或不进行所述目标股票的买卖交易。其中，所述强化学习模型基于强化学习算法对输入数据进行处理；所述强化学习算法中，基于所述目标股票的当前价格相对于与预定历史时期内的价格水平的变动来计算即时奖励，以及以所述投资者的资产净值来计算累计奖励。
[0012]本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
[0013]本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本文中术语“第一”、“第二”等命名都仅用于区分，而不具有任何限制含义，以及附图中的任何元素数量均用于示例而非限制。
[0027]本公开实施例提供了一种用于股票决策的信息处理方法、装置、设备、介质和存储方法，使用强化学习模型和市场情绪来做出股票市场交易决策。机器学习中的强化学习(Reinforcement Learning，RL)是一种为股票市场建模、表示和学习未来奖励和即时奖励的有效工具。该算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于股票决策的信息处理方法，包括：获取目标股票的当前股票新闻数据、所述目标股票当前的市场状态信息和投资者当前的资产状态信息；输入所述当前股票新闻数据至情绪分析模型，得到所述情绪分析模型输出的当前市场情绪得分，其中，所述情绪分析模型为利用所述目标股票的历史股票新闻数据和历史市场情绪得分训练得到的机器学习算法模型；将所述当前市场情绪得分、所述目标股票当前的市场状态信息、所述投资者当前的资产状态信息输入至强化学习模型，其中，所述强化学习模型基于强化学习算法对输入数据进行处理；以及获得所述强化学习模型输出的决策信息，其中，所述决策信息包括买入所述目标股票、卖出所述目标股票或不进行所述目标股票的买卖交易；其中，所述强化学习算法中，基于所述目标股票的当前价格相对于与预定历史时期内的价格水平的变动来计算即时奖励，以及以所述投资者的资产净值来计算累计奖励。2.根据权利要求1所述的方法，其中，所述市场状态信息包括以下至少之一：开盘价格、价格波动信息或预设天数内的股价移动均线。3.根据权利要求1所述的方法，其中，所述资产状态信息包括以下至少之一：持有的现金额、持有的所述目标股票的信息或持有的其他股票的信息。4.根据权利要求1所述的方法，其中，所述情绪分析模型的训练过程如下：获取至少一个所述历史股票新闻数据，所述历史股票新闻数据为所述目标股票的在一个历史交易日的股票新闻数据；从以下至少一个途径获取所述历史交易日内市场对所述历史股票新闻数据的情绪反应数据，包括：从交易论坛或社交网络中爬取所述历史交易日内关于所述目标股票的评论信息；获取所述历史交易日内所述目标股票的交易量和涨跌幅；或者搜集所述历史交易日内采集到的多个市场参与者读取所述历史股票新闻数据时的表情图像；处理所述情绪反应数据，得到所述历史市场情绪得分；以所述历史市场情绪得分对同一历史交易日内的所述历史股票新闻数据进行标注，得到训练样本数据；以及利用所述训练样本数据训练所述情绪分析模型。5.根据权利要求1所述的方法，其中，所述强化学习模型采用深度神经网络；其中，所述深度神经网络包括一个输入层、三个完全连接的隐藏层和一个输出层，其中，输入层的大小与所述强化学习模型的输入数据的维度大小相对应；输出层包括三个神经元，分别对应于所述决策信息中的三个行为：买入、卖出和持有。6.根据权利要求5所述的方法，其中，所述强化学习模型的训练过程中，使用Q
‑
learning算法和经验回放算法训练所述深度神经网络。7.根据权利要求6所述的方法，其中，所述使用Q
‑
learning算法和经验回放算法训练所述深度神经网络包...

【专利技术属性】
技术研发人员：伏勇，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：