隐式篇章关系识别方法、系统及可读存储介质技术方案

本发明专利技术提出一种隐式篇章关系识别方法、系统及可读存储介质，所述方法包括如下步骤：接收编码器发送的全局语义关系向量以及局部语义关系向量，将所述全局语义关系向量作为GRU网络的第零个隐状态；将上一级对应的隐状态以及所有的所述局部语义关系向量，根据注意力机制计算得到当前级别篇章关系的局部语义关系信息；将上一级别的篇章关系向量与所述当前级别篇章关系对应的所述局部语义关系信息进行拼接后，输入至当前GRU单元，以计算得到当前级别的隐式篇章关系。本发明专利技术提出的隐式篇章关系识别方法，能灵活地在多级篇章关系之间实现信息共享，并实现每一级篇章关系预测结果之间的依赖。

【技术实现步骤摘要】
隐式篇章关系识别方法、系统及可读存储介质
本专利技术涉及自然语言处理
，特别涉及一种隐式篇章关系识别方法、系统及可读存储介质。
技术介绍
随着科技的不断发展以及技术的不断提升，近年来，大部分融入篇章信息的自然语言处理系统的性能也得到了较为显著的提高。具体的包括命名实体识别、抽取式文本摘要以及机器翻译等。目前，越来越多的研究者都在探索如何建模并利用篇章信息。具体的，篇章是指由一系列结构衔接、语义连贯的句子所组成的语言单位。它们之间遵从一定的语义关系或层次结构，用于阐述某一方面的问题或场景。篇章结构分析在于如何获取某段文本中句子之间的语义关系和层次结构。其中，句间语义关系识别属于篇章结构分析中的核心子任务之一，同时也是性能瓶颈所在。对于句间语义关系，一般包括显式因果关系以及隐式因果关系。以两个具体的语句为例进行说明：【例1】句子1：[西环线通车后货运列车可以不用经过南昌城区，]句子2:[从而][解决南昌站的客货相互制约运能的问题。]，此时即为显式因果关系。【例2】句子1：[南昌新建的一座国际集装箱码头日前交付使用，]句子2:[进一步改善了江西现有的对外通道状况。]，此时即为隐式因果关系。句间语义关系识别，通常被称作篇章关系识别(Discourserelationrecognition)，旨在自动判断两个句子或者子句之间的语义关系。例如，转折关系以及因果关系等。如上所述，根据两个句子之间是否存在连接词，可进一步分为显式篇章关系识别以及隐式篇章关系识别。如例1所示为带有连接词“从而”的显式篇章关系实例，例2为省略了连接词的隐式篇章关系实例。显式篇章关系识别只需针对少数存在歧义的连接词进行消歧，性能已经达到了实用的要求。相对而言，由于缺少连接词，隐式篇章关系识别需要先建模两个句子的语义，然后推理出它们之间的关系。目前，隐式篇章关系识别的准确率还比较低，离实用尚有一定的差距。针对多级隐式篇章关系识别，由于多个级别的篇章关系所代表的语义关系之间具有层次性，且篇章关系预测结果之间具有一定的依赖关系。然而，现有技术中，不仅没有有效地利用语义的层次性，也没有利用预测结果之间的依赖关系，从而导致多个级别的隐式篇章关系识别任务之间信息共享存在一定障碍的问题。
技术实现思路
鉴于上述状况，有必要解决现有技术中，由于没有有效地利用语义的层次性，以及预测结果之间的依赖关系，从而导致多个级别的隐式篇章关系识别任务之间信息共享存在一定障碍的问题。本专利技术实施例提供了一种隐式篇章关系识别方法，其中，所述方法包括如下步骤：步骤一：接收编码器发送的全局语义关系向量以及局部语义关系向量，将所述全局语义关系向量作为GRU网络的第零个隐状态；步骤二：将上一级对应的隐状态以及所有的所述局部语义关系向量，根据注意力机制计算得到当前级别篇章关系的局部语义关系信息；步骤三：将上一级别的篇章关系向量与所述当前级别篇章关系对应的所述局部语义关系信息进行拼接后，输入至当前GRU单元，以计算得到当前级别的隐式篇章关系。本专利技术提出的隐式篇章关系识别方法，解码器首先接收编码器所发送的全局语义关系向量以及局部语义关系向量，将全局语义关系向量作为GRU网络的第零个隐状态，然后将上一级对应的隐状态以及所有的局部语义关系向量，计算得到当前级别篇章关系的局部语义关系信息，最后将上一级别的篇章关系向量与当前级别篇章关系的局部语义关系信息进行拼接，最终计算得到当前级别的隐式篇章关系。在本专利技术中，基于门机制有选择地共享全局语义关系信息，并基于注意力机制提取特定于当前级别任务的局部语义关系信息，不仅达到了在多个级别的隐式篇章关系识别任务之间实现信息共享的目的，也满足了不同级别的任务需要不同粒度的信息。与此同时，通过序列生成的方式来达到多级隐式篇章关系识别，可有效地建模任意两级篇章关系的预测结果之间可能存在的依赖。所述隐式篇章关系识别方法，其中，在所述步骤二中，所述计算得到当前级别篇章关系的局部语义关系信息的方法包括如下步骤：根据上一级对应的隐状态以及每个所述局部语义关系向量计算得到对应的权重分布；根据所述权重分布以及每个所述局部语义关系向量计算得到所述当前级别篇章关系的局部语义关系信息。所述隐式篇章关系识别方法，其中，所述根据上一级对应的隐状态以及每个所述局部语义关系向量计算得到对应的权重分布的方法对应的公式表达式为：其中，表示根据注意力机制计算得到的第i个权重分布，表示第j-1级篇章关系的隐状态，为注意力机制参数，表示第i个局部语义关系向量，l为局部语义关系向量的个数；表示根据注意力机制计算得到的权重分布；所述根据所述权重分布以及每个所述局部语义关系向量计算得到所述当前级别篇章关系的局部语义关系信息的方法对应的公式表达式为：其中，表示第j级篇章关系的局部语义关系信息。所述隐式篇章关系识别方法，其中，在所述步骤三中，输入至所述当前GRU单元的数据表达式为：其中，为当前GRU单元的输入，为所预测的第j-1级篇章关系的向量表示，表示第j级篇章关系的局部语义关系信息。所述隐式篇章关系识别方法，其中，在所述步骤三中，还存在如下关系式：其中，表示第j个重置门，表示第j个更新门，均为GRU单元的矩阵参数，表示当前时刻的状态信息，表示第j级篇章关系的隐状态，。所述隐式篇章关系识别方法，其中，所述方法还包括如下步骤：根据第j级篇章关系的隐状态进行篇章关系分类，以得到第j级篇章关系预测结果；对应的表达式为：表示第j级篇章关系的预测结果，MLP为多层感知机，softmax为用于计算概率的归一化指数函数。所述隐式篇章关系识别方法，其中，在所述步骤一之前，所述方法还包括：计算所输入的第一语句与第二语句之间的词对相关性矩阵，根据所述词对相关性矩阵，从行和列两个方向分别进行归一化处理得到第一权重矩阵以及第二权重矩阵；根据所述第一权重矩阵以及所述第二权重矩阵计算得到第一局部语义关系特征以及第二局部语义关系特征；根据所述第一局部语义关系特征以及所述第二局部语义关系特征，提取得到所述全局语义关系向量。所述隐式篇章关系识别方法，其中，所述词对相关性矩阵、所述第一权重矩阵以及所述第二权重矩阵之间存在如下关系式：其中，为所述词对相关性矩阵，为所述第一权重矩阵，为所述第二权重矩阵，为需要训练的参数矩阵，为输入的第一语句，为输入的第二语句；所述第一局部语义关系特征、所述第二局部语义关系特征与所述第一权重矩阵以及所述第二权重矩阵之间存在如下关系：其中，为第一加权求和矩阵，为第二加权求和矩阵，为所述第一局部语义关系特征，为所述第二局部语义关系特征，“；”表示矩阵或向量的拼接操作，和为多层非线性前馈神经网络；所述全局语义本文档来自技高网...

【技术保护点】
1.一种隐式篇章关系识别方法，其特征在于，所述方法包括如下步骤：/n步骤一：接收编码器发送的全局语义关系向量以及局部语义关系向量，将所述全局语义关系向量作为GRU网络的第零个隐状态；/n步骤二：将上一级对应的隐状态以及所有的所述局部语义关系向量，根据注意力机制计算得到当前级别篇章关系的局部语义关系信息；/n步骤三：将上一级别的篇章关系向量与所述当前级别篇章关系对应的所述局部语义关系信息进行拼接后，输入至当前GRU单元，以计算得到当前级别的隐式篇章关系；/n其中，所述计算得到当前级别篇章关系的局部语义关系信息的方法包括如下步骤：/n根据上一级对应的隐状态以及每个所述局部语义关系向量计算得到对应的权重分布；/n根据所述权重分布以及每个所述局部语义关系向量计算得到所述当前级别篇章关系的局部语义关系信息；/n其中，所述根据上一级对应的隐状态以及每个所述局部语义关系向量计算得到对应的权重分布的方法对应的公式表达式为：/n

【技术特征摘要】
1.一种隐式篇章关系识别方法，其特征在于，所述方法包括如下步骤：
步骤一：接收编码器发送的全局语义关系向量以及局部语义关系向量，将所述全局语义关系向量作为GRU网络的第零个隐状态；
步骤二：将上一级对应的隐状态以及所有的所述局部语义关系向量，根据注意力机制计算得到当前级别篇章关系的局部语义关系信息；
步骤三：将上一级别的篇章关系向量与所述当前级别篇章关系对应的所述局部语义关系信息进行拼接后，输入至当前GRU单元，以计算得到当前级别的隐式篇章关系；
其中，所述计算得到当前级别篇章关系的局部语义关系信息的方法包括如下步骤：
根据上一级对应的隐状态以及每个所述局部语义关系向量计算得到对应的权重分布；
根据所述权重分布以及每个所述局部语义关系向量计算得到所述当前级别篇章关系的局部语义关系信息；
其中，所述根据上一级对应的隐状态以及每个所述局部语义关系向量计算得到对应的权重分布的方法对应的公式表达式为：



其中，表示根据注意力机制计算得到的第个权重分布，表示第级篇章关系的隐状态，为注意力机制参数，表示第个局部语义关系向量，为局部语义关系向量的个数；




表示根据注意力机制计算得到的权重分布；
所述根据所述权重分布以及每个所述局部语义关系向量计算得到所述当前级别篇章关系的局部语义关系信息的方法对应的公式表达式为：



其中，表示第级篇章关系的局部语义关系信息。


2.根据权利要求1所述的隐式篇章关系识别方法，其特征在于，在所述步骤三中，输入至所述当前GRU单元的数据表达式为：



其中，为当前GRU单元的输入，为所预测的第级篇章关系的向量表示，表示第级篇章关系的局部语义关系信息。


3.根据权利要求2所述的隐式篇章关系识别方法，其特征在于，在所述步骤三中，还存在如下关系式：












其中，表示第个重置门，表示第个更新门，均为GRU单元的矩阵参数，表示当前时刻的状态信息，表示第级篇章关系的隐状态，。


4.根据权利要求3所述的隐式篇章关系识别方法，其特征在于，所述方法还包括如下步骤：
根据第级篇章关系的隐状态进行篇章关系分类，以得到第级篇章关系预测结果；
对应的表达式为：




表示第级篇章关系的预测结果，MLP为多层感知机，softmax为用于计算概率的归一化指数函数。


5.根据权利要求1所述的隐式篇章关系识别方法，其特征在于，在所述步骤一之前，所述方法还包括：
计算所输入的第一语句与第二语句之间的词对相关性矩阵，根据所述词对相关性矩阵，从行和列两个方向分别进行归一化处理得到第一权重矩阵以及第二权重矩阵；
根据所述第一...

【专利技术属性】
技术研发人员：邬昌兴，俞亮，胡超文，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：江西;36