统一信息抽取方法和装置制造方法及图纸

本说明书实施例提供一种统一信息抽取方法和装置，方法包括：获取目标文本及信息抽取任务对应的提示词序列；提示词序列包括指示任务类型的第一提示词，及指示待提取的要素类型的第二提示词；将各提示词，及目标文本中的各字分别作为单个输入单元输入预先训练的编码器，得到各输入单元分别对应的初始嵌入向量；利用注意力处理模型，基于各初始嵌入向量确定各个字与提示词序列之间的注意力，基于注意力和各初始嵌入向量得到各输入单元分别对应的二次嵌入向量；利用关系处理模型，根据各二次嵌入向量，确定相关性矩阵，至少包括第一关系矩阵和第二关系矩阵；基于第一关系矩阵确定抽取要素的边界，基于第二关系矩阵确定抽取要素的要素类型

【技术实现步骤摘要】
统一信息抽取方法和装置


[0001]本说明书一个或多个实施例涉及计算机领域，尤其涉及统一信息抽取方法和装置
。

技术介绍

[0002]信息抽取任务
(information extraction
，
IE)
是自然语言处理中一个常见的任务，旨在从非结构化的文本中识别跟输出结构化的信息，包括命名实体识别
(named entity recognition
，
NER)
任务
、
实体关系抽取任务
、
事件抽取任务等等，由于这些任务对应的信息可以辅助其他任务，所以通常模型会联合多个任务训练
。
通过统一信息抽取，可以实现对不同信息抽取任务的统一建模，无论是命名实体识别任务，还是实体关系抽取任务，或者是事件抽取任务，并且无论是具体哪个领域要抽取的信息类型，都可以通过该统一信息抽取实现
。
[0003]现有技术中，统一信息抽取基于神经网络模型而实现，不能实现快速类别扩展，不能对少样本类型提供支持，模型的迭代效率低
。
其中，模型训练过程中需要基于样本数据而进行，样本数据中包括的特征数据或者标签数据可能属于隐私数据，需要保护隐私数据不被泄露
。
[0004]因此，需要提供一种统一信息抽取方案，能够实现快速类别扩展，能对少样本类型提供支持，模型的迭代效率更高
。

技术实现思路

[0005]本说明书一个或多个实施例描述了一种统一信息抽取方法和装置，能够实现快速类别扩展，能对少样本类型提供支持，模型的迭代效率更高
。
[0006]第一方面，提供了一种统一信息抽取方法，方法包括：
[0007]获取目标文本及信息抽取任务对应的提示词序列；所述提示词序列包括指示任务类型的第一提示词，以及指示待提取的要素类型的第二提示词；
[0008]将所述提示词序列中的各个提示词，以及所述目标文本中的各个字分别作为单个输入单元，将各输入单元输入预先训练的编码器，得到各输入单元分别对应的初始嵌入向量；
[0009]利用注意力处理模型，基于各初始嵌入向量确定各个字与提示词序列之间的注意力，基于所述注意力和各初始嵌入向量得到各输入单元分别对应的二次嵌入向量；
[0010]利用关系处理模型，根据各二次嵌入向量，确定相关性矩阵，所述相关性矩阵至少包括第一关系矩阵和第二关系矩阵，其中第一关系矩阵表征所述目标文本中各个字与自身的相关性系数，第二关系矩阵表征所述目标文本中各个字分别与所述提示词序列中的各个提示词的相关性系数；所述注意力处理模型和所述关系处理模型预先联合训练；
[0011]基于所述第一关系矩阵确定在所述目标文本中抽取要素的边界，基于所述第二关系矩阵确定在所述目标文本中抽取要素的要素类型；
[0012]根据所述边界和要素类型，确定所述信息抽取任务的输出信息
。
[0013]在一种可能的实施方式中，所述信息抽取任务属于命名实体识别任务；所述第一提示词用于指示的任务类型为命名实体识别任务；所述第二提示词用于指示的待提取的要素类型为实体类型；
[0014]所述确定所述信息抽取任务的输出信息，包括：
[0015]将所述边界范围内的字组合为一个实体，将该实体和该实体的实体类型组合为一个结构化输出单元，以构成所述输出信息
。
[0016]在一种可能的实施方式中，所述相关性矩阵还包括第三关系矩阵，其中第三关系矩阵表征所述目标文本中各个字之间的相关性系数；
[0017]所述方法还包括：
[0018]基于所述第三关系矩阵确定在所述目标文本中抽取要素之间的关联关系；
[0019]所述根据所述边界和要素类型，确定所述信息抽取任务的输出信息，包括：
[0020]根据所述边界
、
要素类型和所述关联关系，确定所述信息抽取任务的输出信息
。
[0021]进一步地，所述信息抽取任务属于实体关系抽取任务；所述第一提示词用于指示的任务类型为待抽取的实体关系的关系类型；所述第二提示词用于指示的待提取的要素类型为满足所述关系类型的主体或客体；
[0022]所述根据所述边界
、
要素类型和所述关联关系，确定所述信息抽取任务的输出信息，包括：
[0023]将所述边界范围内的字组合为一个实体；从所述要素类型为主体的实体
、
所述要素类型为客体的实体中，选取二者之间具有的关联关系为所述关系类型的实体组合为一个结构化输出单元，以构成所述输出信息
。
[0024]进一步地，所述信息抽取任务属于事件抽取任务；所述第一提示词用于指示的任务类型为待抽取的事件的事件类型；所述第二提示词用于指示的待提取的要素类型为满足所述事件类型的触发词或论元；
[0025]所述根据所述边界
、
要素类型和所述关联关系，确定所述信息抽取任务的输出信息，包括：
[0026]将所述边界范围内的字组合为一个实体；从所述要素类型为触发词的实体
、
所述要素类型为论元的实体中，选取实体之间的关联关系为所述事件类型的实体组合为一个结构化输出单元，以构成所述输出信息
。
[0027]在一种可能的实施方式中，基于各初始嵌入向量确定各个字与提示词序列之间的注意力，基于所述注意力和各初始嵌入向量得到各输入单元分别对应的二次嵌入向量，包括：
[0028]根据所述目标文本中的任意一个字对应的初始嵌入向量，以及所述提示词序列中的第二提示词对应的初始嵌入向量，利用第一参数，确定该字与第二提示词之间的第一相关性得分；
[0029]根据所述第一相关性得分，对该字对应的初始嵌入向量进行加权处理，得到该字对应的中间嵌入向量；
[0030]根据该字对应的中间嵌入向量，以及所述提示词序列中的第一提示词对应的初始嵌入向量，利用第二参数，确定该字与第一提示词之间的第二相关性得分；
[0031]根据所述第二相关性得分，对该字对应的中间嵌入向量进行加权处理，得到该字对应的二次嵌入向量，其中所述第一参数和第二参数是所述注意力处理模型中经训练得到的参数
。
[0032]在一种可能的实施方式中，所述注意力处理模型和所述关系处理模型通过以下方式联合训练：
[0033]获得样本文本，样本提示序列，以及标注好的相关性矩阵；
[0034]将所述样本提示序列中的各个提示词，以及所述样本文本中的各个字分别作为单个输入单元输入所述编码器，得到各输入单元分别对应的初始嵌入向量；
[0035]利用所述注意力处理模型，得到各输入单元分别对应的二次嵌入向量；
[0036]利用所述关系处理模型，根据各二次嵌入向量，预测得到相关性矩阵；
[0037]根据预测的相关性矩阵与所述标注好的相关性矩阵的差异，更新所述注意力处理模型和所述关系处理模型
。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种统一信息抽取方法，所述方法包括：获取目标文本及信息抽取任务对应的提示词序列；所述提示词序列包括指示任务类型的第一提示词，以及指示待提取的要素类型的第二提示词；将所述提示词序列中的各个提示词，以及所述目标文本中的各个字分别作为单个输入单元，将各输入单元输入预先训练的编码器，得到各输入单元分别对应的初始嵌入向量；利用注意力处理模型，基于各初始嵌入向量确定各个字与提示词序列之间的注意力，基于所述注意力和各初始嵌入向量得到各输入单元分别对应的二次嵌入向量；利用关系处理模型，根据各二次嵌入向量，确定相关性矩阵，所述相关性矩阵至少包括第一关系矩阵和第二关系矩阵，其中第一关系矩阵表征所述目标文本中各个字与自身的相关性系数，第二关系矩阵表征所述目标文本中各个字分别与所述提示词序列中的各个提示词的相关性系数；所述注意力处理模型和所述关系处理模型预先联合训练；基于所述第一关系矩阵确定在所述目标文本中抽取要素的边界，基于所述第二关系矩阵确定在所述目标文本中抽取要素的要素类型；根据所述边界和要素类型，确定所述信息抽取任务的输出信息
。2.
如权利要求1所述的方法，其中，所述信息抽取任务属于命名实体识别任务；所述第一提示词用于指示的任务类型为命名实体识别任务；所述第二提示词用于指示的待提取的要素类型为实体类型；所述确定所述信息抽取任务的输出信息，包括：将所述边界范围内的字组合为一个实体，将该实体和该实体的实体类型组合为一个结构化输出单元，以构成所述输出信息
。3.
如权利要求1所述的方法，其中，所述相关性矩阵还包括第三关系矩阵，其中第三关系矩阵表征所述目标文本中各个字之间的相关性系数；所述方法还包括：基于所述第三关系矩阵确定在所述目标文本中抽取要素之间的关联关系；所述根据所述边界和要素类型，确定所述信息抽取任务的输出信息，包括：根据所述边界
、
要素类型和所述关联关系，确定所述信息抽取任务的输出信息
。4.
如权利要求3所述的方法，其中，所述信息抽取任务属于实体关系抽取任务；所述第一提示词用于指示的任务类型为待抽取的实体关系的关系类型；所述第二提示词用于指示的待提取的要素类型为满足所述关系类型的主体或客体；所述根据所述边界
、
要素类型和所述关联关系，确定所述信息抽取任务的输出信息，包括：将所述边界范围内的字组合为一个实体；从所述要素类型为主体的实体
、
所述要素类型为客体的实体中，选取二者之间具有的关联关系为所述关系类型的实体组合为一个结构化输出单元，以构成所述输出信息
。5.
如权利要求3所述的方法，其中，所述信息抽取任务属于事件抽取任务；所述第一提示词用于指示的任务类型为待抽取的事件的事件类型；所述第二提示词用于指示的待提取的要素类型为满足所述事件类型的触发词或论元；所述根据所述边界
、
要素类型和所述关联关系，确定所述信息抽取任务的输出信息，包括：
将所述边界范围内的字组合为一个实体；从所述要素类型为触发词的实体
、
所述要素类型为论元的实体中，选取实体之间的关联关系为所述事件类型的实体组合为一个结构化输出单元，以构成所述输出...

【专利技术属性】
技术研发人员：徐军，孙梦姝，李若鹏，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：