一种面向智能问答系统的命名实体识别方法技术方案

一种面向智能问答系统的命名实体识别方法，包括如下步骤：为每条样本以滑动窗口的方式拼接上下文，并将普通的文本数据形式转化为机器阅读理解数据的形式；通过Bert预训练模型生成词向量特征；根据词向量特征，分别使用多尺度卷积与双向时序运算对其进行编码，得到样本的全局特征与局部特征；以等权重的方式为词向量特征拼接上全局特征与局部特征以增强词向量特征，得到上下文特征；对上下文特征采用多个线性网络识别文本中的命名实体。本发明专利技术能够充分利用问答系统中用户输入句子的上下文信息，以精准地抽取出用户问题中的命名实体；可以在命名实体识别的公开数据上都取得优异的效果，在对准确率要求较高的智能问答系统中具有良好的实用性。具有良好的实用性。具有良好的实用性。

【技术实现步骤摘要】
一种面向智能问答系统的命名实体识别方法


[0001]本专利技术涉及自然语言处理与人工智能
，具体涉及一种面向智能问答系统的命名实体识别方法。

技术介绍

[0002]命名实体识别指的是从给定的文本中提取出预定义实体的算法。如何使计算机准确编码一个句子的语义信息是智能问答系统需要解决的一个关键问题。一套完整的智能问答系统一般包含四个基本任务：信息抽取、词法分析、信息检索以及文本生成。信息抽取领域中，命名实体识别作为重要分支，其任务是标注语句中的实体，有着非常关键的意义。作为文本的基本单位，它包含大量的语义信息，在编码客户问句语义信息方面有着重要作用。
[0003]传统基于特征工程的有监督学习方法解决命名实体识别时，需要人类进行手工提取特征，浪费了很多人力，并且人们的经验可能在特征的提取过程中出错从而导致误差的传播，方法的效果有限。
[0004]随着深度学习在自然语言处理领域的发展，越来越多的使用深度学习的命名实体识别方法被提出。在这些方法中，需要将句子转换成词向量的形式，并通过深度学习模型进行一些运算，命名实体识别任务可以转换成一个令牌分类的问题。最近在自然语言表示方面的进展使得将上游训练好的模型的内部状态迁移到下游的任务当中成为了可能，为了更好的利用预训练模型，将命名实体识别任务转化为一个机器阅读理解任务受到了广泛关注。而传统使用序列标注的方式解决命名实体识别任务的方法无法引入人为的先验知识，导致命名实体识别的精度不足。

技术实现思路

[0005]为了克服现有技术中存在的命名实体识别方法准确率不够、效率不足以及未充分发挥机器阅读理解模型性能的问题，提供一种面向智能问答系统的命名实体识别方法，其能够精准识别问答系统中用户输入的句子中的实体，可以在命名实体识别的公开数据上都取得优异的效果，在对准确率要求较高的问答系统中具有良好的实用性。
[0006]技术方案：为实现上述目的，本专利技术提供一种面向智能问答系统的命名实体识别方法，包括如下步骤：
[0007]一种面向智能问答系统的命名实体识别方法，包括如下步骤：
[0008]S1：为每条目标样本以滑动窗口的方式拼接上下文，并将问答系统中的对话数据作为普通的文本数据形式，将其转化为机器阅读理解数据的形式，同时为每个样本拼接一个自然语言问题得到样本的初始向量s；
[0009]S2：将向量s作为输入传给Bert预训练模型，得到词向量特征表示矩阵E
bert
；
[0010]S3：将矩阵E
bert
分别通过正向时序运算和反向时序运算，并将两次运算的结果进行垂直拼接，得到局部特征表示矩阵E
Local
；
[0011]S4：将矩阵E
bert
分别通过卷积运算以及池化运算，得到向量l，并将l扩展成与E
local
同样的形状，得到全局特征表示矩阵E
global
；将E
bert
、E
local
、E
global
以等权重的方式在水平方向上进行拼接得到上下文特征表示矩阵E
context
；
[0012]S5：使用两个矩阵：开始线性变换矩阵T
start
、结束位置线性变化矩阵T
end
，分别对E
context
进行线性变换，得到对应的开始位置预测概率矩阵I
start
以及结束位置预测概率矩阵I
end
；并对两个概率表示矩阵使用argmax函数，得到每个令牌是否可以作为开始索引或结束索引的结果
[0013]S6：对于目标文本中的每个开始位置的令牌，将其特征表示与目标文本中的每一个结束位置的令牌的特征表示进行水平拼接得到向量m
i
；将所有的向量m
i
垂直拼接得到矩阵E
match
；使用线性变换矩阵T
match
与E
match
相乘，再使用Sigmoid函数对结果进行归一化；将概率大于等于阈值的一组令牌作为从样本中的抽取出的某个实体开始与结束，该抽取的实体即为识别的结果。
[0014]进一步地，所述步骤S3中的正向时序运算是对矩阵E
bert
＝[k
<1>
；k
<2>
；
…
；k
<n>
]的每一列向量按照从左到右的顺序依次进行如下计算：
[0015][0016][0017][0018][0019][0020]c
t
＝f
t
·
c
t
‑1+g
t
·
i
t
[0021][0022][0023]其中，k
<t>
为矩阵E
bert
第t列的列向量，在每次计算完成后将会得到记录信息的两个向量c
t
、这两个向量将参与下一次的运算，在每次计算中，都会得到四个中间向量i
t
、f
t
、o
t
、g
t
，在计算中间向量时，E
i
、E
f
、E
o
、E
g
分别为生成中间向量时对输入向量k
<t>
的权重转移矩阵，U
i
、U
f
、U
o
、U
g
分别为生成中间向量时对前一次运算得到的向量c
t
‑1的权重转移矩阵，b
i
、b
f
、b
o
、b
g
分别为计算中间向量时添加的偏置向量，σ、ta为激活函数，exp表示指数函数，
·
表示将参与运算向量中同一位置的元素进行相乘并得到一个同样维度的向量的运算，将每次计算所得到的依次排序，将得到正向时序运算的矩阵。
[0024]进一步地，所述步骤S3中的反向时序运算，需要将E
bert
中的列向量按照[k
<n>
；k
<n
‑
1>
；
…
；k
<1>
]的顺序反向排列，然后将反向排列过的矩阵中的列向量按从左到右的顺序依次进行运算获取到输出向量。
[0025]进一步地，所述步骤S4中将矩阵E
bert
分别通过多个尺度的卷积运算以及池化运算得到向量l后，再得到矩阵E
global
与E
context
的具体运算过程为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向智能问答系统的命名实体识别方法，其特征在于：包括如下步骤：S1：为每条目标样本以滑动窗口的方式拼接上下文，并将问答系统中的对话数据作为普通的文本数据形式，将其转化为机器阅读理解数据的形式，同时为每个样本拼接一个自然语言问题得到样本的初始向量s；S2：将向量s作为输入传给Bert预训练模型，得到词向量特征表示矩阵E
bert
；S3：将矩阵E
bert
分别通过正向时序运算和反向时序运算，并将两次运算的结果进行垂直拼接，得到局部特征表示矩阵E
Local
；S4：将矩阵E
bert
分别通过卷积运算以及池化运算，得到向量l，并将l扩展成与E
Local
同样的形状，得到全局特征表示矩阵E
global
；将E
bert
、E
local
、E
global
以等权重的方式在水平方向上进行拼接得到上下文特征表示矩阵E
context
；S5：使用两个矩阵：开始线性变换矩阵T
start
、结束位置线性变化矩阵T
end
，分别对E
context
进行线性变换，得到对应的开始位置预测概率矩阵I
start
以及结束位置预测概率矩阵I
end
；并对两个概率表示矩阵使用argmax函数，得到每个令牌是否可以作为开始索引或结束索引的结果S6：对于目标文本中的每个开始位置的令牌，将其特征表示与目标文本中的每一个结束位置的令牌的特征表示进行水平拼接得到向量m
i
；将所有的向量m
i
垂直拼接得到矩阵E
match
；使用线性变换矩阵T
match
与E
match
相乘，再使用Sigmoid函数对结果进行归一化；将概率大于等于阈值的一组令牌作为从样本中的抽取出的某个实体开始与结束，该抽取的实体即为识别的结果。2.根据权利要求1所述的一种面向智能问答系统的命名实体识别方法，其特征在于：所述步骤S3中的正向时序运算是对矩阵E
bert
＝[k
<1>
；k
<2>
；
…
；k
<n>
]的每一列向量按照从左到右的顺序依次进行如下计算：右的顺序依次进行如下计算：右的顺序依次进行如下计算：右的顺序依次进行如下计算：右的顺序依次进行如下计算：c
t
＝f
t
·
c
t
‑1+g
t
·
i
tt
其中，k
<t>
为矩阵E
bert
第t列的列向量，在每次计算完成后将会得到记录信息的两个向量c
t
、这两个向量将参与下一次的运算，在每次计算中，都会得到四个中间向量i
t
、f
t
、o
t
、g
t
，在计算中间向量时，E
i
、E
f
、E
o
、E
g
分别为生成中间向量时对输入向量k
<t>
的权重转移矩阵，
U
i
、U
f
、U
o
、U
g
分别为生成中间向量时对前一次运算得到的向量c
t
‑1的权重转移矩阵，b
i
、b
f
、b
o
、b
g
分别为计算中间向量时添加的偏置向...

【专利技术属性】
技术研发人员：徐小龙，费岳凡，朱曼，吴晓诗，胡慧娟，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：