一种实体命名识别方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能和数字医疗领域，揭露了一种实体命名识别方法、装置、设备及存储介质，所述方法包括：获取待处理文本；从预设语料库中随机选取预设的平行语料，按预设比例对待处理文本进行替换，得到平行文本；将平行文本与待处理文本输入识别模型中的向量转换层进行向量转换，得到待处理文本和平行文本对应的字向量，计算平行文本与待处理文本对应字向量的相似度；当相似度大于预设数值时，将待处理文本对应的字向量输入识别模型中的LSTM层，得到待处理文本中各字词对应的类型分布概率；将类型分布概率输入识别模型中的条件随机场层，得到实体命名。本申请还涉及区块链技术，待处理文本数据存储于区块链中。本申请能提高实体命名识别的准确率。命名识别的准确率。命名识别的准确率。

【技术实现步骤摘要】
一种实体命名识别方法、装置、设备及存储介质


[0001]本申请涉及人工智能领域，尤其涉及一种实体命名识别方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术不断的发展以及日常工作、生活等需求场景的大量涌现，实体识别NER被广泛应用于我们的工作和生活需求中，如在电商网站中输入的文字中识别出产品的名字，药物的名字等，在一句描述中识别出人名、地名等。在现有技术中，实体识别的主要技术方法分为：基于规则和词典的方法、基于统计的方法、二者混合的方法、神经网络的方法等，基于统计的方法主要包括隐马尔可夫模型(HiddenMarkovMode,HMM)、最大熵(MaxmiumEntropy)、支持向量机(Support VectorMachine,SVM)等，但现有技术中的方案存在对于某些实体词存在一词多义的情况下，对其识别的准确度不高的情况，因此，如何解决某些实体词存在一词多义的情况下，对其识别的准确度不高的问题成为了亟待解决的问题。

技术实现思路

[0003]本申请提供了一种实体命名识别方法、装置、设备及存储介质，以解决现有技术中某些词一词多义，导致对实体命名的识别不准确的问题。
[0004]为解决上述问题，本申请提供了一种实体命名识别方法，包括：
[0005]获取待处理文本；
[0006]从预设语料库中随机选取预设的平行语料，按预设比例对所述待处理文本进行替换，得到平行文本；
[0007]将所述待处理文本与所述平行文本输入至识别模型中的向量转换层进行向量转换，得到所述待处理文本和所述平行文本对应的字向量，并计算所述待处理文本与所述平行文本对应字向量间的相似度；
[0008]当所述相似度大于预设数值时，将所述待处理文本对应的字向量输入所述识别模型中的LSTM层，得到所述待处理文本中各字词对应的类型分布概率；
[0009]将所述类型分布概率输入至所述识别模型中的条件随机场层，得到所述待处理文本中的实体命名。
[0010]进一步的，所述从预设语料库中随机选取预设的平行语料，按预设比例对所述待处理文本进行替换包括：
[0011]基于预设的关键词集和所述待处理文本，确定所述待处理文本的关键词；
[0012]根据所述待处理文本与所述关键词，利用预设的平行语料替换预设比例的所述待处理文本中的内容，得到平行文本。
[0013]进一步的，在所述将所述待处理文本与所述平行文本输入至识别模型中的向量转换层进行向量转换之前，还包括：
[0014]所述待处理文本和所述平行文本经所述识别模型中的嵌入层处理，得到对应的第一向量和第二向量；
[0015]所述将所述待处理文本与所述平行文本输入至识别模型中的向量转换层进行向量转换，得到所述待处理文本和所述平行文本对应的字向量包括：
[0016]所述向量转化层中的注意力层根据所述第一向量和第二向量，分别计算所述待处理文本与所述平行文本中的各字词对于所述关键词的注意力向量；
[0017]所述注意力向量经所述向量转换层中的两个全连接层处理，得到所述平行文本和所述待处理文本中各字词对应的字向量。
[0018]进一步的，所述向量转化层中的注意力层根据所述第一向量，计算所述所述待处理文本中的各字词对于所述关键词的注意力向量包括：
[0019]将所述第一向量分别与预训练后得到的参数矩阵相乘，得到对应的Q矩阵、K矩阵和V矩阵；
[0020]通过将所述Q矩阵与所述K矩阵进行点乘，将点乘得到的第一结果再除以所述Q矩阵对应维度的开方，得到第二结果，将所述第二结果再经Softmax计算，得到权重矩阵；
[0021]将所述权重矩阵的所述V矩阵相乘，得到第一矩阵；
[0022]将所述第一矩阵经所述向量转化层中的全连接层处理，得到所述待处理文本对应的所述注意力向量。
[0023]进一步的，所述计算所述待处理文本与所述平行文本对应字向量间的相似度包括：
[0024]获取所述平行文本中替换文本对应的第一字向量，以及所述待处理文本中被替换文本对应的第二字向量；
[0025]计算所述第一字向量与所述第二字向量的余弦相似度，得到所述待处理文本与所述平行文本对应字向量间的相似度。
[0026]进一步的，在所述将所述待处理文本对应的字向量输入所述识别模型中的LSTM层之前，还包括：
[0027]将所述待处理文本对应的字向量通过所述识别模型中的Dropout层处理，以抑制所述识别模型过拟合。
[0028]进一步的，在所述将所述类型分布概率输入至所述识别模型中的条件随机场层之前，还包括：
[0029]所述类型分布概率还经所述识别模型中的Dropout层和线性变换层处理。
[0030]为了解决上述问题，本申请还提供一种实体命名识别装置，所述装置包括：
[0031]获取模块，用于获取待处理文本；
[0032]替换模块，用于从预设语料库中随机选取预设的平行语料，按预设比例对所述待处理文本进行替换，得到平行文本；
[0033]相似度计算模块，用于将所述待处理文本与所述平行文本输入至识别模型中的向量转换层进行向量转换，得到所述待处理文本和所述平行文本对应的字向量，并计算所述待处理文本与所述平行文本对应字向量间的相似度；
[0034]概率计算模块，用于当所述相似度大于预设数值时，将所述待处理文本对应的字向量输入所述识别模型中的LSTM层，得到所述待处理文本中各字词对应的类型分布概率；
[0035]实体提取模块，用于将所述类型分布概率输入至所述识别模型中的条件随机场层，得到所述待处理文本中的实体命名。
[0036]为了解决上述问题，本申请还提供一种计算机设备，包括：
[0037]至少一个处理器；以及，
[0038]与所述至少一个处理器通信连接的存储器；其中，
[0039]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的实体命名识别方法。
[0040]为了解决上述问题，本申请还提供一种非易失性的计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的实体命名识别方法。
[0041]根据本申请实施例提供的一种实体命名识别方法、装置、设备及存储介质，与现有技术相比至少具有以下有益效果：
[0042]通过获取待处理文本，随后从预设语料库中随机选取预设的平行语料，并按有何比例对所述待处理文本进行替换，得到平行文本，从而可以便于实现平行文本与待处理文本间的比对，再将所述待处理文本与所述平行文本输入识别模型的向量转换层进行向量转化，得到对应的字向量，并根据所述字向量计算所述待处理文本与所述平行文本的相似度，来判断所述实体命名是否为一词多义，且所述实体命名的意思是否与平行文本中的相同，当所述相似度大于预设数值时，证明所述待处理文本中可能存在实体，再将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体命名识别方法，其特征在于，所述方法包括：获取待处理文本；从预设语料库中随机选取预设的平行语料，按预设比例对所述待处理文本进行替换，得到平行文本；将所述待处理文本与所述平行文本输入至识别模型中的向量转换层进行向量转换，得到所述待处理文本和所述平行文本对应的字向量，并计算所述待处理文本与所述平行文本对应字向量间的相似度；当所述相似度大于预设数值时，将所述待处理文本对应的字向量输入所述识别模型中的LSTM层，得到所述待处理文本中各字词对应的类型分布概率；将所述类型分布概率输入至所述识别模型中的条件随机场层，得到所述待处理文本中的实体命名。2.根据权利要求1所述的实体命名识别方法，其特征在于，所述从预设语料库中随机选取预设的平行语料，按预设比例对所述待处理文本进行替换包括：基于预设的关键词集和所述待处理文本，确定所述待处理文本的关键词；根据所述待处理文本与所述关键词，利用预设的平行语料替换预设比例的所述待处理文本中的内容，得到平行文本。3.根据权利要求2所述的实体命名识别方法，其特征在于，在所述将所述待处理文本与所述平行文本输入至识别模型中的向量转换层进行向量转换之前，还包括：所述待处理文本和所述平行文本经所述识别模型中的嵌入层处理，得到对应的第一向量和第二向量；所述将所述待处理文本与所述平行文本输入至识别模型中的向量转换层进行向量转换，得到所述待处理文本和所述平行文本对应的字向量包括：所述向量转化层中的注意力层根据所述第一向量和第二向量，分别计算所述待处理文本与所述平行文本中的各字词对于所述关键词的注意力向量；所述注意力向量经所述向量转换层中的两个全连接层处理，得到所述平行文本和所述待处理文本中各字词对应的字向量。4.根据权利要求3所述的实体命名识别方法，其特征在于，所述向量转化层中的注意力层根据所述第一向量，计算所述待处理文本中的各字词对于所述关键词的注意力向量包括：将所述第一向量分别与预训练后得到的参数矩阵相乘，得到对应的Q矩阵、K矩阵和V矩阵；通过将所述Q矩阵与所述K矩阵进行点乘，将点乘得到的第一结果再除以所述Q矩阵对应维度的开方，得到第二结果，将所述第二结果再经Softmax计算，得到权重矩阵；将所述权重矩阵的所述V矩阵相乘，得到第一矩阵；...

【专利技术属性】
技术研发人员：谷坤，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：