实体链接模型的训练方法、实体链接方法及装置制造方法及图纸

本公开提供了一种实体链接模型的训练方法、实体链接方法，可以应用于金融领域和人工智能领域。该实体链接模型的训练方法包括：将待链接文本信息输入第一链接层，输出第一编码向量和第一候选实体信息；基于第一编码向量和第一候选实体信息，对第一编码向量进行更新，生成第二编码向量；将第二编码向量输入第二链接层，输出第二候选实体信息；基于第二编码向量和第二候选实体信息对第二候选实体信息进行更新，生成第三候选实体信息，第三候选实体信息包含待链接文本信息的语义信息；根据第二编码向量和第三候选实体信息，生成预测实体链接结果；以及根据预测实体链接结果训练待训练的实体链接模型，生成训练完成的实体链接模型。型。型。

【技术实现步骤摘要】
实体链接模型的训练方法、实体链接方法及装置


[0001]本公开涉及金融领域和人工智能领域，更具体地涉及一种实体链接模型的训练方法、实体链接方法、装置、设备、介质和程序产品。

技术介绍

[0002]知识库是由多条知识组成的库。在当今大数据时代，知识图谱是知识库的主要形式。知识图谱采用实体
‑
关系
‑
实体三元组的形式表示知识，并在整体上构成以实体为节点、以实体与实体之间的关系为边的图结构。知识图谱问答是知识图谱的典型应用形式之一，具体是针对用户输入的一个自然语言问句进行语义理解，之后从知识图谱中查询、推理得出相应的答案，以满足用户的需求。
[0003]实体链接是知识图谱问答实现问句语义理解、意图识别的一个根本任务。
[0004]专利技术人在实现本公开构思的过程中发现，相关技术中缺少一种既可以兼顾运算速度和链接准确率的实体链接方法。

技术实现思路

[0005]鉴于上述问题，本公开提供了提高运算速度与链接准确率的实体链接模型的训练方法、实体链接方法、装置、设备、介质和程序产品。
[0006]根据本公开的第一个方面，提供了一种实体链接模型的训练方法，其中，上述实体链接模型包括第一链接层和第二链接层；上述方法包括：
[0007]将待链接文本信息输入上述第一链接层，输出第一编码向量和第一候选实体信息；
[0008]基于上述第一编码向量和上述第一候选实体信息，对上述第一编码向量进行更新，生成第二编码向量，其中，上述第二编码向量包含上述第一候选实体信息的语义信息；
[0009]将上述第二编码向量输入上述第二链接层，输出第二候选实体信息；
[0010]基于上述第二编码向量和上述第二候选实体信息对上述第二候选实体信息进行更新，生成第三候选实体信息，其中，上述第三候选实体信息包含上述待链接文本信息的语义信息；
[0011]根据上述第二编码向量和上述第三候选实体信息，生成预测实体链接结果；以及
[0012]根据上述预测实体链接结果训练上述待训练的实体链接模型，生成训练完成的实体链接模型。
[0013]根据本公开的实施例，其中，上述基于上述第一编码向量和上述第一候选实体信息，对上述第一编码向量进行更新，生成第二编码向量包括：
[0014]根据上述第一编码向量和上述第一候选实体信息生成第一注意力矩阵；
[0015]根据上述第一注意力矩阵和上述第一候选实体信息生成第一向量矩阵；
[0016]利用上述第一向量矩阵对上述第一编码向量进行更新，生成上述第二编码向量。
[0017]根据本公开的实施例，其中，上述第一候选实体信息包括第一候选实体向量；
[0018]上述根据上述第一编码向量和上述第一候选实体信息生成第一注意力矩阵包括：
[0019]对上述第一候选实体向量进行转置操作，生成第三候选实体向量；
[0020]根据上述第三候选实体向量和上述第一编码向量，生成第二向量矩阵；
[0021]将上述第二向量矩阵输入softmax函数，输出上述第一注意力矩阵。
[0022]根据本公开的实施例，其中，上述利用上述第一向量矩阵对上述第一编码向量进行更新，生成上述第二编码向量包括：
[0023]根据上述第一注意力矩阵和上述第一候选实体向量生成第三向量矩阵，其中，上述第三向量矩阵与上述第一候选实体向量的维度相同；
[0024]将上述第三向量矩阵与上述第一编码向量进行对应位向量相加，生成上述第二编码向量。
[0025]根据本公开的实施例，其中，上述第一链接层包括第一编码器和第一预测层；
[0026]上述将待链接文本信息输入上述第一链接层，输出第一编码向量和第一候选实体信息包括：
[0027]将上述待链接文本信息输入上述第一编码器，输出上述第一编码向量；
[0028]将上述第一编码向量输入上述第一预测层，输出第一预测实体提及信息；
[0029]根据上述第一预测实体提及信息，从预先配置完成的知识图谱中确定上述第一候选实体信息。
[0030]根据本公开的实施例，其中，上述知识图谱中包括N个实体，N为大于1的整数；
[0031]上述根据上述第一预测实体提及信息，从预先配置完成的知识图谱中确定上述第一候选实体信息包括：
[0032]将上述第一预测实体提及信息与M个实体计算相似度距离，生成M个相似度结果，其中，M大于1小于等于N；
[0033]根据预设规则，从上述M个相似度结果中确定L个目标相似度结果，L大于等于1小于等于M；
[0034]根据上述L个目标相似度结果，确定L个目标实体；
[0035]根据上述L个目标实体生成上述第一候选实体信息。
[0036]根据本公开的实施例，其中，上述第二链接层包括第二预测层；
[0037]上述将上述第二编码向量输入上述第二链接层，输出第二候选实体信息包括：
[0038]将上述第二编码向量输入上述第二预测层，输出第二预测实体提及信息；
[0039]根据上述第二预测实体提及信息，从预先配置完成的知识图谱中确定上述第二候选实体信息。
[0040]根据本公开的实施例，其中，上述第二预测实体提及信息包括第二实体提及编码向量和与上述第二实体提及编码对应的第二预测概率；
[0041]上述根据上述第二编码向量和上述第三候选实体信息，生成预测实体链接结果包括：
[0042]根据上述第二编码向量和上述第二预测实体提及信息，生成第三编码向量；
[0043]根据上述第二实体提及编码向量和上述第三候选实体信息，生成第四候选实体信息；
[0044]计算上述第二实体提及编码向量和上述第四候选实体信息的内积，生成内积结
果；
[0045]将上述内积结果输入softmax函数，输出第一概率分布；
[0046]根据上述第一概率分布和上述第二预测概率，生成第三预测概率；
[0047]根据上述第三预测概率，生成上述预测实体链接结果，其中，上述预测实体链接结果包括从上述待链接文本信息中确定的预测实体提及，和从预先配置完成的知识图谱中确定的与上述预测实体提及对应的实体信息。
[0048]根据本公开的实施例，其中，上述第二编码向量包括多个编码单元，每个上述编码单元对应上述待链接文本信息中的一个字符，上述第二预测实体提及信息包括第一位置信息，上述第一位置信息用于从上述待链接文本信息中确定与第二预测实体提及对应的字符；
[0049]上述根据上述第二编码向量和上述第二预测实体提及信息，生成第三编码向量包括：
[0050]根据上述第一位置信息从上述待链接文本信息中确定至少两个目标字符；
[0051]根据上述至少两个目标字符，从上述多个编码单元中确定与上述目标字符对应的目标编码单元；
[0052]根据至少两个上述目标编码单元生成上述第三编码向量。
[0053]根据本公开的实施例，其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体链接模型的训练方法，其中，所述实体链接模型包括第一链接层和第二链接层；所述方法包括：将待链接文本信息输入所述第一链接层，输出第一编码向量和第一候选实体信息；基于所述第一编码向量和所述第一候选实体信息，对所述第一编码向量进行更新，生成第二编码向量，其中，所述第二编码向量包含所述第一候选实体信息的语义信息；将所述第二编码向量输入所述第二链接层，输出第二候选实体信息；基于所述第二编码向量和所述第二候选实体信息对所述第二候选实体信息进行更新，生成第三候选实体信息，其中，所述第三候选实体信息包含所述待链接文本信息的语义信息；根据所述第二编码向量和所述第三候选实体信息，生成预测实体链接结果；以及根据所述预测实体链接结果训练所述待训练的实体链接模型，生成训练完成的实体链接模型。2.根据权利要求1所述的方法，其中，所述基于所述第一编码向量和所述第一候选实体信息，对所述第一编码向量进行更新，生成第二编码向量包括：根据所述第一编码向量和所述第一候选实体信息生成第一注意力矩阵；根据所述第一注意力矩阵和所述第一候选实体信息生成第一向量矩阵；利用所述第一向量矩阵对所述第一编码向量进行更新，生成所述第二编码向量。3.根据权利要求2所述的方法，其中，所述第一候选实体信息包括第一候选实体向量；所述根据所述第一编码向量和所述第一候选实体信息生成第一注意力矩阵包括：对所述第一候选实体向量进行转置操作，生成第三候选实体向量；根据所述第三候选实体向量和所述第一编码向量，生成第二向量矩阵；将所述第二向量矩阵输入softmax函数，输出所述第一注意力矩阵。4.根据权利要求2所述的方法，其中，所述利用所述第一向量矩阵对所述第一编码向量进行更新，生成所述第二编码向量包括：根据所述第一注意力矩阵和所述第一候选实体向量生成第三向量矩阵，其中，所述第三向量矩阵与所述第一候选实体向量的维度相同；将所述第三向量矩阵与所述第一编码向量进行对应位向量相加，生成所述第二编码向量。5.根据权利要求1所述的方法，其中，所述第一链接层包括第一编码器和第一预测层；所述将待链接文本信息输入所述第一链接层，输出第一编码向量和第一候选实体信息包括：将所述待链接文本信息输入所述第一编码器，输出所述第一编码向量；将所述第一编码向量输入所述第一预测层，输出第一预测实体提及信息；根据所述第一预测实体提及信息，从预先配置完成的知识图谱中确定所述第一候选实体信息。6.根据权利要求5所述的方法，其中，所述知识图谱中包括N个实体，N为大于1的整数；所述根据所述第一预测实体提及信息，从预先配置完成的知识图谱中确定所述第一候选实体信息包括：将所述第一预测实体提及信息与M个实体计算相似度距离，生成M个相似度结果，其中，
M大于1小于等于N；根据预设规则，从所述M个相似度结果中确定L个目标相似度结果，L大于等于1小于等于M；根据所述L个目标相似度结果，确定L个目标实体；根据所述L个目标实体生成所述第一候选实体信息。7.根据权利要求1所述的方法，其中，所述第二链接层包括第二预测层；所述将所述第二编码向量输入所述第二链接层，输出第二候选实体信息包括：将所述第二编码向量输入所述第二预测层，输出第二预测实体提及信息；根据所述第二预测实体提及信息，从预先配置完成的知识图谱中确定所述第二候选实体信息。8.根据权利要求7所述的方法，其中，所述第二预测实体提及信息包括第二实体提及编码向量和与所述第二实体提及编码对应的第二预测概率；所述根据所述第二编码向量和所述第三候选实体信息，生成预测实体链接结果包括：根据所述第二编码向量和所述第二预测实体提及信息，生成第三编码向量；根据所述第二实体提及编码向量和所述第三候选实体信息，生成第四候选实体信息；计算所述第二实体提及编码向量和所述第四候选实体信息的内积，生成内积结果；将所述内积结果输入softmax函数，输出第一概率分布；根据所述第一概率分布和所述第二预测概率，生成第三预测概率；根据所述第三预测概率，生成所述预测实体链接结果，其中，所述预测...

【专利技术属性】
技术研发人员：汪美玲，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：