基于人工智能的文本指代消解方法、装置、设备及介质制造方法及图纸

本申请涉及人工智能及智慧医疗技术领域，揭示了一种基于人工智能的文本指代消解方法、装置、设备及介质，其中方法包括：根据初始文本序列的每个词的隐藏状态数据，基于正反向混合注意力机制确定每个候选指代的上下文表示数据；根据各个上下文表示数据和生成模型进行候选替换词生成；根据各个上下文表示数据和打分模型对每个候选指代与其在初始文本序列中的之前的提及进行属于同一个聚类集的概率计算，作为候选概率；根据各个上下文表示数据和初始文本序列确定改写概率；根据各个候选概率、各个改写概率、各个候选替换词和各个提及，确定目标生成词，根据各个目标生成词和初始文本序列生成目标文本序列。提高了指代消解的结果的准确度或者完善度。准确度或者完善度。准确度或者完善度。

【技术实现步骤摘要】
基于人工智能的文本指代消解方法、装置、设备及介质


[0001]本专利技术涉及人工智能及智慧医疗
，尤其涉及一种基于人工智能的文本指代消解方法、装置、设备及介质。

技术介绍

[0002]指代消解任务是自然语言处理中的一个基础任务，即判断两个描述(mention)是否指向现实世界中的同一个对象。比如，"李明怕高妈妈一人呆在家里无聊，他便将家里的电视搬了过来。"，在这句话中，"他"是一个指代，它指向的是"李明"这个对象。
[0003]目前采用GPT(Generative Pre
‑
Trained Transformer)类decoder
‑
only(只有解码器)模型解决指代消解任务。GPT类decoder
‑
only模型是一种基于神经网络的生成模型，它可以根据输入的编码信息生成输出序列。比如，在智慧医疗
中，在智能问诊中，咨询者可能是患者本人，也可能是患者的代理人，代理人在输入的信息的时候可能以指代的方式输入，需要执行指代消解任务对指代进行消解，采用GPT类decoder
‑
only模型解决智能问诊的指代消解任务。然而，有些指代可能需要下文的信息才能确定，而GPT类decoder
‑
only模型属于decoder
‑
only架构，只能根据上文的信息进行预测，从而使指代消解的结果不够准确或者不够完善。

技术实现思路

[0004]基于此，有必要针对现有技术采用GPT类decoderr/>‑
only模型解决指代消解任务时，指代消解的结果不够准确或者不够完善技术问题，提出了一种基于人工智能的文本指代消解方法、装置、设备及介质。
[0005]第一方面，提供了一种基于人工智能的文本指代消解方法，所述方法包括：
[0006]获取初始文本序列，其中，所述初始文本序列包含各个候选指代和上下文文本；
[0007]对所述初始文本序列进行编码，得到所述初始文本序列中每个词的隐藏状态数据，并根据各个所述隐藏状态数据，基于正反向混合注意力机制进行每个所述候选指代的编码，得到每个所述候选指代的上下文表示数据；
[0008]根据各个所述上下文表示数据和预设的生成模型，对每个所述候选指代进行候选替换词生成；
[0009]根据各个所述上下文表示数据和预设的打分模型，对每个所述候选指代与所述候选指代在所述初始文本序列中的之前的提及进行属于同一个聚类集的概率计算，作为候选概率；
[0010]根据各个所述上下文表示数据和所述初始文本序列，对每个所述候选指代进行需要改写的概率计算，得到改写概率；
[0011]根据各个所述候选概率、各个所述改写概率、各个所述候选替换词和各个所述提及，确定每个所述候选指代对应的目标生成词，并根据各个所述目标生成词和所述初始文本序列，生成目标文本序列。
[0012]第二方面，提供了一种基于人工智能的文本指代消解装置，所述装置包括：
[0013]数据获取模块，用于获取初始文本序列，其中，所述初始文本序列包含各个候选指代和上下文文本；
[0014]编码模块，用于对所述初始文本序列进行编码，得到所述初始文本序列中每个词的隐藏状态数据，并根据各个所述隐藏状态数据，基于正反向混合注意力机制进行每个所述候选指代的编码，得到每个所述候选指代的上下文表示数据；
[0015]候选替换词生成模块，用于根据各个所述上下文表示数据和预设的生成模型，对每个所述候选指代进行候选替换词生成；
[0016]候选概率确定模块，用于根据各个所述上下文表示数据和预设的打分模型，对每个所述候选指代与所述候选指代在所述初始文本序列中的之前的提及进行属于同一个聚类集的概率计算，作为候选概率；
[0017]改写概率确定模块，用于根据各个所述上下文表示数据和所述初始文本序列，对每个所述候选指代进行需要改写的概率计算，得到改写概率；
[0018]目标文本序列确定模块，用于根据各个所述候选概率、各个所述改写概率、各个所述候选替换词和各个所述提及，确定每个所述候选指代对应的目标生成词，并根据各个所述目标生成词和所述初始文本序列，生成目标文本序列。
[0019]第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的文本指代消解方法的步骤。
[0020]第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于人工智能的文本指代消解方法的步骤。
[0021]本申请的基于人工智能的文本指代消解方法，通过对所述初始文本序列进行编码，得到所述初始文本序列中每个词的隐藏状态数据，并根据各个所述隐藏状态数据，基于正反向混合注意力机制进行每个所述候选指代的编码，得到每个所述候选指代的上下文表示数据；根据各个所述上下文表示数据和预设的生成模型，对每个所述候选指代进行候选替换词生成；根据各个所述上下文表示数据和预设的打分模型，对每个所述候选指代与所述候选指代在所述初始文本序列中的之前的提及进行属于同一个聚类集的概率计算，作为候选概率；根据各个所述上下文表示数据和所述初始文本序列，对每个所述候选指代进行需要改写的概率计算，得到改写概率；根据各个所述候选概率、各个所述改写概率、各个所述候选替换词和各个所述提及，确定每个所述候选指代对应的目标生成词，并根据各个所述目标生成词和所述初始文本序列，生成目标文本序列。从而通过正反向混合注意力来捕获上下文中的相关信息，解决了单向注意力机制的信息丢失问题，提高了指代消解的结果的准确度或者完善度；通过根据各个所述候选概率、各个所述改写概率、各个所述候选替换词和各个所述提及，避免了改写不必要的部分，保证改写的稳定性和指令。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]其中：
[0024]图1为一个实施例中基于人工智能的文本指代消解方法的应用环境图；
[0025]图2为一个实施例中基于人工智能的文本指代消解方法的流程图；
[0026]图3为一个实施例中基于人工智能的文本指代消解装置的结构框图；
[0027]图4为一个实施例中计算机设备的结构框图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的文本指代消解方法，所述方法包括：获取初始文本序列，其中，所述初始文本序列包含各个候选指代和上下文文本；对所述初始文本序列进行编码，得到所述初始文本序列中每个词的隐藏状态数据，并根据各个所述隐藏状态数据，基于正反向混合注意力机制进行每个所述候选指代的编码，得到每个所述候选指代的上下文表示数据；根据各个所述上下文表示数据和预设的生成模型，对每个所述候选指代进行候选替换词生成；根据各个所述上下文表示数据和预设的打分模型，对每个所述候选指代与所述候选指代在所述初始文本序列中的之前的提及进行属于同一个聚类集的概率计算，作为候选概率；根据各个所述上下文表示数据和所述初始文本序列，对每个所述候选指代进行需要改写的概率计算，得到改写概率；根据各个所述候选概率、各个所述改写概率、各个所述候选替换词和各个所述提及，确定每个所述候选指代对应的目标生成词，并根据各个所述目标生成词和所述初始文本序列，生成目标文本序列。2.根据权利要求1所述的基于人工智能的文本指代消解方法，其特征在于，所述对所述初始文本序列进行编码，得到所述初始文本序列中每个词的隐藏状态数据的步骤，包括：基于第一模型，对所述初始文本序列进行编码，得到所述初始文本序列中每个词的所述隐藏状态数据，其中，所述第一模型是基于GPT类decoder
‑
only模型训练得到的模型。3.根据权利要求1所述的基于人工智能的文本指代消解方法，其特征在于，所述根据各个所述隐藏状态数据，基于正反向混合注意力机制进行每个所述候选指代的编码，得到每个所述候选指代的上下文表示数据的步骤，包括：采用预设的第二模型，根据各个所述隐藏状态数据进行每个所述候选指代的查询向量计算；采用所述第二模型，根据各个所述隐藏状态数据进行所述上下文文本中的每个词的键向量计算；采用所述第二模型，根据各个所述隐藏状态数据进行所述上下文文本中的每个词的值向量计算；采用所述第二模型，对每个所述查询向量和每个所述键向量进行相似度计算，作为第一相似度；采用所述第二模型基于softmax函数，根据各个所述第一相似度进行每个所述查询向量和每个所述键向量之间的注意力权重计算，作为第一权重；采用所述第二模型，对各个所述第一权重和各个所述值向量进行加权求和，得到每个所述候选指代的所述上下文表示数据；其中，所述第二模型是基于Bert模型训练得到的模型，所述第二模型根据输入和输出之间的方向性分别使用正向注意力模式或反向注意力模式。4.根据权利要求3所述的基于人工智能的文本指代消解方法，其特征在于，所述第二模型根据输入和输出之间的方向性分别使用正向注意力模式或反向注意力模式具体包括：在所述采用所述第二模型基于softmax函数，根据各个所述第一相似度进行每个所述查询向
量和每个所述键向量之间的注意力权重计算，作为第一权重的步骤之前，在使用所述正向注意力模式时将目标词之后的词采用预设数值替代，在使用所述反向注意力模式时将所述目标词之前的词采用预设数值替代；其中，所述目标词是所述初始文本序列中的各个词中的当前词，所述预设数值设为无穷小量。5.根据权利要求1所述的基于人工智能的文本指代消解方法，其特征在于，所述根据各个所述上下文表示数据和预设的打分模型，对每个所述候选指代与所述候选指代在所述初始文本序列中的之前的提及进行属于同一个聚类集的概率计算，作为候选概率的步骤，包括：采用所述打分模型，根据各个所述上下文表示数据进行每个所述候选指代与所述候选指代在...

【专利技术属性】
技术研发人员：王俊，侯昶宇，宋佳，梅婧，巩菁菁，倪渊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：