基于文本匹配模型的文本分类方法、装置及相关设备制造方法及图纸

本发明专利技术公开了一种基于文本匹配模型的文本分类方法，应用于人工智能领域，用于解决对文本匹配的匹配结果预测不准确的技术问题。本发明专利技术提供的方法包括：通过文本匹配模型中的编码层对第一文本语料和第二文本语料进行处理，得到第一文本语料的编码特征和第二文本语料的编码特征；通过特征增强层对第一文本语料和第二文本语料的编码特征进行处理，得到第一增强特征和第二增强特征；通过注意力融合层得到突出的第一增强特征和突出的第二增强特征；通过注意力融合层对第一增强特征和突出的第一增强特征进行融合，得到第一融合特征，对第二增强特征和突出的第二增强特征进行融合，得到第二融合特征；根据这两个融合特征得到两个文本语料之间的匹配概率。本语料之间的匹配概率。本语料之间的匹配概率。

【技术实现步骤摘要】
基于文本匹配模型的文本分类方法、装置及相关设备


[0001]本专利技术涉及人工智能
，尤其涉及一种基于文本匹配模型的文本分类方法、装置、计算机设备及存储介质。

技术介绍

[0002]在自然语言的处理场景中，建立两个句子的语义关系模型是非常重要的一个步骤，被广泛的应用在很多场景，例如释义检测、自然语言推理、文本匹配等。在文本匹配
，神经网络取得了令人瞩目的成果，神经网络可以从大量的数据中获取信息，并且有强大的学习能力。跨句子的attention被广泛应用在神经网络中，用来做文本匹配。
[0003]传统的文本匹配模型包括编码层、对齐层和分类层，需要进行文本匹配的两个文本中的词语分别通过该文本匹配模型中的不同层进行不同的处理，得到携带有对应语义信息的特征向量传递给下一层，最后通过分类层输出这两个文本的匹配概率。然而在通过对齐层对中间的句子特征做跨句子attention时，由于句子经过不同的层取得了不同的语义信息，可能不能直接用来做匹配，并且每个中间层特征的处理结果与前面层输出的特征结果紧密相连，如果前面层输出有错误的特征信息，该错误的特征信息会一直传递下去，从而导致中间特征输入到对齐层时不能对齐，最终会导致该文本匹配模型输出的匹配概率不准确。

技术实现思路

[0004]本专利技术实施例提供一种基于文本匹配模型的文本分类方法、装置、计算机设备及存储介质，以解决对文本匹配的匹配结果预测不准确的技术问题。
[0005]一种基于文本匹配模型的文本分类方法，所述文本匹配模型包括编码层、特征增强层、注意力融合层和分类层，所述方法包括：
[0006]获取待匹配的第一文本语料和第二文本语料；
[0007]通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；
[0008]通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；
[0009]通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；
[0010]通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；
[0011]通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；
[0012]所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
[0013]一种基于文本匹配模型的文本分类装置，所述装置包括：
[0014]语料获取模块，用于获取待匹配的第一文本语料和第二文本语料；
[0015]第一处理模块，用于通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；
[0016]第二处理模块，用于通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；
[0017]增强模块，用于通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；
[0018]突出模块，用于通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；
[0019]融合模块，用于通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；
[0020]概率匹配模块，用于所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
[0021]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于文本匹配模型的文本分类方法的步骤。
[0022]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于文本匹配模型的文本分类方法的步骤。
[0023]本专利技术提出的基于文本匹配模型的文本分类方法、装置、计算机设备及存储介质，通过对文本匹配模型的结构进行改进，通过增强对齐层弱化文本特征中传递的错误信息，进而获取更好的两个句子之间的互相注意力特征，并通过注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，对所述第二增强特征和所述突出的所述第二增强特征进行融合，将对齐的特征融合进初始特征中，可以逐渐优化对齐的特征，利用分类层输出所述第一文本语料和所述第二文本语料之间的匹配概率，不仅可以有效地进行文本对齐、文本匹配，并且比传统的文本匹配方法匹配速度更快，此外，因为融合多种特征，并且叠加了对齐层，本专利技术对短文本的匹配分类的效果也比较好。
附图说明
[0024]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本专利技术一实施例中基于文本匹配模型的文本分类方法的一应用环境示意
图；
[0026]图2是本专利技术一实施例中基于文本匹配模型的文本分类方法的一流程图；
[0027]图3是本专利技术一实施例中训练所述文本匹配模型的一流程图；
[0028]图4是本专利技术实施例图2中步骤S102的详细实现流程图；
[0029]图5是本专利技术一实施例中文本匹配模型的结构示意图；
[0030]图6是本专利技术一实施例中基于文本匹配模型的文本分类装置的结构示意图；
[0031]图7是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]本申请提供的基于文本匹配模型的文本分类方法，可应用在如图1的应用环境中，其中，该计算机设备可以通过网络与其他设备，例如服务器进行通信。其中，该计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文本匹配模型的文本分类方法，其特征在于，所述文本匹配模型包括编码层、特征增强层、注意力融合层和分类层，所述方法包括：获取待匹配的第一文本语料和第二文本语料；通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。2.根据权利要求1所述的基于文本匹配模型的文本分类方法，其特征在于，训练所述文本匹配模型的步骤包括：根据用户的输入配置所述文本匹配模型的层数以及每层包括的参数；获取包含有第一文本语料样本和第二文本语料样本的若干个样本组，每个所述样本组携带有对应的第一文本语料样本和第二文本语料样本是否匹配的标注；通过所述样本组对所述文本匹配模型进行训练，当所述文本匹配模型的损失函数收敛时，得到所述文本匹配模型中每层的参数值。3.根据权利要求1所述的基于文本匹配模型的文本分类方法，其特征在于，所述编码层包括Embedding层和token层，所述第一文本语料的编码特征包括第一词特征、第一上下文特征和第一中间特征，所述通过所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征的步骤包括：通过所述Embedding层对所述第一文本语料进行处理，得到所述第一词特征；通过所述token层对所述第一词特征进行token处理，得到所述第一中间特征；通过双向长短期记忆网络LSTM中的Encoder对所述第一中间特征进行编码，得到所述第一上下文特征。4.根据权利要求3所述的基于文本匹配模型的文本分类方法，其特征在于，所述第二文本语料的编码特征包括第二词特征、第二上下文特征和第二中间特征，所述通过所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征的步骤包括：通过所述Embedding层对所述第二文本语料进行处理，得到所述第二词特征；通过所述token层对所述第二词特征进行token处理，得到所述第二中间特征；通过双向长短期记忆网络LSTM中的Encoder对所述第二中间特征进行编码，得到所述第二上下文特征。
5.根据权利要求3所述的基于文本匹配模型的文本分类方法，其特征在于，所述通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征的步骤包括：通过以下公式计算所述第一增强特征：其中，表示所述第一增强特征，a
i
表示所述第一中间特征，表示所述第一词特征，表示所述第一上下文特征，表示第一词特征门系数，表示第一上下文特征门系数；通过以下公式计算所述第一词特征门系数通过以下公式计算所述第一词特征门系数其中，σ表示sigmoid函数，W
g
、W
e
和z
e
表示训练得到的所述特征增强层的中的参数，a
i
表示所述第一中间特征，表示所述第一词特征；通过以下公式计算所述第一上下文特征门系数通过以下公式计算所述第一上下文特征门系数其中，σ表示sigmoid函数，W
g
、W
h
和z
...

【专利技术属性】
技术研发人员：刘吉刚，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：