文本类目识别模型的处理方法、装置、设备及存储介质制造方法及图纸

本申请涉及一种文本类目识别模型的处理方法、装置、设备及存储介质，还涉及一种文本的类目识别方法、装置、设备及存储介质，涉及人工智能技术领域的自然语言处理技术，该文本类目识别模型的处理方法包括：通过文本类目识别模型中的主类目识别网络，获得样本文本对应的主类目预测结果，通过文本类目识别模型中的子类目识别网络，基于主类目预测结果获得样本文本对应的子类目预测结果，再基于样本文本对应的主类目标签与主类目预测结果，以及样本文本对应的从属于主类目标签的子类目标签与子类目预测结果构建目标损失，根据目标损失训练文本类目识别模型。采用本方法能够提高文本多层级分类的准确度。分类的准确度。分类的准确度。

【技术实现步骤摘要】
文本类目识别模型的处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，特别是涉及一种文本类目识别模型的处理方法、装置、设备及存储介质，还涉及一种文本的类目识别方法、装置、设备及存储介质。

技术介绍

[0002]文本分类，作为自然语言处理(Natural Language Processing,NLP)领域中的经典问题，目前应用十分广泛。通常来讲，文本分类是指识别出文本所属的类目的过程，也就是将文本分到某个或某几个类目中，被分类的对象可以是短文本，例如句子、标题、评论等等，也可以是长文本，如文章等。
[0003]在一些场景中，需要将文本分类至某个主类目以及从属于该主类目的某个个子类目，例如，识别出文本对应的主类目为“应用程序”、子类目为“小程序”。目前，通常采用的方式是，将该文本分类任务分割成与主类目对应的几个基础的多分类任务，直接根据输入的文本预测子类目，专利技术人发现，这种方式的预测结果不够准确。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高文本多层级分类准确性的文本类目识别模型的处理方法、装置、设备及存储介质，以及文本的类目识别方法、装置、设备及存储介质。
[0005]一种文本类目识别模型的处理方法，所述方法包括：
[0006]获取样本文本及所述样本文本对应的标签数据，所述标签数据包括所述样本文本对应的主类目标签以及从属于所述主类目标签的子类目标签；
[0007]通过文本类目识别模型中的主类目识别网络，对所述样本文本进行类目识别，获得所述样本文本对应的主类目预测结果；
[0008]通过所述文本类目识别模型中的子类目识别网络，基于所述主类目预测结果对所述样本文本进行类目识别，获得所述样本文本对应的子类目预测结果；
[0009]基于所述样本文本对应的主类目标签与所述主类目预测结果、所述样本文本对应的子类目标签与所述子类目预测结果，构建目标损失；
[0010]根据所述目标损失更新所述文本类目识别模型的模型参数后，返回所述获取样本文本及所述样本文本对应的标签数据的步骤继续训练，直至训练结束时，获得用于识别文本类目的文本类目识别模型。
[0011]一种文本类目识别模型的处理装置，所述装置包括：
[0012]获取模块，用于获取样本文本及所述样本文本对应的标签数据，所述标签数据包括所述样本文本对应的主类目标签以及从属于所述主类目标签的子类目标签；
[0013]主类目识别模块，用于通过文本类目识别模型中的主类目识别网络，对所述样本文本进行类目识别，获得所述样本文本对应的主类目预测结果；
[0014]子类目识别模块，用于通过所述文本类目识别模型中的子类目识别网络，基于所
述主类目预测结果对所述样本文本进行类目识别，获得所述样本文本对应的子类目预测结果；
[0015]损失构建模块，用于基于所述样本文本对应的主类目标签与所述主类目预测结果、所述样本文本对应的子类目标签与所述子类目预测结果，构建目标损失；
[0016]训练模块，用于根据所述目标损失更新所述文本类目识别模型的模型参数后，返回所述获取样本文本及所述样本文本对应的标签数据的步骤继续训练，直至训练结束时，获得用于识别文本类目的文本类目识别模型。
[0017]在一个实施例中，所述主类目识别模块还用于：通过所述主类目识别网络的语义编码层，对所述样本文本进行语义编码，获得语义编码向量；通过所述主类目识别网络的归一化层，将所述语义编码向量转换为对应预定主类目的预测概率，作为所述主类目预测结果。
[0018]在一个实施例中，所述子类目识别模块还用于：通过所述子类目识别网络的信息融合层，基于所述主类目预测结果与所述样本文本对应的语义编码向量，确定所述样本文本对应的子类目语义向量；通过所述子类目识别网络的归一化层，将所述子类目语义向量转换为对应预定子类目的预测概率，作为所述子类目预测结果。
[0019]在一个实施例中，所述子类目识别模块还用于：根据所述主类目预测结果确定候选主类目；融合各所述候选主类目对应的语义表征向量，得到主类目语义向量；将所述主类目语义向量与所述样本文本对应的语义编码向量拼接后，得到所述样本文本对应的子类目语义向量。
[0020]在一个实施例中，所述子类目识别模块还用于：确定各所述候选主类目对应的语义表征向量；根据所述主类目预测结果，确定各所述候选主类目对应的预测概率；按各所述候选主类目对应的预测概率，对各所述候选主类目对应的语义表征向量加权求和，得到所述主类目语义向量。
[0021]在一个实施例中，所述子类目识别模块还用于：通过所述子类目识别网络的归一化层，将所述样本文本对应的语义编码向量转换为对应预定子类目的预测概率；通过所述子类目识别网络的信息修正层，根据所述主类目预测结果中各预定主类目对应的预测概率，对从属于相应预定主类目的预定子类目所对应的预测概率进行调整，将调整后的对应的预定子类目的预测概率，作为所述子类目预测结果。
[0022]在一个实施例中，所述损失构建模块还用于：基于所述样本文本对应的主类目标签与所述主类目预测结果，构建主类目分类损失，基于所述样本文本对应的子类目标签与所述子类目预测结果，构建子类目分类损失；将所述主类目分类损失与所述子类目分类损失融合后，得到目标损失。
[0023]在一个实施例中，所述损失构建模块还用于：基于所述样本文本对应的主类目标签与所述主类目预测结果，构建主类目分类损失，基于所述样本文本对应的子类目标签与所述子类目预测结果，构建子类目分类损失；从所述主类目预测结果中，提取所述主类目标签对应的预测概率，从所述子类目预测结果中，提取所述子类目标签对应的预测概率，根据所述主类目标签对应的预测概率与所述子类目标签对应的预测概率，构建合页损失；将所述主类目分类损失、所述子类目分类损失与所述合页损失融合后，得到目标损失，所述合页损失用于使得更新后的文本类目识别模型所输出的主类目预测结果中，属于各预定子类目
的预测概率小于所从属的预定主类目的所对应的预测概率。
[0024]在一个实施例中，所述从属于所述主类目标签的子类目标签包括从属于所述主类目标签的第一子类目标签以及从属于所述第一子类目标签的第二子类目标签；所述子类目识别模块还用于：通过所述文本类目识别模型中与所述主类目识别网络相连接的第一子类目识别网络，基于所述主类目预测结果对所述样本文本进行类目识别，获得所述样本文本对应的第一子类目预测结果；通过所述文本类目识别模型中与所述第一子类目识别网络相连接的第二子类目识别网络，基于所述第一子类目预测结果对所述样本文本进行类目识别，获得所述样本文本对应的第二子类目预测结果；所述损失构建模块还用于：基于所述样本文本对应的主类目标签与所述主类目预测结果、所述样本文本对应的第一子类目标签与所述第一子类目预测结果、所述样本文本对应的第二子类目标签与所述第二子类目预测结果，构建所述目标损失。
[0025]在一个实施例中，所述文本类目识别模型的处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本类目识别模型的处理方法，其特征在于，所述方法包括：获取样本文本及所述样本文本对应的标签数据，所述标签数据包括所述样本文本对应的主类目标签以及从属于所述主类目标签的子类目标签；通过文本类目识别模型中的主类目识别网络，对所述样本文本进行类目识别，获得所述样本文本对应的主类目预测结果；通过所述文本类目识别模型中的子类目识别网络，基于所述主类目预测结果对所述样本文本进行类目识别，获得所述样本文本对应的子类目预测结果；基于所述样本文本对应的主类目标签与所述主类目预测结果、所述样本文本对应的子类目标签与所述子类目预测结果，构建目标损失；根据所述目标损失更新所述文本类目识别模型的模型参数后，返回所述获取样本文本及所述样本文本对应的标签数据的步骤继续训练，直至训练结束时，获得用于识别文本类目的文本类目识别模型。2.根据权利要求1所述的方法，其特征在于，所述通过文本类目识别模型中的主类目识别网络，对所述样本文本进行类目识别，获得所述样本文本对应的主类目预测结果，包括：通过所述主类目识别网络的语义编码层，对所述样本文本进行语义编码，获得语义编码向量；通过所述主类目识别网络的归一化层，将所述语义编码向量转换为对应预定主类目的预测概率，作为所述主类目预测结果。3.根据权利要求1所述的方法，其特征在于，所述通过所述文本类目识别模型中的子类目识别网络，基于所述主类目预测结果对所述样本文本进行类目识别，获得所述样本文本对应的子类目预测结果，包括：通过所述子类目识别网络的信息融合层，基于所述主类目预测结果与所述样本文本对应的语义编码向量，确定所述样本文本对应的子类目语义向量；通过所述子类目识别网络的归一化层，将所述子类目语义向量转换为对应预定子类目的预测概率，作为所述子类目预测结果。4.根据权利要求3所述的方法，其特征在于，所述基于所述主类目预测结果与所述样本文本对应的语义编码向量，确定所述样本文本对应的子类目语义向量，包括：根据所述主类目预测结果确定候选主类目；融合各所述候选主类目对应的语义表征向量，得到主类目语义向量；将所述主类目语义向量与所述样本文本对应的语义编码向量拼接后，得到所述样本文本对应的子类目语义向量。5.根据权利要求4所述的方法，其特征在于，所述融合各所述候选主类目对应的语义表征向量，得到主类目语义向量，包括：确定各所述候选主类目对应的语义表征向量；根据所述主类目预测结果，确定各所述候选主类目对应的预测概率；按各所述候选主类目对应的预测概率，对各所述候选主类目对应的语义表征向量加权求和，得到所述主类目语义向量。6.根据权利要求1所述的方法，其特征在于，所述通过所述文本类目识别模型中的子类目识别网络，基于所述主类目预测结果对所述样本文本进行类目识别，获得所述样本文本
对应的子类目预测结果，包括：通过所述子类目识别网络的归一化层，将所述样本文本对应的语义编码向量转换为对应预定子类目的预测概率；通过所述子类目识别网络的信息修正层，根据所述主类目预测结果中各预定主类目对应的预测概率，对从属于相应预定主类目的预定子类目所对应的预测概率进行调整，将调整后的对应的预定子类目的预测概率，作为所述子类目预测结果。7.根据权利要求1所述的方法，其特征在于，所述基于所述样本文本对应的主类目标签与所述主类目预测结果、所述样本文本对应的子类目标签与所述子类目预测结果，构建目标损失，包括：基于所述样本文本对应的主类目标签与所述主类目预测结果，构建主类目分类损失，基于所述样本文本对应的子类目标签与所述子类目预测结果，构建子类目分类损失；将所述主类目分类损失与所述子类目分类损失融合后，得到目标损失。8.根据权利要求1所述的方法，其特征在于，所述基于所述样本文本对应的主类目标签与所述主类目预测结果、所述样本文本对应的子类目标签与所述子类目预测结果，构建目标损失，包括：基于所述样本文本对应的主类目标签与所述主类目预测结果，构建主类目分类损失，基于所述样本文本对应的子类目标签与所述子类目预测结果，构建子类目分类损失；从所述主类目预测结果中，提取所述主类目标签对应的预测概率，从所述子类目预测结果中，提取所述子类目标签对应的预测概率，根据所述主类目标签对应的预测概率与所述子类目标签对应的预测概率，构建合页损失；将所述主类目分类损失、所述子类目分类损失与所述合页损失融合后，得到目标损失，所述合页损失用于使得更新后的文本类目识别模型所输出的主类目预测结果中，属于各预定子类目的预测概率小于所从属的预定主类目的所对应的预测概率。9.根据权利要求1所述的方法，其特征在于，所述从属于...

【专利技术属性】
技术研发人员：黄剑辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：