本申请属于人工智能领域，涉及一种文本分类方法、装置、计算机设备及存储介质，方法包括：分割训练文本得到多个语义块；将各语义块输入初始分类价值评估模型得到分类价值分数；根据分类价值分数筛选语义块得到语义块队列，再输入初始文本分类模型得到分类预测结果；确定语义块队列中各语义块的语义块标签；基于语义块标签和分类价值分数计算第一损失，基于分类预测结果和训练文本的分类标签计算第二损失；根据第一损失调整初始分类价值评估模型得到分类价值评估模型，根据第二损失调整初始文本分类模型得到文本分类模型；通过分类价值评估模型和文本分类模型对待分类文本进行处理得到文本分类结果。本申请提高了文本分类的准确性。确性。确性。
【技术实现步骤摘要】
文本分类方法、装置、计算机设备及存储介质
[0001]本申请涉及人工智能领域，尤其涉及一种文本分类方法、装置、计算机设备及存储介质。
技术介绍
[0002]随着计算机技术的发展，计算机在自然语言处理中的应用也越来越多。文本分类是自然语言处理中的重要课题，通常是将长文本输入基于神经网络搭建的模型，由模型输出文本所属类别。预训练语言模型具有自注意力机制，可以学习到语言内部蕴含的语义关联关系，在文本分类中具有较好的效果。
[0003]预训练语言模型的训练需要消耗大量的计算资源，预训练语言模型对输入的文本长度也有限制。在实际应用中，需要处理的文本通常篇幅较长，为此，通常会直接将文本分割为多个小于模型最大输入长度的子文本，然后输入模型进行文本分类。然而，这样会丢失很多重要的语义信息，导致文本分类的准确性较低。
技术实现思路
[0004]本申请实施例的目的在于提出一种文本分类方法、装置、计算机设备及存储介质，以解决文本分类准确性较低的问题。
[0005]为了解决上述技术问题，本申请实施例提供一种文本分类方法，采用了如下所述的技术方案：
[0006]获取带有分类标签的训练文本；
[0007]根据预设的语义分割算法分割所述训练文本，得到多个语义块；
[0008]将各语义块输入初始分类价值评估模型，得到所述各语义块的分类价值分数；
[0009]根据所述分类价值分数对所述各语义块进行筛选，得到包含至少一个语义块的语义块队列；
[0010]将所述语义块队列输入初始文本分类模型，得到分类预测结果；
[0011]基于所述分类预测结果、所述分类标签和预设的标签确定算法，确定所述语义块队列中各语义块的语义块标签；所述语义块标签标识语义块是否关联于文本分类结果；
[0012]基于所述语义块标签和所述分类价值分数计算第一损失，并基于所述分类预测结果和所述分类标签计算第二损失；
[0013]根据所述第一损失调整所述初始分类价值评估模型，并根据所述第二损失调整所述初始文本分类模型，直至所述第一损失和所述第二损失收敛，得到分类价值评估模型和文本分类模型；
[0014]获取待分类文本，并通过所述分类价值评估模型和所述文本分类模型对所述待分类文本进行处理，得到所述待分类文本的文本分类结果。
[0015]为了解决上述技术问题，本申请实施例还提供一种文本分类装置，采用了如下所述的技术方案：
[0016]训练获取模块，用于获取带有分类标签的训练文本；
[0017]文本分割模块，用于根据预设的语义分割算法分割所述训练文本，得到多个语义块；
[0018]语义块输入模块，用于将各语义块输入初始分类价值评估模型，得到所述各语义块的分类价值分数；
[0019]队列生成模块，用于根据所述分类价值分数对所述各语义块进行筛选，得到包含至少一个语义块的语义块队列；
[0020]队列输入模块，用于将所述语义块队列输入初始文本分类模型，得到分类预测结果；
[0021]标签确定模块，用于基于所述分类预测结果、所述分类标签和预设的标签确定算法，确定所述语义块队列中各语义块的语义块标签；所述语义块标签标识语义块是否关联于文本分类结果；
[0022]损失计算模块，用于基于所述语义块标签和所述分类价值分数计算第一损失，并基于所述分类预测结果和所述分类标签计算第二损失；
[0023]模型调整模块，用于根据所述第一损失调整所述初始分类价值评估模型，并根据所述第二损失调整所述初始文本分类模型，直至所述第一损失和所述第二损失收敛，得到分类价值评估模型和文本分类模型；
[0024]文本分类模块，用于获取待分类文本，并通过所述分类价值评估模型和所述文本分类模型对所述待分类文本进行处理，得到所述待分类文本的文本分类结果。
[0025]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0026]获取带有分类标签的训练文本；
[0027]根据预设的语义分割算法分割所述训练文本，得到多个语义块；
[0028]将各语义块输入初始分类价值评估模型，得到所述各语义块的分类价值分数；
[0029]根据所述分类价值分数对所述各语义块进行筛选，得到包含至少一个语义块的语义块队列；
[0030]将所述语义块队列输入初始文本分类模型，得到分类预测结果；
[0031]基于所述分类预测结果、所述分类标签和预设的标签确定算法，确定所述语义块队列中各语义块的语义块标签；所述语义块标签标识语义块是否关联于文本分类结果；
[0032]基于所述语义块标签和所述分类价值分数计算第一损失，并基于所述分类预测结果和所述分类标签计算第二损失；
[0033]根据所述第一损失调整所述初始分类价值评估模型，并根据所述第二损失调整所述初始文本分类模型，直至所述第一损失和所述第二损失收敛，得到分类价值评估模型和文本分类模型；
[0034]获取待分类文本，并通过所述分类价值评估模型和所述文本分类模型对所述待分类文本进行处理，得到所述待分类文本的文本分类结果。
[0035]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0036]获取带有分类标签的训练文本；
[0037]根据预设的语义分割算法分割所述训练文本，得到多个语义块；
[0038]将各语义块输入初始分类价值评估模型，得到所述各语义块的分类价值分数；
[0039]根据所述分类价值分数对所述各语义块进行筛选，得到包含至少一个语义块的语义块队列；
[0040]将所述语义块队列输入初始文本分类模型，得到分类预测结果；
[0041]基于所述分类预测结果、所述分类标签和预设的标签确定算法，确定所述语义块队列中各语义块的语义块标签；所述语义块标签标识语义块是否关联于文本分类结果；
[0042]基于所述语义块标签和所述分类价值分数计算第一损失，并基于所述分类预测结果和所述分类标签计算第二损失；
[0043]根据所述第一损失调整所述初始分类价值评估模型，并根据所述第二损失调整所述初始文本分类模型，直至所述第一损失和所述第二损失收敛，得到分类价值评估模型和文本分类模型；
[0044]获取待分类文本，并通过所述分类价值评估模型和所述文本分类模型对所述待分类文本进行处理，得到所述待分类文本的文本分类结果。
[0045]与现有技术相比，本申请实施例主要有以下有益效果：获取带有分类标签的训练文本，根据语义分割算法分割训练文本，使得分割得到的语义块具有足够丰富的语义信息；将各语义块输入初始分类价值评估模型得到分类价值分数，分类价值分数表明了语义块对文本分类价值的高低；从而选取具有较高分类价值的语义块构成语义块队列，将语义块队列输入初始文本分类模型得到训练文本的分类预测结果；基于分类预测结果、分类标签和预设的标签确定算法，可以无监督地得到语义块队本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文本分类方法，其特征在于，包括下述步骤：获取带有分类标签的训练文本；根据预设的语义分割算法分割所述训练文本，得到多个语义块；将各语义块输入初始分类价值评估模型，得到所述各语义块的分类价值分数；根据所述分类价值分数对所述各语义块进行筛选，得到包含至少一个语义块的语义块队列；将所述语义块队列输入初始文本分类模型，得到分类预测结果；基于所述分类预测结果、所述分类标签和预设的标签确定算法，确定所述语义块队列中各语义块的语义块标签；所述语义块标签标识语义块是否关联于文本分类结果；基于所述语义块标签和所述分类价值分数计算第一损失，并基于所述分类预测结果和所述分类标签计算第二损失；根据所述第一损失调整所述初始分类价值评估模型，并根据所述第二损失调整所述初始文本分类模型，直至所述第一损失和所述第二损失收敛，得到分类价值评估模型和文本分类模型；获取待分类文本，并通过所述分类价值评估模型和所述文本分类模型对所述待分类文本进行处理，得到所述待分类文本的文本分类结果。2.根据权利要求1所述的文本分类方法，其特征在于，所述根据预设的语义分割算法分割所述训练文本，得到多个语义块的步骤包括：识别所述训练文本中的目标词；根据所述目标词和预设的文本长度条件分割所述训练文本，得到多个语义块；其中，语义块中目标词的数量等于预设数量阈值且语义块的文本长度处于预设长度区间内；或者，语义块的文本长度等于预设长度区间右端点的数值。3.根据权利要求1所述的文本分类方法，其特征在于，所述将各语义块输入初始分类价值评估模型，得到所述各语义块的分类价值分数的步骤包括：对于每个语义块，将所述语义块分别输入初始分类价值评估模型中的各子模型，得到多个分类价值子分数；基于各分类价值子分数计算所述语义块的分类价值分数。4.根据权利要求1所述的文本分类方法，其特征在于，所述根据所述分类价值分数对所述各语义块进行筛选，得到包含至少一个语义块的语义块队列的步骤包括：根据所述分类价值分数对所述各语义块进行降序排列，得到候选队列；按照所述候选队列中语义块的排列顺序，将各语义块依次添加到初始语义块队列中，并统计所述初始语义块队列的当前队列长度；当所述当前队列长度大于预设的长度阈值时，根据所述长度阈值对最后一次添加的语义块进行截断，得到语义块队列。5.根据权利要求1所述的文本分类方法，其特征在于，所述基于所述分类预测结果、所述分类标签和预设的标签确定算法，确定所述语义块队列中各语义块的语义块标签的步骤包括：对于所述语义块队列中的每个语义块，生成所述语义块相对所述语义块队列的补集队列；
将所述补集队列输入所述初始文本分类模型得到补集分类结果；根据所述分类预测结果、所述补集分类结果和所述分类标签确定所述语义块的语义块标签；语义块标签标识语义块是否关联于文本分类结果。6.根据权利...
【专利技术属性】
技术研发人员：王伟，张黔，陈焕坤，郑毅，
申请(专利权)人：润联软件系统深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。