文本分类方法、装置、模型、设备和计算机可读存储介质制造方法及图纸

技术编号:39260770 阅读:9 留言:0更新日期:2023-10-30 12:12
本公开提供了一种文本分类方法、装置、模型、设备和计算机可读存储介质,该方法包括:获取文本内容和按照第一顺序排序的至少一个候选标签;利用文本分类模型处理文本内容和至少一个候选标签,得到按照第一顺序排序的至少一个分类预测结果,每个排序位置的分类预测结果用于表征相同排序位置的候选标签作为目标标签的概率;根据每个候选标签作为目标标签的概率,确定文本内容的目标标签,得到与目标标签对应的文本分类结果。根据本公开的实施例可以提高文本分类处理的场景通用性。提高文本分类处理的场景通用性。提高文本分类处理的场景通用性。

【技术实现步骤摘要】
文本分类方法、装置、模型、设备和计算机可读存储介质


[0001]本公开涉及计算机
,特别涉及一种文本分类方法、装置、模型、设备和计算机可读存储介质。

技术介绍

[0002]随着人工智能的不断创新和发展,文本分类技术日趋成熟,并在分类效果和灵活性上取得了突破性进展,以用于满足日常生产需求。在实际应用中,需要根据文本分类的具体场景构建确定的分类体系和标准,以及收集数据进行人工标注,以得到具体场景下的文本分类模型,文本分类处理的场景通用性较低。

技术实现思路

[0003]本公开提供一种文本分类方法、装置、模型、设备和计算机可读存储介质,根据该方法,可以提高文本分类处理的场景通用性。
[0004]第一方面,本公开提供了一种文本分类方法,该文本分类方法包括:获取文本内容和按照第一顺序排序的至少一个候选标签;利用文本分类模型处理所述文本内容和所述至少一个候选标签,得到按照所述第一顺序排序的至少一个分类预测结果,每个排序位置的分类预测结果用于表征相同排序位置的候选标签作为目标标签的概率;根据每个候选标签作为目标标签的概率,确定所述文本内容的目标标签,得到与所述目标标签对应的文本分类结果。
[0005]第二方面,本公开提供了一种文本分类装置,该文本分类装置包括:获取模块,用于获取文本内容和按照第一顺序排序的至少一个候选标签;处理模块,用于利用文本分类模型处理所述文本内容和所述至少一个候选标签,得到按照所述第一顺序排序的至少一个分类预测结果,每个排序位置的分类预测结果用于表征相同排序位置的候选标签作为目标标签的概率;确定模块,用于根据每个候选标签作为目标标签的概率,确定所述文本内容的目标标签,得到与所述目标标签对应的文本分类结果。
[0006]第三方面,本公开提供了一种文本分类模型,该文本分类模型包括:语义编码器,用于对文本内容和按照第一顺序排序的至少一个候选标签进行语义编码,得到所述文本内容的语义向量和所述至少一个候选标签的语义向量;拼接层,用于对所述文本内容的语义向量和所述至少一个候选标签的语义向量,基于所述第一顺序进行拼接,得到拼接向量;分类器,用于基于所述拼接向量对所述文本内容的目标标签进行分类预测,得到按照所述第一顺序排序的至少一个分类预测结果,每个排序位置的分类预测结果用于表征相同排序位置的候选标签作为目标标签的概率。
[0007]第四方面,本公开提供了一种电子设备,该电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序,一个或多个所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的文本分类方法。
[0008]第五方面,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序在被处理器/处理核执行时实现上述的文本分类方法。
[0009]本公开所提供的实施例,可以利用文本分类模型对文本内容和按照第一顺序排序的至少一个候选标签进行处理,得到按照第一顺序排序的至少一个分类预测结果,每个排序位置的分类预测结果可以表征相同排序位置的候选标签作为目标标签的概率,从而根据每个候选标签作为目标标签的概率,确定文本内容的目标标签,从而获得对应的文本分类结果。该文本分类方法中,文本内容和候选标签均不受分类场景的限制,有利于提高文本分类处理的场景通用性;并且,该文本分来方法无需预先构建分类体系和标准,也无需进行人工标注,有利于提高文本分类方法的处理效率。
[0010]应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用来提供对本公开的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其他特征和优点对本领域技术人员将变得更加显而易见,在附图中:图1为本公开实施例提供的一种文本分类方法的流程图;图2为本公开示例性实施例的文本分类方法的详细流程图;图3为本公开实施例提供的一种文本分类装置的框图;图4示出本公开实施例的文本分类模型的结构示意图;图5示出本公开示例性实施例的文本分类模型的结构示意图;图6为本公开实施例提供的一种电子设备的框图。
具体实施方式
[0012]为使本领域的技术人员更好地理解本公开的技术方案,以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0013]在不冲突的情况下,本公开各实施例及实施例中的各特征可相互组合。
[0014]如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0015]本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由
……
制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
[0016]除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应
当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
[0017]在自然语言处理领域、智能问答领域、文本分类
以及语义识别
,文本分类是一项基础且至关重要的任务。计算机可以对文本(或其他实体)按照一定的分类体系和标准进行自动化分类标记;文本分类的应用场景十分广泛,可以包括但不限于:情感分析、主题分类、问答任务、意图识别、自然语言推理等;在情感分析场景,文本分类的标签例如可以包括:积极、消极和中性,在主题分类场景,文本分类的标签例如可以包括:金融、体育、军事、社会等,在问答任务领域,文本分类的标签例如可以包括是和否,在意图识别领域,文本分类的标签例如可以包括天气查询、歌曲搜索和随机闲聊等,在自然语言推理领域,文本分类的标签例如可以包括导出、矛盾和中立。
[0018]在实际应用中,通常需要根据具体场景构建确定的分类体系和标准,然后再收集数据进行人工标注,最后构建模型并进行训练;这样的方法仅能满足单一场景或极少个相似场景的分类需求,不具备通用性;以及,随着人工智能聊天机器人程序(Chat Generat本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种文本分类方法,其特征在于,包括:获取文本内容和按照第一顺序排序的至少一个候选标签;利用文本分类模型处理所述文本内容和所述至少一个候选标签,得到按照所述第一顺序排序的至少一个分类预测结果,每个排序位置的分类预测结果用于表征相同排序位置的候选标签作为目标标签的概率;根据每个候选标签作为目标标签的概率,确定所述文本内容的目标标签,得到与所述目标标签对应的文本分类结果。2.根据权利要求1所述的方法,其特征在于,所述文本分类模型包括:语义编码模块、拼接模块和分类模块;所述利用文本分类模型处理所述文本内容和所述至少一个候选标签,得到按照所述第一顺序排序的至少一个分类预测结果,包括:对所述文本内容和所述按照第一顺序排序的至少一个候选标签进行语义编码,得到所述文本内容的语义向量和所述至少一个候选标签的语义向量;对所述文本内容的语义向量和所述至少一个候选标签的语义向量,基于所述第一顺序进行拼接,得到拼接向量;基于所述拼接向量对所述文本内容的目标标签进行分类预测,得到按照所述第一顺序排序的至少一个分类预测结果,每个排序位置的分类预测结果用于表征相同排序位置的候选标签作为目标标签的概率。3.根据权利要求2所述的方法,其特征在于,所述至少一个候选标签的语义向量为一个第一候选标签语义向量或多个第二候选标签语义向量;所述对所述文本内容和所述按照第一顺序排序的至少一个候选标签进行语义编码,得到所述文本内容的语义向量和所述至少一个候选标签的语义向量,包括:对所述文本内容进行语义编码,得到所述文本内容的语义向量;按照所述第一顺序拼接所述至少一个候选标签,得到拼接标签内容,对所述拼接标签内容进行语义编码,得到一个第一候选标签语义向量;或者,按照所述第一顺序将所述至少一个候选标签进行语义编码,得到与所述第一顺序对应的多个第二候选标签语义向量。4.根据权利要求3所述的方法,其特征在于,所述对所述文本内容的语义向量和所述至少一个候选标签的语义向量,基于所述第一顺序进行拼接,得到拼接向量,包括:在所述至少一个候选标签的语义向量为所述一个第一候选标签语义向量的情况下,将所述文本内容的语义向量与所述第一候选标签语义向量进行拼接,得到一个第一拼接向量;或者,在所述至少一个候选标签的语义向量为多个第二候选标签语义向量的情况下,将所述文本内容的语义向量与按照所述第一顺序排序的多个第二候选标签语义向量进行拼接,得到一个第二拼接向量;或者,在所述至少一个候选标签的语义向量为多个第二候选标签语义向量的情况下,按照所述第一顺序排序将所述文本内容的语义向量分别与每个第二候选标签语义向量进行拼接,得到与所述第一顺序对应的多个第三拼接向量。5.根据权利要求4所述的方法,其特征在于,在所述拼接向量为一个第一拼接向量或一个第二拼接向量的情况下,所述多个分类预测结果包括多个第一分类结果预测值;
所述基于所述拼接向量对所述文本内容的目标标签进行分类预测,得到按照所述第一顺序排序的至少一个分类预测结果,包括:根据所述一个第一拼接向量或所述一个第二拼接向量,对所述文本内容的目标标签进行分类预测,得到对应的第一分类预测结果序列;其中,所述第一分类预测结果序列中包括与所述第一顺序对应的多个第一分类结果预测值,每个排序位置的第一分类结果预测值用于表征相同排序位置的候选标签作为目标标签的概率。6.根据权利要求4所述的方法...

【专利技术属性】
技术研发人员:廖宇康
申请(专利权)人:北京中关村科金技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1