System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于双向流数据结构的信息分类方法及装置制造方法及图纸_技高网

基于双向流数据结构的信息分类方法及装置制造方法及图纸

技术编号:43213432 阅读:3 留言:0更新日期:2024-11-05 17:08
本发明专利技术涉及人工智能技术领域,公开了一种基于双向流数据结构的信息分类方法、装置、设备、存储介质及程序产品,用于解决现有技术进行分类识别时不能根据分类结果的可信程度进行修正,导分类结果不准确的问题。该方法包括:调用分类识别模型对输入信息进行分类识别,得到分类得分;基于分类得分得到初始分类结果,其中,初始分类结果为属于域内分类或属于域外分类;计算初始分类结果的可信度数据并判断是否需要修正;若需要则基于构建的双向流数据结构对初始分类结果进行双向的数据划分,将属于域内分类的初始分类结果重新划分为属于域外分类的信息类别,和/或将属于域外分类的初始分类结果重新划分为属于域内分类的信息类别,得到最终分类结果。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种基于双向流数据结构的信息分类方法、装置、设备、存储介质及程序产品。


技术介绍

1、在通过预训练模型执行机器分类任务时,训练好的模型在执行分类任务时具有一定的盲目性,通常情况下,模型会根据训练时所构建的多个目标分类,在域内数据中选出最符合的结果,但这并不一定是正确或合理的结果,其数据实际上可能是与该多个目标分类均不相关的域外数据。其中,对于一个训练好的参数模型来说,域内数据指的是当前数据属于该参数模型在训练时训练数据所属的分类,而域外数据指的是当前数据不属于该参数模型在训练时训练数据所属的分类。

2、举具体的例子进行说明,假设用来训练动物图片分类模型f的数据共有k个分类(包括狗,猫,马…),在实际应用的时候,如果给它输入一张包含狗的图片,那么这张图片就属于域内数据,这是因为“狗”这个类别在训练数据之中;而如果给它输入一张“银河系”的图片,因为“银河系”这个类别没有在训练数据中存在,所以此图片属于域外数据。虽然此模型f从来没有接触过“银河系”类别的图片,但是由于深度学习网络的盲目性,f仍然会将“银河系”类别的图片分类到(狗,猫,马…)共k个分类中的其中一个,并且很可能仍然给较高的置信度,也即是说,当接收到的待分类信息并不属于任何一个训练时构建的多个目标分类,实际上为域外数据时,模型仍然会尝试进行识别并给出分类结果,而此时输出的结果一定是错误的。

3、在某些例如意图识别领域或视觉识别领域等领域的机器分类任务中,对域外数据进行检测对于分类结果以及结果的安全性至关重要:假设在自动驾驶领域进行视觉识别时,如果我们用一个包含k种分类的训练数据集训练好了模型,而在自动驾驶过程中将实际属于域外信息的图片信息输入给该模型,而这张图片的真正分类不在这k种分类之中,模型仍会尝试识别并给出其自认为置信度很高的结果,而这种错误结果可能会导致严重的后果。

4、基于此,现有技术中的信息分类任务仅会输出其认为最优的分类结果,但无法评估分类结果的可信程度,也无法双向的对可能错误的分类结果进行修正,导致输出的分类结果不准确,会使得信息分类及识别的效果较差。


技术实现思路

1、本专利技术的主要目的在于解决现有技术中的信息分类方法在进行分类识别时不能评估分类结果的可信程度并根据可信程度进行修正,导致信息分类结果不准确的技术问题。

2、本专利技术第一方面提供了一种基于双向流数据结构的信息分类方法,包括:调用预先训练好的分类识别模型对待分类的输入信息进行分类识别,得到所述输入信息在多个信息类别下的分类得分;

3、基于所述分类得分对所述输入信息进行分类,得到初始分类结果,其中,所述初始分类结果为属于域内分类的信息类别或者属于域外分类的信息类别;

4、根据所述分类得分计算所述初始分类结果的可信度数据,并基于所述可信度数据判断所述初始分类结果是否需要修正;

5、若需要修正,则基于构建的双向流数据结构,对所述初始分类结果进行双向的数据划分,将属于域内分类的初始分类结果重新划分为属于域外分类的信息类别,和/或将属于域外分类的初始分类结果重新划分为属于域内分类的信息类别,得到最终分类结果。

6、可选地,在本专利技术第一方面的第一种实现方式中,所述基于所述分类得分对所述输入信息进行分类,得到初始分类结果包括:

7、获取各所述分类得分中的最大值对应的信息类别,并将各所述分类得分中的最大值对应的信息类别作为初始分类结果。

8、可选地,在本专利技术第一方面的第二种实现方式中,所述基于所述可信度数据判断所述初始分类结果是否需要修正包括:

9、判断所述可信度数据是否满足所述初始分类结果对应的可信度范围;

10、若所述可信度数据满足对应的可信度范围,则初始分类结果不需要修正;

11、若所述可信度数据不满足对应的可信度范围,则初始分类结果需要修正。

12、可选地,在本专利技术第一方面的第三种实现方式中,所述可信度范围包括第一可信度范围和第二可信度范围;

13、当所述初始分类结果对应的信息分类属于域内分类时,所述初始分类结果对应的可信度范围为第一可信度范围;

14、当所述初始分类结果对应的信息分类属于域外分类时,所述初始分类结果对应的可信度范围为第二可信度范围。

15、可选地,在本专利技术第一方面的第四种实现方式中,所述根据所述分类得分计算所述初始分类结果的可信度数据包括:

16、当所述初始分类结果对应的信息分类属于域内分类时,基于所述域内分类中的信息分类对应的分类得分计算初始分类结果的可信度数据;

17、当所述初始分类结果对应的信息分类属于域外分类时,基于所述域内分类和域外分类中的信息分类对应的分类得分计算初始分类结果的可信度数据。

18、可选地,在本专利技术第一方面的第五种实现方式中,所述将属于域外分类的初始分类结果重新划分为属于域内分类的信息类别包括:

19、获取所述输入信息在属于域内分类的信息类别下的分类得分,将所述属于域外分类的初始分类结果重新划分为所述分类得分中的最大值对应的信息类别作为修正信息类别。

20、可选地,在本专利技术第一方面的第六种实现方式中,在所述调用预先训练好的分类识别模型对待分类的输入信息进行分类识别之前,还包括:

21、将用于训练分类识别模型的训练集中加入域外训练数据,并使用包含有域外训练数据的训练集对构建的初始模型进行训练并调整初始模型的参数,得到能够输出属于域内分类和域外分类的信息类别的分类得分的分类识别模型。

22、本专利技术第二方面提供了一种基于双向流数据结构的信息分类装置,包括:

23、识别模块,用于调用预先训练好的分类识别模型对待分类的输入信息进行分类识别,得到所述输入信息在多个信息类别下的分类得分;

24、分类模块,用于基于所述分类得分对所述输入信息进行分类,得到初始分类结果,其中,所述初始分类结果为属于域内分类的信息类别或者属于域外分类的信息类别;

25、判断模块,用于根据所述分类得分计算所述初始分类结果的可信度数据,并基于所述可信度数据判断所述初始分类结果是否需要修正;

26、修正模块,用于若需要修正,则基于构建的双向流数据结构,对所述初始分类结果进行双向的数据划分,将属于域内分类的初始分类结果重新划分为属于域外分类的信息类别,和/或将属于域外分类的初始分类结果重新划分为属于域内分类的信息类别,得到最终分类结果。

27、可选地,在本专利技术第二方面的第一种实现方式中,所述分类模块具体用于:

28、获取各所述分类得分中的最大值对应的信息类别,并将各所述分类得分中的最大值对应的信息类别作为初始分类结果。

29、可选地,在本专利技术第二方面的第二种实现方式中,所述判断模块具体用于:

30、判断所述可信度数据是否满足所述初始分类结果对应的可信度范围;

31、若所述可本文档来自技高网...

【技术保护点】

1.一种基于双向流数据结构的信息分类方法,其特征在于,包括:

2.根据权利要求1所述的基于双向流数据结构的信息分类方法,其特征在于,所述基于所述分类得分对所述输入信息进行分类,得到初始分类结果包括:

3.根据权利要求1所述的基于双向流数据结构的信息分类方法,其特征在于,所述基于所述可信度数据判断所述初始分类结果是否需要修正包括:

4.根据权利要求3所述的基于双向流数据结构的信息分类方法,其特征在于,所述可信度范围包括第一可信度范围和第二可信度范围;

5.根据权利要求4所述的基于双向流数据结构的信息分类方法,其特征在于,所述根据所述分类得分计算所述初始分类结果的可信度数据包括:

6.根据权利要求1所述的基于双向流数据结构的信息分类方法,其特征在于,所述将属于域外分类的初始分类结果重新划分为属于域内分类的信息类别包括:

7.根据权利要求1-6中任一项所述的基于双向流数据结构的信息分类方法,其特征在于,在所述调用预先训练好的分类识别模型对待分类的输入信息进行分类识别之前,还包括:

8.一种基于双向流数据结构的信息分类装置,其特征在于,所述基于双向流数据结构的信息分类装置包括:

9.一种基于双向流数据结构的信息分类设备,其特征在于,所述基于双向流数据结构的信息分类设备包括:存储器和至少一个处理器,所述存储器中存储有指令;

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序/指令,其特征在于,所述程序/指令被处理器执行时实现如权利要求1-7中任一项所述的基于双向流数据结构的信息分类方法的步骤。

11.一种计算机程序产品,包括计算机程序/指令,其特征在于,当所述计算机程序/指令被处理器执行时实现如权利要求1-7中任一项所述的基于双向流数据结构的信息分类方法的步骤。

...

【技术特征摘要】

1.一种基于双向流数据结构的信息分类方法,其特征在于,包括:

2.根据权利要求1所述的基于双向流数据结构的信息分类方法,其特征在于,所述基于所述分类得分对所述输入信息进行分类,得到初始分类结果包括:

3.根据权利要求1所述的基于双向流数据结构的信息分类方法,其特征在于,所述基于所述可信度数据判断所述初始分类结果是否需要修正包括:

4.根据权利要求3所述的基于双向流数据结构的信息分类方法,其特征在于,所述可信度范围包括第一可信度范围和第二可信度范围;

5.根据权利要求4所述的基于双向流数据结构的信息分类方法,其特征在于,所述根据所述分类得分计算所述初始分类结果的可信度数据包括:

6.根据权利要求1所述的基于双向流数据结构的信息分类方法,其特征在于,所述将属于域外分类的初始分类结果重新划分为属于域内分类的信息类别包括:

7.根据权...

【专利技术属性】
技术研发人员:马达标杨剑费浩峻
申请(专利权)人:上海淇玥信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1