训练分类器的方法和对象分类的方法及其装置制造方法及图纸

本发明专利技术提供了一种提供了一种训练分类器的方法，包括：根据各个类别中分类正确的训练样本的类别概率信息与该类别的参考概率信息，得到第一距离，其中，所述所述参考概率信息是根据各个类别的分类正确的训练样本的类别概率信息得到的；或者，根据各个类别中分类正确的训练样本的类别概率信息与该类别的标签信息，得到第三距离；根据第一距离或第三距离拟合概率分布。

Methods and devices of training classifier and object classification

The invention provides a method for providing a training classifier, including: obtaining the first distance according to the category probability information of the training samples classified correctly in each category and the reference probability information of the category, wherein the reference probability information is obtained according to the category probability information of the training samples classified correctly in each category; or, according to each category The third distance can be obtained by classifying the category probability information of the correct training samples and the label information of the category; the probability distribution can be fitted according to the first distance or the third distance.

【技术实现步骤摘要】
训练分类器的方法和对象分类的方法及其装置
本专利技术涉及人工智能技术，特别是涉及一种训练分类器的方法和对象分类的方法及其装置。
技术介绍
随着互联网技术的发展，信息量几何倍增。自动处理对象(例如，文本信息、图像信息、音频信息、多模信息)成为人工智能的重要发展方向。而对象分类问题是自然语言理解的基础，在信息提取、对话系统、手机助手等诸多方面都有重要应用。传统的分类器往往基于封闭性假设，即测试所见的句子的类别标记都在训练数据中出现过，分类器会自动把测试对象分类到其最接近的类别，所述测试对象可以是用户输入的文本信息、图像信息、音频信息、多模信息中的任意一种或多种。传统的封闭式分类器，要在训练分类器的时候设计好类别标签，一旦超出设计范围的对象(例如，语句)出现，会被分类到最近的一个类别。这种分类在比较宽泛的分类时成立，例如情感识别，新闻分类等，其类别数目往往可以通过穷举得到。但是针对一些精确商用化分类问题(例如，手机助手，对话系统等)，封闭性假设并不合理。由于训练分类器的时候不可能考虑的足够全面，穷尽各种功能，因此在实际测试和应用中会出现在训练分类器的时候没有考虑到的功能类别(下文称之为不可见的拒绝类别)。另外，由于网络信号，隐私，法律条例，应用版权，开发难度等问题，也会存在很多在训练分类器的时候考虑到但由于上述原因而不准备支持的功能类别(下文称之为可见的拒绝类别)。对于上述两种功能类别，仅仅将其分类为相近的类别标签，则本文分类具有很强的不确定性，有可能产生对象接近但是功能迥异的情况。因此可见拒绝类别或者不可见拒绝类别两者都需要拒绝。要实现这两种拒绝，则需要在对象分类中确定输入的对象样本是否属于上述两种拒绝类别，尤其是是否属于场外数据的类别(即，不可见的拒绝类别)，这样就需要在分类器的常规训练的基础上增加对两张拒绝类别，尤其是对不可见的拒绝类别的识别和拒绝方法。
技术实现思路
针对上述问题，本专利技术实施例提供了一种训练分类器的方法和对象分类的方法及其装置。根据本专利技术实施例的一个方面，提供了一种训练分类器的方法，包括：根据各个类别中分类正确的训练样本的类别概率信息与该类别的参考概率信息，得到第一距离，其中，所述所述参考概率信息是根据各个类别的分类正确的训练样本的类别概率信息得到的；或者，根据各个类别中分类正确的训练样本的类别概率信息与该类别的标签信息，得到第三距离；根据第一距离或第三距离拟合概率分布。其中，所述参考概率信息为平均概率信息，所述平均概率信息为每个类别中分类正确的训练样本的类别概率信息的中心点。其中，所述第三距离为所述类别概率信息和所述标签信息的二元交叉熵以及概率差的加权平方平均数，所述概率差为所述类别概率信息和所述真实标签信息第i维的差值，i是样本的类别标号。其中，所述根据第一距离拟合概率分布包括：根据各个类别中分类正确的训练样本的类别概率信息与除了正确分类所属的类别之外的其他类别的参考概率信息，得到第二距离；根据第二距离对第一距离进行修正，得到修正距离；根据所述修正距离拟合概率分布。根据本专利技术实施例的另一个方面，提供了一种对象分类方法，包括：将用户输入的对象输入到分类器中以得到类别概率信息，所述类别概率信息表示所述对象属于各个类别的概率；根据所述类别概率信息中的最大概率得到第一距离，所述第一距离为所述类别概率信息与所述最大概率对应的类别的参考概率信息的距离；或者，根据所述类别概率信息中的最大概率得到第三距离，所述第三距离为所述类别概率信息与所述类别概率信息中最大概率的类别的标签信息的距离；根据第一距离或第三距离得到累计概率，并基于累计概率将所述对象进行分类。其中，所述参考概率信息为平均概率信息，所述平均概率信息为每个类别的类别概率信息的中心点。其中，所述第三距离为所述类别概率信息和所述标签信息的二元交叉熵以及概率差的平方平均数，所述概率差为所述类别概率信息和所述真实标签信息第i维的差值，i是样本的类别标号。其中，所述根据所述第一距离得到累计概率包括：根据所述类别概率信息中除最大概率之外的其他概率对应类别的参考概率信息得到第二距离，所述第二距离为所述类别概率信息与其他概率对应类别的参考概率信息的距离，所述其他概率对应类别的参考概率信息是根据除所述最大概率之外的其他概率对应的类别的类别概率信息训练得到的；根据第二距离对第一距离进行修正，得到修正距离；根据所述修正距离得到累计概率。其中，所述根据第二距离对第一距离进行修正，得到修正距离包括：对第二距离进行加权处理，所述加权处理的权重是根据训练样本的各个类别的概率的相关度得到的；根据加权处理后的第二距离对第一距离进行修正，得到所述修正距离。根据本专利技术实施例的又一个方面，提供了一种训练分类器的装置，包括：概率信息获取模块，用于根据训练样本的类别概率信息，得到各个类别的参考概率信息，所述参考概率信息是根据各个类别的分类正确的训练样本的类别概率信息得到的，所述类别概率信息表示所述训练样本属于各个类别的概率；距离计算模块，用于根据各个类别中分类正确的训练样本的类别概率信息与该类别的参考概率信息，得到第一距离；以及用于根据各个类别中分类正确的训练样本的类别概率信息与该类别的标签信息，得到第三距离；拟合模块，用于根据第一距离或第三距离拟合概率分布。根据本专利技术实施例的又一个方面，提供了一种对象分类装置，包括：概率信息获取模块，用于将用户输入的对象输入到分类器中以得到类别概率信息，所述类别概率信息表示所述对象属于各个类别的概率；距离计算模块，用于根据所述类别概率信息中最大概率得到第一距离，所述第一距离为所述类别概率信息与最大概率对应类别的参考概率信息的距离，所述参考概率信息是根据所述最大概率对应的类别的类别概率信息训练得到的；以及用于根据所述类别概率信息中最大概率得到第三距离，所述第三距离为所述类别概率信息与标签信息的距离；分类模块，用于根据第一距离或第三距离得到累计概率，并基于累计概率将所述对象进行分类。根据本专利技术实施例的又一个方面，提供了一种电子设备，包括：处理器；以及存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行上述方法中的任意一个方法。根据本专利技术实施例的一个方面，提供了一种包括指令的计算机可读存储介质，所述指令在被处理器执行时使得所述处理器执行上述方法中的任意一个方法。附图说明根据参考以下附图的以下描述，上述和其他目的和特征将变得显而易见，其中，除非另有说明，否则相似的附图标记在各个附图中指代相似的部件，并且在所述附图中：图1是示出了常规的DOC方法卷积神经网络的图。图2是示出了常规的封闭式分类器训练的流程图。图3是示出了根据本专利技术的实施例的拟合韦布尔分布的流程图。图4是示出了根据本专利技术的实施例的韦布尔分布累计概率分布函数的曲线图。图5是示出了根据本专利技术的实施例的测试流程图。图6是示出了根据本专利技术的另一实施例的拟合韦布尔分布的流程图。图7是示出了根据本专利技术的另一实本文档来自技高网...

【技术保护点】
1.一种训练分类器的方法，包括：/n根据各个类别中分类正确的训练样本的类别概率信息与该类别的参考概率信息，得到第一距离，其中，所述所述参考概率信息是根据各个类别的分类正确的训练样本的类别概率信息得到的；或者，根据各个类别中分类正确的训练样本的类别概率信息与该类别的标签信息，得到第三距离；/n根据第一距离或第三距离拟合概率分布。/n

【技术特征摘要】
20180530 CN 20181054621321.一种训练分类器的方法，包括：
根据各个类别中分类正确的训练样本的类别概率信息与该类别的参考概率信息，得到第一距离，其中，所述所述参考概率信息是根据各个类别的分类正确的训练样本的类别概率信息得到的；或者，根据各个类别中分类正确的训练样本的类别概率信息与该类别的标签信息，得到第三距离；
根据第一距离或第三距离拟合概率分布。


2.根据权利要求1所述的训练分类器的方法，其中，所述参考概率信息为平均概率信息，所述平均概率信息为每个类别中分类正确的训练样本的类别概率信息的中心点。


3.根据权利要求1所述的训练分类器的方法，其中，所述第三距离为所述类别概率信息和所述标签信息的二元交叉熵以及概率差的加权平方平均数，
所述概率差为所述类别概率信息和所述真实标签信息第i维的差值，i是样本的类别标号。


4.根据权利要求1所述的训练分类器的方法，其中，所述根据第一距离拟合概率分布包括：
根据各个类别中分类正确的训练样本的类别概率信息与除了正确分类所属的类别之外的其他类别的参考概率信息，得到第二距离；
根据第二距离对第一距离进行修正，得到修正距离；
根据所述修正距离拟合概率分布。


5.一种对象分类方法，包括：
将用户输入的对象输入到分类器中以得到类别概率信息，所述类别概率信息表示所述对象属于各个类别的概率；
根据所述类别概率信息中的最大概率得到第一距离，所述第一距离为所述类别概率信息与所述最大概率对应的类别的参考概率信息的距离；或者，根据所述类别概率信息中的最大概率得到第三距离，所述第三距离为所述类别概率信息与所述类别概率信息中最大概率的类别的标签信息的距离；
根据第一距离或第三距离得到累计概率，并基于累计概率将所述对象进行分类。


6.根据权利要求5所述的对象分类方法，其中，所述参考概率信息为平均概率信息，所述平均概率信息为每个类别的类别概率信息的中心点。


7.根据权利要求6所述的对象分类方法，其中，所述第三距离为所述类别概率信息和所述标签信息的二元交叉熵以及概率差的平方平均数，所述概率差为所述类别概率信息和所述虚拟标签信息第i维的差值，i是是类别概率信息中概率最大的类别标号。


8.根据权利要求6所述的对象分类方法，其...

【专利技术属性】
技术研发人员：刘海哮，谢静辉，刘松，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11