分类模型训练方法、分类方法及装置、设备和介质制造方法及图纸

本申请实施例公开了一种分类模型训练方法、装置及相关设备，该方法先利用包括大量第一样本的第一样本集对初始分类模型进行训练，得到预训练模型，第一样本中包括文本及其对应的表情符号标签；再利用包括少量第二样本的第二样本集对预训练模型进行训练，得到以文本作为输入、以文本对应的情感类别的概率分布作为输出的文本情感分类模型。该方法将大量弱监督样本与少量有监督样本结合起来对模型进行训练，能够在不增加人工标注样本的情况下，保证训练得到的模型具有较好的模型性能。

Training method, classification method, device, equipment and medium of classification model

【技术实现步骤摘要】
分类模型训练方法、分类方法及装置、设备和介质本申请对申请号为201811554820.X，申请日为2018年12月18日，专利技术名称为“分类模型训练方法、分类方法及装置、设备和介质”的中国专利申请提出分案申请。
本申请涉及机器学习
，尤其涉及一种分类模型训练方法、分类方法及装置、设备和介质。
技术介绍
目前，社交文本的情感分类在许多产品中都具有重要作用，例如舆情分析、产品营销、聊天机器人等产品，都会依赖社交文本情感分类模型来实现对社交文本的情感分类，以基于情感分类结果实现相应的产品功能，这些产品的性能主要取决于社交文本情感分类模型的性能。现有的社交文本情感分类模型，主要依赖于监督学习和人工标注的样本集，模型性能主要取决于人工标注的样本质量以及样本数量，只有基于大规模的高质量的样本数据，才能训练出高性能的社交文本情感分类模型。但是由于人工标注成本非常高，这就限制了高质量的样本数据的增广，而标注数量的不足就会影响模型的性能。可见，目前这种模型训练方法受限于标注的样本数量，导致文本情感分类模型的性能不高，难以满足上述产品的性能需求。
技术实现思路
本申请实施例提供了一种分类模型训练方法、装置、相关设备以及介质，能够在不增加人工标注的样本的情况下，保证训练得到的性能较优的社交文本情感分类模型。有鉴于此，本申请第一方面提供了一种分类模型训练方法，包括：利用第一样本集对初始分类模型进行训练，得到预训练模型，所述第一样本集包括第一样本，所述第一样本包括社交文本及其对应的表情符号标签；利用第二样本集对所述预训练模型进行训练，得到社交文本情感分类模型，所述社交文本情感分类模型以社交文本作为输入，以社交文本对应的情感类别的概率分布作为输出；所述第二样本集包括第二样本，所述第二样本包括社交文本及其对应的情感分类标签。本申请第二方面提供了一种分类方法，包括：获取社交文本；根据所述社交文本，通过社交文本情感分类模型，获得所述社交文本对应的情感类别概率分布，所述社交文本情感分类模型是根据上述第一方面提供的所述分类模型训练方法训练得到的；根据所述社交文本对应的情感类别概率分布，确定所述社交文本的情感类别。本申请第三方面提供了一种分类模型训练装置，包括：第一训练模块，用于利用第一样本集对初始分类模型进行训练，得到预训练模型，所述第一样本集包括第一样本，所述第一样本包括社交文本及其对应的表情符号标签；第二训练模块，用于利用第二样本集对所述预训练模型进行训练，得到社交文本情感分类模型，所述社交文本情感分类模型以社交文本作为输入，以社交文本对应的情感类别的概率分布作为输出；所述第二样本集包括第二样本，所述第二样本包括社交文本及其对应的情感分类标签。本申请第四方面提供了一种分类装置，包括：获取模块，用于获取社交文本；预测模块，用于利用预先训练的社交文本情感分类模型对所述社交文本的情感进行预测，得到所述社交文本对应的情感类别概率分布；所述社交文本情感分类模型是根据上述第一方面提供的所述分类模型训练方法训练得到的；分类模块，用于根据所述社交文本对应的情感类别概率分布，确定所述社交文本的情感类别。本申请第五方面提供了一种设备，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行如上述第一方面所述的分类模型训练方法的步骤，或者，执行如上述第二方面所述的分类方法的步骤。本申请第六方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的分类模型训练方法的步骤，或者，执行如上述第二方面所述的分类方法的步骤。从以上技术方案可以看出，本申请实施例具有以下优点：本申请实施例提供了一种分类模型训练方法，该方法利用包含有大量弱监督样本的第一样本集，对初始分类模型进行训练得到预训练模型，此处的弱监督样本即为第一样本，其包括社交文本及其对应的表情符号标签，利用社交文本中附带的表情符号能够在一定程度上表征社交文本的情感分类这一特点，直接将社交文本中附带的表情符号作为该社交文本对应的情感分类标签，无需人工标注样本标签；在完成对预训练模型的训练后，进一步利用包括有少量有监督样本的第二样本集，对该预训练模型做进一步优化训练，此处的有监督样本即为第二样本，其包括社交文本及其对应的人工标注的情感分类标签，从而得到以社交文本作为输入、以社交文本对应的情感类别的概率分布作为输出的社交文本情感分类模型。如此，将大量弱监督样本与少量有监督样本结合起来对模型进行训练，保证在不增加人工标注样本的成本的情况下，即在使用少量人工标注样本的情况下，训练出模型性能较优的社交文本情感分类模型。附图说明图1为本申请实施例提供的一种分类模型训练方法的应用场景示意图；图2为本申请实施例提供的分类模型训练方法的流程示意图；图3为本申请实施例提供的模型训练过程的架构示意图；图4为本申请实施例提供的生成第一样本集的方法的流程示意图；图5为本申请实施例提供的分类方法的流程示意图；图6为本申请实施例提供的另一种分类模型训练方法的应用场景示意图；图7为本申请实施例提供的一种分类模型训练装置的结构示意图；图8为本申请实施例提供的另一种分类模型训练装置的结构示意图；图9为本申请实施例提供的又一种分类模型训练装置的结构示意图；图10为本申请实施例提供的一种分类装置的结构示意图；图11为本申请实施例提供的另一种分类装置的结构示意图；图12为本申请实施例提供的又一种分类装置的结构示意图；图13为本申请实施例提供的再一种分类装置的结构示意图；图14为本申请实施例提供的一种服务器的结构示意图；图15为本申请实施例提供的一种终端设备的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。现有技术中，对社交文本情感分类模型本文档来自技高网...

【技术保护点】
1.一种分类模型训练方法，其特征在于，包括：/n利用第一样本集对初始分类模型进行训练，得到预训练模型，所述第一样本集包括第一样本，所述第一样本包括文本及其对应的表情符号标签；/n利用第二样本集对所述预训练模型进行训练，得到文本情感分类模型，所述文本情感分类模型以文本作为输入，以文本对应的情感类别的概率分布作为输出；所述第二样本集包括第二样本，所述第二样本包括文本及其对应的情感分类标签。/n

【技术特征摘要】
1.一种分类模型训练方法，其特征在于，包括：
利用第一样本集对初始分类模型进行训练，得到预训练模型，所述第一样本集包括第一样本，所述第一样本包括文本及其对应的表情符号标签；
利用第二样本集对所述预训练模型进行训练，得到文本情感分类模型，所述文本情感分类模型以文本作为输入，以文本对应的情感类别的概率分布作为输出；所述第二样本集包括第二样本，所述第二样本包括文本及其对应的情感分类标签。


2.根据权利要求1所述方法，其特征在于，通过以下方式生成所述第一样本集：
采集多个文本，生成文本集，所述文本包括表情符号；
针对所述文本集中各表情符号，根据该表情符号出现的次数以及该表情符号与情感词典中各情感词的共现次数，确定该表情符号的情感能力；
针对所述文本集中各文本，确定该文本中所包含的情感能力最高的表情符号，作为该文本对应的表情符号标签；
根据所述文本集中各文本及其对应的表情符号标签，生成所述第一样本集。


3.根据权利要求2所述方法，其特征在于，根据所述文本集中各文本及其对应的表情符号标签，生成所述第一样本集，包括：
基于不同表情符号对应的文本数量相同的原则，从所述文本集中抽取不同表情符号所对应的文本；
根据所抽取的文本及其对应的表情符号标签，生成所述第一样本集。


4.根据权利要求2所述方法，其特征在于，在确定该表情符号的情感能力之后，所述方法还包括：
按照表情符号的情感能力由高到低排序，从所述文本集中选择排序靠前的前M个表情符号，M为正整数；
则确定该文本中所包含的情感能力最高的表情符号，作为该文本对应的表情符号标签，包括：
确定该文本中所包含的所述M个表情符号中情感能力最高的表情符号，作为该文本对应的表情符号标签。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述初始分类模型包括词嵌入层、卷积层、至少一个特征提取层以及分类层；所述特征提取层包括多个卷积层和一个池化层，每个卷积层与其后所有卷积层相连接；
则所述利用第二样本集对所述预训练模型进行训练，得到文本情感分类模型，包括：
对所述预训练模型进行功能模块化处理，得到多个子模块；
按照冻结与解冻权值的方式，利用所述第二样本集依次对每个子模块进行训练，直到所述多个子模块均处于收敛状态，将包括处于收敛状态的多个子模块的模型作为文本情感分类模型；
其中，所述冻结与解冻权值的方式是指在训练某个子模块时，解冻所述某个子模块的权值对其进行训练，并冻结其余子模块的权值。


6.根据权利要求1至4中任一项所述的方法，其特征在于，所述文本包括微博；所述情感分类标签用于表征微博的情感极性，所述情感极性的分类包括正极性、负极性和中性。


7.一种分类方...

【专利技术属性】
技术研发人员：张海松，宋彦，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44