分类模型训练方法、分类方法、装置、设备以及介质制造方法及图纸

技术编号:31508235 阅读:12 留言:0更新日期:2021-12-22 23:42
本发明专利技术实施例公开了一种分类模型训练方法、分类方法、装置、设备以及介质。该方法包括:在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据,其中,所述第一抽样样本数据为首次迭代中预设数量的随机抽样数据或上一次迭代中第一抽样样本数据和第二抽样样本数据的合集,各次迭代中的第二抽样样本数据的分类结果基于对应的第一抽样样本数据的分类结果确定;基于所述第一抽样样本数据和第二抽样样本数据,以及各样本数据的分类结果对当前分类模型进行训练,并得到当前次迭代更新后的分类模型,得到训练后的目标分类模型。通过本发明专利技术实施例公开的技术方案,实现了提高分类模型训练的效率及准确性。提高分类模型训练的效率及准确性。提高分类模型训练的效率及准确性。

【技术实现步骤摘要】
分类模型训练方法、分类方法、装置、设备以及介质


[0001]本专利技术实施例涉及数据处理
,尤其涉及一种分类模型训练方法、分类方法、装置、设备以及介质。

技术介绍

[0002]目前在深度学习领域,一般有两种方式可以进行对数据的分类,全监督分割和弱监督分类。全监督分类效果较好,但是需要大量精确标记的数据进行训练,这些数据需要大量专业人员耗费大量时间进行标记。
[0003]目前的数据标注方式大多是借助于人工标注,工作任务重,标记结果出错也比较多,费时费力。

技术实现思路

[0004]本专利技术提供一种分类模型训练方法、分类方法、装置、设备以及介质,以实现基于少量标注数据训练网络模型,减小数据标注的工作量,提高模型训练效率,并且基于不同的样本数据对应不同的权重设置损失函数,提高模型训练的准确性。
[0005]第一方面,本专利技术实施例提供了一种分类模型训练方法,该方法包括:
[0006]在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据;其中,所述第一抽样样本数据和所述第二抽样样本数据的样本数据量相同,且样本数据不重叠,所述第一抽样样本数据为首次迭代中预设数量的随机抽样数据或上一次迭代中第一抽样样本数据和第二抽样样本数据的合集,各次迭代中的第二抽样样本数据的分类结果基于对应的第一抽样样本数据的分类结果确定;
[0007]基于所述第一抽样样本数据和第二抽样样本数据,以及各样本数据的分类结果对当前分类模型进行训练,并得到当前次迭代更新后的分类模型,直到满足迭代停止条件,得到训练后的目标分类模型。
[0008]可选的,若当前次迭代为首次迭代,则所述在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据,包括:
[0009]将初始样本数据中抽取预设数量的样本数据作为第一抽样样本数据;
[0010]将所述初始样本数据中除所述第一抽样样本数据之外的样本数据中抽取预设数量的样本数据作为第二抽样样本数据。
[0011]可选的,在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据之后,还包括:
[0012]将所述第一抽样样本数据的人工标注数据作为所述第一抽样样本数据的分类结果;
[0013]基于所述第一抽样样本数据的分类结果确定所述初始样本数据的分类结果,并基于所述初始样本数据的分类结果确定所述第二抽样样本数据的分类结果。
[0014]可选的,所述基于所述第一抽样样本数据和第二抽样样本数据,以及各样本数据
的分类结果对当前分类模型进行训练,并得到当前次迭代更新后的分类模型,直到满足迭代停止条件,得到训练后的目标分类模型,包括:
[0015]获取当前次迭代的所述第一抽样样本数据和第二抽样样本数据,并将所述第一抽样样本数据和第二抽样样本数据输入至所述当前分类模型,得到所述当前分类模型的输出结果;
[0016]将所述当前次迭代的各样本数据的分类结果作为各样本数据的数据标签,基于所述当前次迭代的数据标签以及所述当前分类模型的输出结果生成损失函数,基于所述损失函数对对所述当前分类模型进行参数调节;
[0017]当所述当前分类模型的训练过程满足训练停止条件,得到训练完成的目标分类模型。
[0018]可选的,所述分类模型的训练过程中的损失函数包括第一抽样样本数据对应的第一损失函数以及第二抽样样本数据对应的第二损失函数;所述第一损失函数基于所述第一抽样样本数据对应的第一权重所确定,所述第二损失函数基于所述第二抽样样本数据对应的第二权重所确定。
[0019]第二方面,本专利技术实施例提供了一种数据分类方法,该方法包括:
[0020]获取待分类数据;
[0021]将所述待分类数据输入至预先训练的目标分类模型,得到所述目标分类模型输出的分类结果;其中,所述目标分类模型基于上述实施例中任一所述的分类模型训练方法预先训练得到。
[0022]第三方面,本专利技术实施例还提供了一种分类模型训练装置,该装置包括:
[0023]抽样样本数据获取模块,用于在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据;其中,所述第一抽样样本数据和所述第二抽样样本数据的样本数据量相同,且样本数据不重叠,所述第一抽样样本数据为首次迭代中预设数量的随机抽样数据或上一次迭代中第一抽样样本数据和第二抽样样本数据的合集,各次迭代中的第二抽样样本数据的分类结果基于对应的第一抽样样本数据的分类结果确定;
[0024]分类模型训练模块,用于基于所述第一抽样样本数据和第二抽样样本数据,以及各样本数据的分类结果对当前分类模型进行训练,并得到当前次迭代更新后的分类模型,直到满足迭代停止条件,得到训练后的目标分类模型。
[0025]第四方面,本专利技术实施例还提供了一种数据分类装置,该装置包括:
[0026]分类数据获取模块,用于获取待分类数据;
[0027]分类模块,用于将所述待分类数据输入至预先训练的分类模型,得到所述模型输出的分类结果;其中,所述分类模型基于上述实施例中任一所述的分类模型训练方法预先训练得到。
[0028]第五方面,本专利技术实施例还提供了一种电子设备,所述电子设备包括:
[0029]一个或多个处理器;
[0030]存储装置,用于存储一个或多个程序,
[0031]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本专利技术任意实施例提供的分类模型训练方法。
[0032]第六方面,本专利技术实施例还提供了一种计算机可读存储介质,其上存储有计算机
程序,该程序被处理器执行时实现本专利技术任意实施例提供的分类模型训练方法。
[0033]本实施例的技术方案是基于在样本集中随机抽样预设数量的第一抽样样本的人工标记结果和初步聚类结果训练聚类模型,得到训练好的聚类模型,并基于该聚类模型得到样本集的分类结果;实现了基于少量标注数据得到大量样本集的标注数据,减少了标注的工作量;进一步的,从第一次抽样完的样本集中再次随机抽样,得到与第一次抽样数据相同的第二抽样样本;并基于样本集的分类结果确定第二抽样样本的分类结果;进而将第一抽样样本第一抽样样本数据和第二抽样样本数据,以及各样本数据的分类结果对当前分类模型进行训练,并得到当前次迭代更新后的分类模型,并将当前次迭代的第一抽样样本数据和第二抽样样本数据,作为下一迭代轮次的第一抽样样本数据,并基于下一次迭代的第一抽样样本数据在样本集确定下一次迭代的第二抽样样本,进行下一次的迭代训练,直到满足迭代停止条件,得到训练后的目标分类模型;基于每次迭代都采用不同的样本数据进行训练,减小了迭代的次数,并且基于预设的第一抽样样本数据以及第二抽样样本数据的不同权重确定的损失函数提高了训练的准确性;所以基于上述技术方案提高了模型训练的效率以及准确率。
附图说明
[0034]为了更加清楚地说明本专利技术示例性实施例的技术方案,下面对描述实施例中所需要用到的附图做一简单介绍。显然,所介绍的附本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种分类模型训练方法,其特征在于,包括:在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据;其中,所述第一抽样样本数据和所述第二抽样样本数据的样本数据量相同,且样本数据不重叠,所述第一抽样样本数据为首次迭代中预设数量的随机抽样数据或上一次迭代中第一抽样样本数据和第二抽样样本数据的合集,各次迭代中的第二抽样样本数据的分类结果基于对应的第一抽样样本数据的分类结果确定;基于所述第一抽样样本数据和第二抽样样本数据,以及各样本数据的分类结果对当前分类模型进行训练,并得到当前次迭代更新后的分类模型,直到满足迭代停止条件,得到训练后的目标分类模型。2.根据权利要求1所述的方法,其特征在于,若当前次迭代为首次迭代;相应的,所述在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据,包括:将初始样本数据中抽取预设数量的样本数据作为第一抽样样本数据;将所述初始样本数据中除所述第一抽样样本数据之外的样本数据中抽取预设数量的样本数据作为第二抽样样本数据。3.根据权利要求2所述的方法,其特征在于,在初始样本数据中确定当前次迭代的第一抽样样本数据和第二抽样样本数据之后,还包括:将所述第一抽样样本数据的人工标注数据作为所述第一抽样样本数据的分类结果;基于所述第一抽样样本数据的分类结果确定所述初始样本数据的分类结果,并基于所述初始样本数据的分类结果确定所述第二抽样样本数据的分类结果。4.根据权利要求1所述的方法,其特征在于,所述基于所述第一抽样样本数据和第二抽样样本数据,以及各样本数据的分类结果对当前分类模型进行训练,并得到当前次迭代更新后的分类模型,直到满足迭代停止条件,得到训练后的目标分类模型,包括:获取当前次迭代的所述第一抽样样本数据和第二抽样样本数据,并将所述第一抽样样本数据和第二抽样样本数据输入至所述当前分类模型,得到所述当前分类模型的输出结果;将所述当前次迭代的各样本数据的分类结果作为各样本数据的数据标签,基于所述当前次迭代的数据标签以及所述当前分类模型的输出结果生成损失函数,基于所述损失函数对对所述当前分类模型进行参数调节;当所述当前分类模型的训练过程满足训练停止条件,得到训练完成的目标分类模型。5.根据权利要求1所述的方...

【专利技术属性】
技术研发人员:杨志科曹文龙蒋秋明
申请(专利权)人:上海上实龙创智能科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1