System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种训练数据生成方法、装置、终端及存储介质制造方法及图纸_技高网

一种训练数据生成方法、装置、终端及存储介质制造方法及图纸

技术编号:42206129 阅读:6 留言:0更新日期:2024-07-30 18:50
本申请提供一种训练数据生成方法、装置、终端及存储介质。该方法包括:基于目标模型的多个任务需求,确定目标模型的第一权重列表,并利用第一权重列表计算数据矫正阈值,第一权重列表包括目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;基于第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;根据数据矫正阈值和权重重心,调整各个实际训练样本的任务类别组合的权重;基于调整后的各个实际训练样本的任务类别组合的权重生成目标模型的训练样本。本申请能够降低模型采集训练样本的困难,提高目标模型的训练样本的生成速率。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种训练数据生成方法、装置、终端及存储介质


技术介绍

1、随着人工智能及大数据技术的发展,出现了许多基于人工智能的数据分析模型,通过数据分析模型可以对收集到的历史数据进行处理,从而对未来进行一定程度的预测和规划。其中,深度学习模型是以一种数据分析模型,主要基于数据驱动实现。如何使模型效果更加符合任务要求,通过调整训练数据是最直接有效的方法。但是数据端工作存在数据收集难,标注工作量大等问题。所以基于已有数据模拟生成数据是必要的。目前的做法可能会通过设定一些区域、大小限制来随机生成,这样生成的数据可能存在分布不均衡和不符合实际任务需求的状况出现,且获取过程困难。


技术实现思路

1、本申请提供了一种训练数据生成方法、装置、终端及存储介质,以解决现有技术中模型训练数据收集难的问题。

2、第一方面,本申请提供了一种训练数据生成方法,包括:

3、基于目标模型的多个任务需求,确定所述目标模型的第一权重列表,并利用所述第一权重列表计算数据矫正阈值,所述第一权重列表包括所述目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;

4、基于所述第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;

5、根据所述数据矫正阈值和所述权重重心,调整各个实际训练样本的任务类别组合的权重;

6、基于调整后的各个实际训练样本的任务类别组合的权重生成所述目标模型的训练样本。

7、第二方面,本申请提供了一种训练数据生成装置,包括:

8、阈值计算模块,用于基于目标模型的多个任务需求,确定所述目标模型的第一权重列表,并利用所述第一权重列表计算数据矫正阈值,所述第一权重列表包括所述目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;

9、重心计算模块,用于基于所述第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;

10、权重列表确定模块,用于根据所述数据矫正阈值和所述权重重心,调整各个实际训练样本的任务类别组合的权重;

11、数据生成模块,用于基于调整后的各个实际训练样本的任务类别组合的权重生成所述目标模型的训练样本。

12、第三方面,本申请提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

13、第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

14、本申请提供一种训练数据生成方法、装置、终端及存储介质,通过基于目标模型的多个任务需求,确定目标模型的第一权重列表,并利用第一权重列表计算数据矫正阈值,第一权重列表包括目标模型输出的多个任务类别组合的权重;每个任务包括多个类别;基于第一权重列表,分别确定多个实际训练样本对应的任务类别组合的权重,并计算所有实际训练样本的任务类别组合的权重重心;根据数据矫正阈值和权重重心,调整各个实际训练样本的任务类别组合的权重;基于调整后的各个实际训练样本的任务类别组合的权重生成目标模型的训练样本。本申请通过数据矫正阈值和权重重心调整目标模型的所有实际训练样本的任务类别组合的权重,可以提高生成的训练样本更加贴合自然分布,使得训练样本更加符合实际需求,降低了模型采集训练样本的困难,且通过矫正阈值和权重重心调整各个实际训练样本的任务列表组合的权重,减少复杂操作,可以提高目标模型的训练样本的生成速率。

本文档来自技高网...

【技术保护点】

1.一种训练数据生成方法,其特征在于,包括:

2.根据权利要求1所述的训练数据生成方法,其特征在于,所述根据所述数据矫正阈值和所述权重重心,调整各个实际训练样本的任务类别组合的权重,包括:

3. 根据权利要求2所述的训练数据生成方法, 其特征在于,所述根据所述权重重心和所述数据矫正阈值,确定第二权重列表中需要进行权重矫正的实际训练样本,并将需要进行权重矫正的实际训练样本作为目标训练样本,包括:

4.根据权利要求2所述的训练数据生成方法,其特征在于,所述基于所述权重重心减去所述数据矫正阈值的差值,确定所述第二权重列表中的目标训练样本的任务类别组合的权重的矫正系数,包括:

5.根据权利要求1所述的训练数据生成方法,其特征在于,所述基于调整后的各个实际训练样本的任务类别组合的权重生成所述目标模型的训练样本,包括:

6.根据权利要求5所述的训练数据生成方法,其特征在于,所述利用所述目标权重对应的实际训练样本生成一个新的训练样本,包括:

7.根据权利要求1所述的训练数据生成方法,其特征在于,所述利用所述第一权重列表计算数据矫正阈值,包括:

8.一种训练数据生成装置,其特征在于,包括:

9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述训练数据生成方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述训练数据生成方法的步骤。

...

【技术特征摘要】

1.一种训练数据生成方法,其特征在于,包括:

2.根据权利要求1所述的训练数据生成方法,其特征在于,所述根据所述数据矫正阈值和所述权重重心,调整各个实际训练样本的任务类别组合的权重,包括:

3. 根据权利要求2所述的训练数据生成方法, 其特征在于,所述根据所述权重重心和所述数据矫正阈值,确定第二权重列表中需要进行权重矫正的实际训练样本,并将需要进行权重矫正的实际训练样本作为目标训练样本,包括:

4.根据权利要求2所述的训练数据生成方法,其特征在于,所述基于所述权重重心减去所述数据矫正阈值的差值,确定所述第二权重列表中的目标训练样本的任务类别组合的权重的矫正系数,包括:

5.根据权利要求1所述的训练数据生成方法,其特征在于,所述基于调整后的各个实际训练样本的任务类别组合的权重生...

【专利技术属性】
技术研发人员:徐显杰马维博薛英荆茂盛孟令航于彬
申请(专利权)人:天津所托瑞安汽车科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1