System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据训练方法及装置制造方法及图纸_技高网

一种数据训练方法及装置制造方法及图纸

技术编号:43315784 阅读:2 留言:0更新日期:2024-11-15 20:17
本申请公开了一种数据训练方法及装置,涉及数据处理技术领域。该方法包括:获取包括业务数据样本和异源数据样本的训练样本。其中,业务数据样本针对用户业务标注有目标对象的目标属性标签,异源数据样本是不同于业务数据样本来源的数据样本。根据目标任务确定目标初始模型,该目标任务是在图像中检测目标对象的任务。根据业务数据样本和异源数据样本迭代训练目标初始模型,得到用于执行目标任务的目标模型。通过该方法,能够简单高效的通过异源数据辅助训练深度学习模型,且通过该方法得到的深度学习模型的具有高预测精度及高预测效率。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据训练方法及装置


技术介绍

1、深度学习模型的训练需要将大量标注有标签的业务数据作为训练样本。但由于业务数据的收集成本和标注标签的成本很高,因此实际场景中常常面临训练样本数量不足的问题。其中,业务数据是指用户在自身具体业务中获得、且标注有标签的数据。

2、针对该问题,可以在基于业务数据进行深度学习模型训练的过程中,引入异源数据来辅助模型训练。这样能够减少客户在训练深度学习模型时对业务数据的需求,从而降低了客户训练深度学习模型的成本,以及提高了客户的开发深度学习模型的效率。其中,异源数据是指用户从自身业务以外的来源获得的数据,例如从网络中获得的数据。相比业务数据,异源数据未标注标签,但异源数据的收集成本低。

3、因而,如何简单高效的通过异源数据辅助训练深度学习模型是亟待解决的问题。


技术实现思路

1、本申请提供了一种数据训练方法及装置,该方法能够简单高效的通过异源数据辅助训练深度学习模型,且得到的深度学习模型具有高预测精度和高预测效率的优点。

2、为达上述目的,本申请提供如下技术方案:

3、第一方面,本申请提供一种数据训练方法,该方法包括:获取包括业务数据样本和异源数据样本的训练样本。其中,业务数据样本针对用户业务标注有目标对象的目标属性标签,异源数据样本是不同于业务数据样本来源的数据样本。根据目标任务确定目标初始模型,目标任务是在图像中检测目标对象的任务。根据训练样本中的业务数据样本和异源数据样本迭代训练目标初始模型,得到用于执行目标任务的目标模型。

4、通过本申请提供的方法得到的用于执行目标检测任务的目标模型,预测效率和预测精度均大大提高,且训练流程简单。并且,由于本申请方法中使用了大量收集成本低的异源数据,因此通过本申请实施例所提供方法训练得到目标模型的成本低。

5、在一种可能的设计方式中,上述方法还包括:接收用户输入的至少一个边缘检测阈值,边缘检测阈值用于在异源数据样本中检测边缘。上述根据训练样本中的业务数据样本和异源数据样本迭代训练目标初始模型包括:根据业务数据样本、异源数据样本以及至少一个边缘检测阈值,迭代训练目标初始模型。

6、通过该可能的设计方式,计算设备能够得到不同边缘检测阈值粒度下异源数据样本中的边缘,这样能够保证计算设备全面的检测到异源数据样本中的所有边缘。且前述的粒度由用户自定义,因此用户的体验度好。

7、在另一种可能的设计方式中,上述训练样本包括第一训练样本,第一训练样本包括第一业务数据样本和第一异源数据样本,上述目标对象的目标属性包括目标对象的位置和目标对象的类别,其中,目标对象的位置为目标对象在图像中的位置。上述根据业务数据样本、异源数据样本以及至少一个边缘检测阈值,迭代训练目标初始模型包括:根据待训练的目标初始模型和至少一个边缘检测阈值,确定第一异源数据样本中目标对象的计算标签。根据第一业务数据样本、第一业务数据样本中目标对象的目标属性标签、第一异源数据样本、以及第一异源数据样本的计算标签,对待训练的目标初始模型进行训练,以得到目标模型。其中,计算标签是针对第一异源数据样本中目标对象的目标属性计算得到的标签,计算标签包括第一异源数据样本中目标对象的计算位置框和计算类别,计算位置框用于表征在第一异源数据样本中计算出的目标对象的位置,计算类别是与计算位置框对应的类别。

8、通过该可能的设计方式,实现了以业务数据样本中目标对象的目标属性标签和在异源数据样本中计算出的目标对象的计算标签同时来训练模型。从而,通过使用业务数据样本和大量异源数据样本共同对目标初始模型进行训练,能够将大量异源数据样本中的知识迁移到满足用户业务需求的收敛后的目标初始模型中,进而得到具有高预测精度及高预测效率的目标模型。

9、在另一种可能的设计方式中,上述根据待训练的目标初始模型和至少一个边缘检测阈值,确定第一异源数据样本中目标对象的计算标签包括:根据待训练的目标初始模型,确定第一异源数据样本中目标对象的预测位置框和预测类别。其中,预测位置框用于表征通过待训练的目标初始模型对第一异源数据样本进行预测后得到的目标对象的位置。根据上述至少一个边缘检测阈值和边缘检测算法,确定第一异源数据样本中的边缘。根据第一异源数据样本中的边缘和预测位置框的位置关系,确定计算位置框,以及根据预测类别,确定计算类别。

10、在另一种可能的设计方式中,上述根据至少一个边缘检测阈值和边缘检测算法,确定第一异源数据样本中的边缘包括:根据边缘检测算法和至少一个边缘检测阈值,检测得到每个边缘检测阈值下第一异源数据样本中的初始边缘。根据非极大值抑制算法融合初始边缘,得到第一异源数据样本中的边缘。

11、在另一种可能的设计方式中,上述根据第一异源数据样本中的边缘和预测位置框的位置关系,确定计算位置框包括:根据第一异源数据样本中的边缘和预测位置框的位置关系,将第一异源数据样本中位于预测位置框内的边缘,确定为第一异源数据样本中的正边缘,第一异源数据样本中的正边缘是第一异源数据样本中与目标对象相关的边缘。以最小外接框融合算法融合第一异源数据样本中的正边缘,得到计算位置框。

12、通过上述几种可能的设计方式,能够确定出异源数据样本中目标对象的计算标签。

13、在另一种可能的设计方式中,上述根据第一业务数据样本、第一业务数据样本中目标对象的目标属性标签、第一异源数据样本、以及第一异源数据样本的计算标签,对待训练的目标初始模型进行训练包括:将第一业务数据样本和第一异源数据样本输入待训练的目标初始模型,得到预测结果。根据预测结果、第一业务数据样本中目标对象的目标属性标签、以及第一异源数据样本的计算标签,确定位置损失函数和类别损失函数。根据位置损失函数和类别损失函数,更新待训练的目标初始模型。

14、通过该可能的实现方式,实现了同时基于业务数据样本和异源数据样本训练模型。

15、在另一种可能的设计方式中,上述方法还包括:接收用户输入的正负边缘比例。其中,正负边缘比例用于均衡异源数据样本中正边缘和负边缘的数量,异源数据样本中的正边缘用于确定异源数据样本中目标对象的计算标签,异源数据样本中的负边缘用于确定异源数据样本的背景标签,异源数据样本的背景标签包括异源数据样本中的背景框和背景类别。上述根据训练样本中的业务数据样本和异源数据样本迭代训练目标初始模型包括:根据业务数据样本、异源数据样本、异源数据样本的计算标签以及异源数据样本的背景标签,迭代训练目标初始模型。

16、在另一种可能的设计方式中,上述方法还包括:根据第一异源数据样本中的边缘和预测位置框的位置关系,将第一异源数据样本中位于上述预测位置框外的边缘,确定第一异源数据样本中的负边缘。其中,第一异源数据样本中的负边缘是第一异源数据样本中与目标对象不相关的边缘。以最小外接框融合算法融合第一异源数据样本中的负边缘,得到第一异源数据样本中的背景框,第一异源数据样本中的背景框对应的类别为背景本文档来自技高网...

【技术保护点】

1.一种数据训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述训练样本包括第一训练样本,所述第一训练样本包括第一业务数据样本和第一异源数据样本,所述目标对象的目标属性包括所述目标对象的位置和所述目标对象的类别,所述位置为所述目标对象在图像中的位置;所述根据所述业务数据样本、所述异源数据样本以及所述至少一个边缘检测阈值,迭代训练所述目标初始模型包括:

4.根据权利要求3所述的方法,其特征在于,所述根据待训练的所述目标初始模型和所述至少一个边缘检测阈值,确定所述第一异源数据样本中目标对象的计算标签包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述至少一个边缘检测阈值和边缘检测算法,确定所述第一异源数据样本中的边缘包括:

6.根据权利要求4或5所述的方法,其特征在于,所述根据所述第一异源数据样本中的边缘和所述预测位置框的位置关系,确定所述计算位置框包括:

7.根据权利要求3至6中任一项所述的方法,其特征在于,所述根据所述第一业务数据样本、所述第一业务数据样本中目标对象的目标属性标签、所述第一异源数据样本、以及所述第一异源数据样本的计算标签,对待训练的所述目标初始模型进行训练包括:

8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.根据权利要求1至10中任一项所述的方法,其特征在于,在所述根据目标任务确定目标初始模型之前,所述方法还包括:

12.根据权利要求1至11中任一项所述的方法,其特征在于,所述根据目标任务确定目标初始模型包括:

13.一种数据训练装置,其特征在于,包括:

14.根据权利要求13所述的装置,其特征在于,所述装置还包括:

15.根据权利要求14所述的装置,其特征在于,所述训练样本包括第一训练样本,所述第一训练样本包括第一业务数据样本和第一异源数据样本,所述目标对象的目标属性包括所述目标对象的位置和所述目标对象的类别,所述位置为所述目标对象在图像中的位置;

16.根据权利要求15所述的装置,其特征在于,所述处理单元还用于,

17.根据权利要求16所述的装置,其特征在于,所述处理单元还具体用于:

18.根据权利要求16或17所述的装置,其特征在于,所述处理单元还具体用于:

19.根据权利要求15至18中任一项所述的装置,其特征在于,所述训练单元具体用于:

20.根据权利要求13至19中任一项所述的装置,其特征在于,所述装置还包括:

21.根据权利要求20所述的装置,其特征在于,

22.根据权利要求21所述的装置,其特征在于,所述处理单元还具体用于:

23.根据权利要求13至22中任一项所述的装置,其特征在于,所述装置还包括:

24.根据权利要求13至23中任一项所述的装置,其特征在于,所述装置还包括:

25.一种数据训练装置,其特征在于,包括:一个或多个处理器和存储器,所述一个或多个处理器被配置为读取存储在所述存储器中的程序指令,以执行如权利要求1至12中任一项所述的方法。

26.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括程序指令,当所述程序指令在计算机或处理器上运行时,使得所述计算机或所述处理器执行权利要求1至12中任一项所述的方法。

...

【技术特征摘要】

1.一种数据训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述训练样本包括第一训练样本,所述第一训练样本包括第一业务数据样本和第一异源数据样本,所述目标对象的目标属性包括所述目标对象的位置和所述目标对象的类别,所述位置为所述目标对象在图像中的位置;所述根据所述业务数据样本、所述异源数据样本以及所述至少一个边缘检测阈值,迭代训练所述目标初始模型包括:

4.根据权利要求3所述的方法,其特征在于,所述根据待训练的所述目标初始模型和所述至少一个边缘检测阈值,确定所述第一异源数据样本中目标对象的计算标签包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述至少一个边缘检测阈值和边缘检测算法,确定所述第一异源数据样本中的边缘包括:

6.根据权利要求4或5所述的方法,其特征在于,所述根据所述第一异源数据样本中的边缘和所述预测位置框的位置关系,确定所述计算位置框包括:

7.根据权利要求3至6中任一项所述的方法,其特征在于,所述根据所述第一业务数据样本、所述第一业务数据样本中目标对象的目标属性标签、所述第一异源数据样本、以及所述第一异源数据样本的计算标签,对待训练的所述目标初始模型进行训练包括:

8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.根据权利要求1至10中任一项所述的方法,其特征在于,在所述根据目标任务确定目标初始模型之前,所述方法还包括:

12.根据权利要求1至11中任一项所述的方法,其特...

【专利技术属性】
技术研发人员:汪慧王艳周云鹏
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1