System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 离群值去除方法以及装置制造方法及图纸_技高网

离群值去除方法以及装置制造方法及图纸

技术编号:44829506 阅读:2 留言:0更新日期:2025-03-28 20:21
提供离群值去除方法以及装置,可适当去除离群值。具备:评价指标运算工序,将模型制作工序、第一评价指标运算工序和第二评价指标运算工序重复预定次数,模型制作工序将学习用数据分割为训练数据和测试数据并使用训练数据制作回归模型,第一评价指标运算工序使用测试数据对回归模型运算评价指标并设为第一评价指标,第二评价指标运算工序使用训练数据对回归模型运算评价指标并设为第二评价指标;离群值判定工序,基于评价指标运算工序的运算结果,针对学习用数据中包含的各个数据,将使用该数据作为测试数据时的第一评价指标和第二评价指标双方作为指标,判定该数据是否为离群值;以及离群值去除工序,去除在离群值判定工序中判定为离群值的数据。

【技术实现步骤摘要】

本专利技术涉及离群值去除方法以及装置


技术介绍

1、已知使用机器学习进行各种预测的方法。例如,在预测未知的配合的材料的物理性质的情况下,将通过试验制造等已经取得的数据用作学习用数据(训练数据)来进行机器学习,学习材料的配合与物理性质的相关性,使用学习的结果得到的回归模型来进行预测。

2、另外,作为与本申请的专利技术相关的现有技术文献信息,有专利文献1。

3、专利文献1:日本特开2020-30738号公报


技术实现思路

1、然而,当在学习用数据中包含错误的数据或误差大的数据即离群值时,使用该学习用数据得到的回归模型的预测精度会下降。因此,期望在机器学习之前从学习用数据中去除离群值。然而,难以适当地判断哪个数据是离群值。特别是,在学习用数据为稀疏的数据(sparse data)的情况下,难以适当地去除离群值。

2、因此,本专利技术的目的在于提供一种能够适当地去除离群值的离群值去除方法以及装置。

3、本专利技术以解决上述课题为目的,提供一种离群值去除方法,去除包含用于机器学习的说明变量和目标变量的数据的学习用数据中包含的离群值,所述离群值去除方法具备如下工序:评价指标运算工序,其具有将所述学习用数据分割为训练数据和测试数据并使用所述训练数据制作表示所述说明变量与所述目标变量的相关性的回归模型的模型制作工序、使用所述测试数据对所述回归模型运算评价指标并设为第一评价指标的第一评价指标运算工序、以及使用所述训练数据对所述回归模型运算评价指标并设为第二评价指标的第二评价指标运算工序,将所述模型制作工序、所述第一评价指标运算工序和所述第二评价指标运算工序重复预定次数;离群值判定工序,其基于所述评价指标运算工序的运算结果,针对所述学习用数据中包含的各个所述数据,将使用该数据作为所述测试数据时的所述第一评价指标以及所述第二评价指标双方作为指标,判定该数据是否为离群值;以及离群值去除工序,去除在所述离群值判定工序中判定为离群值的数据。

4、另外,本专利技术以解决上述课题为目的,提供一种离群值去除装置,其去除包含用于机器学习的说明变量和目标变量的数据的学习用数据中包含的离群值,所述离群值去除装置具备:评价指标运算处理部,其运行模型制作工序、第一评价指标运算工序和第二评价指标运算工序,将所述模型制作工序、所述第一评价指标运算工序和所述第二评价指标运算工序重复预定次数,其中,所述模型制作工序将所述学习用数据分割为训练数据和测试数据并使用所述训练数据制作表示所述说明变量与所述目标变量的相关性的回归模型,所述第一评价指标运算工序使用所述测试数据对所述回归模型运算评价指标并设为第一评价指标,所述第二评价指标运算工序使用所述训练数据对所述回归模型运算评价指标并设为第二评价指标;离群值判定处理部,其基于所述评价指标运算处理部的运算结果,针对所述学习用数据中包含的各个所述数据,将使用该数据作为所述测试数据时的所述第一评价指标以及所述第二评价指标双方作为指标,判定该数据是否为离群值;以及离群值去除处理部,其去除通过所述离群值判定处理部判定为离群值的数据。

5、根据本专利技术,可以提供能够适当地去除离群值的离群值去除方法以及装置。

本文档来自技高网...

【技术保护点】

1.一种离群值去除方法,去除包含用于机器学习的说明变量和目标变量的数据的学习用数据中包含的离群值,其特征在于,所述离群值去除方法具备如下工序:

2.根据权利要求1所述的离群值去除方法,其特征在于,

3.根据权利要求1所述的离群值去除方法,其特征在于,

4.根据权利要求1所述的离群值去除方法,其特征在于,

5.根据权利要求4所述的离群值去除方法,其特征在于,

6.一种离群值去除装置,其去除包含用于机器学习的说明变量和目标变量的数据的学习用数据中包含的离群值,其特征在于,所述离群值去除装置具备:

【技术特征摘要】

1.一种离群值去除方法,去除包含用于机器学习的说明变量和目标变量的数据的学习用数据中包含的离群值,其特征在于,所述离群值去除方法具备如下工序:

2.根据权利要求1所述的离群值去除方法,其特征在于,

3.根据权利要求1所述的离群值去除方法,其特征在于,

【专利技术属性】
技术研发人员:谷毅彦渡边智纪
申请(专利权)人:株式会社博迈立铖
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1