System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据检测方法、装置、设备及存储介质制造方法及图纸_技高网

数据检测方法、装置、设备及存储介质制造方法及图纸

技术编号:44302758 阅读:0 留言:0更新日期:2025-02-18 20:20
本申请提供了一种数据检测方法、装置、设备及存储介质,该方法可以应用于人工智能、安全检测等技术领域,包括:通过N个数据检测模型,分别对获取的待检测的目标数据进行数据检测,得到目标数据属于目标类型数据的N个预测概率;确定N个数据检测模型对应的检测阈值;基于N个预测概率和检测阈值,确定目标数据的检测结果,其中N个数据检测模型是基于第一训练样本和第二训练样本训练得到的,第二训练样本是生成对抗网络基于第一训练样本生成的。即本申请使用N个数据检测模型进行数据检测,可以提高数据检测的准确性和稳定性。另外使用生成对抗网络生成新的训练样本,增加了训练数据,进一步提高了N个数据检测模型的数据检测准确性和稳定性。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种数据检测方法、装置、设备及存储介质


技术介绍

1、随着人工智能(artificial intelligence,ai)技术的快速发展,在多种领域中均使用到ai技术,例如在一些数据检测场景,可以使用人工智能技术对一些欺诈行为进行检测,可以保护用户的生命财产安全。

2、目前的基于机器学习的欺诈检测方法,首先通过训练数据训练一个数据检测模型,通过该数据检测模型来识别欺诈行为。但是,基于机器学习的欺诈检测方法,存在数据检测准确性和稳定性不高。


技术实现思路

1、本申请提供一种数据检测方法、装置、设备及存储介质,通过n个数据检测模型进行数据检测,可以提高数据检测的准确性和稳定性。

2、第一方面,本申请提供一种数据检测方法,包括:

3、通过n个数据检测模型,分别对获取的待检测的目标数据进行数据检测,得到所述目标数据属于目标类型数据的n个预测概率,所述n为大于1的正整数;

4、确定所述n个数据检测模型对应的检测阈值,所述检测阈值用于确定所述目标数据是否为所述目标类型数据;

5、基于所述n个预测概率和所述检测阈值,确定所述目标数据的检测结果;

6、其中,所述n个数据检测模型是基于第一训练样本和第二训练样本训练得到的,所述第二训练样本是生成对抗网络基于所述第一训练样本生成的。

7、第二方面,本申请提供了一种数据检测装置,包括:

8、预测单元,用于通过n个数据检测模型,分别对获取的待检测的目标数据进行数据检测,得到所述目标数据属于目标类型数据的n个预测概率,所述n为大于1的正整数;

9、阈值确定单元,用于确定所述n个数据检测模型对应的检测阈值,所述检测阈值用于确定所述目标数据是否为所述目标类型数据;

10、检测单元,用于基于所述n个预测概率和所述检测阈值,确定所述目标数据的检测结果;

11、其中,所述n个数据检测模型是基于第一训练样本和第二训练样本训练得到的,所述第二训练样本是生成对抗网络基于所述第一训练样本生成的。

12、在一些实施例中,检测单元,具体用于确定所述n个数据检测模型的权重;基于所述n个数据检测模型的权重,对所述n个预测概率进行加权,得到所述目标数据的加权预测概率;基于所述加权预测概率和所述检测阈值,得到所述检测结果。

13、在一些实施例中,所述n个数据检测模型的训练过程包括:通过所述生成对抗网络,对所述第一训练样本进行处理,生成所述第二训练样本;对于所述第一训练样本和所述第二训练样本中的任一训练样本,使用所述n个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率;对于所述n个数据检测模型中的每一个数据检测模型,基于所述数据检测模型的预测概率和所述训练样本的真实标签,确定所述数据检测模型的损失,并基于所述损失对所述数据检测模型中的参数进行更新。

14、在一些实施例中,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本之前,完成对所述生成对抗网络的训练,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本,包括:通过训练后的所述生成对抗网络,对所述第一训练样本进行处理,生成所述第二训练样本。

15、在一些实施例中,所述使用所述n个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率,包括:通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息;通过所述n个数据检测模型对所述训练样本的特征信息进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率。

16、在一些实施例中,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息之前,完成对所述深度学习模型的训练,所述深度学习模型的训练过程包括:通过所述深度学习模型中的特征提取模块,对第三训练样本进行特征提取,得到所述第三训练样本的特征信息;通过所述深度学习模型中的预测模块,对所述第三训练样本的特征信息进行处理,得到所述第三训练样本的预测概率;基于所述第三训练样本的预测概率和所述第三训练样本的真实标签,对所述深度学习模型进行训练。

17、在一些实施例中,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息,包括:通过训练后的所述深度学习模型中的特征提取模块,对所述训练样本进行特征提取,得到所述训练样本的特征信息。

18、在一些实施例中,所述n个数据检测模型的权重与所述n个数据检测模型一起训练得到的,所述n个数据检测模型的权重的训练过程包括:通过第i-1轮训练得到的n个数据检测模型,对第i轮训练样本进行数据检测,得到所述第i轮的n个预测概率,所述i为正整数;基于所述第i轮的n个预测概率、所述n个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第i轮的损失;基于所述第i轮的损失,对所述述第i-1轮的权重进行更新,得到所述n个数据检测模型在第i轮的权重。

19、在一些实施例中,所述基于所述第i轮的n个预测概率、所述n个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第i轮的损失,包括:基于所述第i轮的n个预测概率和所述第i-1轮的权重,确定所述第i轮训练样本在第i轮的加权预测概率;基于所述第i轮训练样本在第i轮的加权预测概率和所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第i轮的损失。

20、在一些实施例中,所述检测阈值与所述n个数据检测模型一起训练得到的,所述检测阈值的训练过程包括:通过第i-1轮训练得到的n个数据检测模型,对第i轮训练样本进行数据检测,得到所述第i轮的n个预测概率,所述i为正整数;基于所述第i轮的n个预测概率和所述n个数据检测模型在第i-1轮的权重,确定所述第i轮训练样本的加权预测概率;基于所述第i轮训练样本的加权预测概率和所述第i轮训练样本的真实标签,对第i-1轮的检测阈值进行更新,得到所述第i轮的检测阈值。

21、在一些实施例中,所述基于所述第i轮训练样本的加权预测概率和所述第i轮训练样本的真实标签,对第i-1轮的检测阈值进行更新,得到所述第i轮的检测阈值,包括:基于所述第i轮训练样本的加权预测概率、所述第i轮训练样本的真实标和所述第i-1轮的检测阈值,确定所述n个数据检测模型在第i轮的评价指标;基于所述n个数据检测模型在第i轮的评价指标,确定所述第i轮的检测阈值。

22、在一些实施例中,所述评价指标包括精确率、召回率、f1值、roc曲线中的至少一个。

23、在一些实施例中,所述基于所述n个数据检测模型在第i轮的评价指标,确定所述第i轮的检测阈值,包括:基于所述第i轮的评价指标,确定所述第i轮的阈值设定指标;基于所述第i轮的阈值设定指标,确定所述第i轮的检测阈值。...

【技术保护点】

1.一种数据检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述N个预测概率和所述检测阈值,确定所述目标数据的检测结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述N个数据检测模型的训练过程包括:

4.根据权利要求3所述的方法,其特征在于,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本之前,完成对所述生成对抗网络的训练,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本,包括:

5.根据权利要求3所述的方法,其特征在于,所述使用所述N个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的N个预测概率,包括:

6.根据权利要求5所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息之前,完成对所述深度学习模型的训练,所述深度学习模型的训练过程包括:

7.根据权利要求6所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息,包括:

8.根据权利要求3所述的方法,其特征在于,所述N个数据检测模型的权重与所述N个数据检测模型一起训练得到的,所述N个数据检测模型的权重的训练过程包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述第i轮的N个预测概率、所述N个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述N个数据检测模型在第i轮的损失,包括:

10.根据权利要求3所述的方法,其特征在于,所述检测阈值与所述N个数据检测模型一起训练得到的,所述检测阈值的训练过程包括:

11.根据权利要求10所述的方法,其特征在于,所述基于所述第i轮训练样本的加权预测概率和所述第i轮训练样本的真实标签,对第i-1轮的检测阈值进行更新,得到所述第i轮的检测阈值,包括:

12.根据权利要求11所述的方法,其特征在于,所述评价指标包括精确率、召回率、F1值、受试者特征ROC曲线中的至少一个。

13.根据权利要求11所述的方法,其特征在于,所述基于所述N个数据检测模型在第i轮的评价指标,确定所述第i轮的检测阈值,包括:

14.根据权利要求13所述的方法,其特征在于,所述基于所述第i轮的评价指标,确定所述第i轮的阈值设定指标,包括:

15.根据权利要求14所述的方法,其特征在于,所述基于所述第i轮的阈值设定指标,得到所述第i轮的检测阈值,包括:

16.根据权利要求10所述的方法,其特征在于,得到所述第i轮的检测阈值后对所述第i轮的检测阈值的验证,所述第i轮的检测阈值的验证过程包括:

17.根据权利要求16所述的方法,其特征在于,若所述第i轮的检测阈值的验证结果为合格时,则停止所述N个数据检测模型和所述检测阈值的更新。

18.一种数据检测装置,其特征在于,包括:

19.一种计算机设备,包括处理器和存储器;

20.一种计算机可读存储介质,其特征在于,用于存储计算机程序;

...

【技术特征摘要】

1.一种数据检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述n个预测概率和所述检测阈值,确定所述目标数据的检测结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述n个数据检测模型的训练过程包括:

4.根据权利要求3所述的方法,其特征在于,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本之前,完成对所述生成对抗网络的训练,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本,包括:

5.根据权利要求3所述的方法,其特征在于,所述使用所述n个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率,包括:

6.根据权利要求5所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息之前,完成对所述深度学习模型的训练,所述深度学习模型的训练过程包括:

7.根据权利要求6所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息,包括:

8.根据权利要求3所述的方法,其特征在于,所述n个数据检测模型的权重与所述n个数据检测模型一起训练得到的,所述n个数据检测模型的权重的训练过程包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述第i轮的n个预测概率、所述n个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第...

【专利技术属性】
技术研发人员:林岳
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1