System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请实施例涉及计算机,尤其涉及一种数据检测方法、装置、设备及存储介质。
技术介绍
1、随着人工智能(artificial intelligence,ai)技术的快速发展,在多种领域中均使用到ai技术,例如在一些数据检测场景,可以使用人工智能技术对一些欺诈行为进行检测,可以保护用户的生命财产安全。
2、目前的基于机器学习的欺诈检测方法,首先通过训练数据训练一个数据检测模型,通过该数据检测模型来识别欺诈行为。但是,基于机器学习的欺诈检测方法,存在数据检测准确性和稳定性不高。
技术实现思路
1、本申请提供一种数据检测方法、装置、设备及存储介质,通过n个数据检测模型进行数据检测,可以提高数据检测的准确性和稳定性。
2、第一方面,本申请提供一种数据检测方法,包括:
3、通过n个数据检测模型,分别对获取的待检测的目标数据进行数据检测,得到所述目标数据属于目标类型数据的n个预测概率,所述n为大于1的正整数;
4、确定所述n个数据检测模型对应的检测阈值,所述检测阈值用于确定所述目标数据是否为所述目标类型数据;
5、基于所述n个预测概率和所述检测阈值,确定所述目标数据的检测结果;
6、其中,所述n个数据检测模型是基于第一训练样本和第二训练样本训练得到的,所述第二训练样本是生成对抗网络基于所述第一训练样本生成的。
7、第二方面,本申请提供了一种数据检测装置,包括:
8、预测单元,用于通过n个数据检测模型,
9、阈值确定单元,用于确定所述n个数据检测模型对应的检测阈值,所述检测阈值用于确定所述目标数据是否为所述目标类型数据;
10、检测单元,用于基于所述n个预测概率和所述检测阈值,确定所述目标数据的检测结果;
11、其中,所述n个数据检测模型是基于第一训练样本和第二训练样本训练得到的,所述第二训练样本是生成对抗网络基于所述第一训练样本生成的。
12、在一些实施例中,检测单元,具体用于确定所述n个数据检测模型的权重;基于所述n个数据检测模型的权重,对所述n个预测概率进行加权,得到所述目标数据的加权预测概率;基于所述加权预测概率和所述检测阈值,得到所述检测结果。
13、在一些实施例中,所述n个数据检测模型的训练过程包括:通过所述生成对抗网络,对所述第一训练样本进行处理,生成所述第二训练样本;对于所述第一训练样本和所述第二训练样本中的任一训练样本,使用所述n个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率;对于所述n个数据检测模型中的每一个数据检测模型,基于所述数据检测模型的预测概率和所述训练样本的真实标签,确定所述数据检测模型的损失,并基于所述损失对所述数据检测模型中的参数进行更新。
14、在一些实施例中,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本之前,完成对所述生成对抗网络的训练,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本,包括:通过训练后的所述生成对抗网络,对所述第一训练样本进行处理,生成所述第二训练样本。
15、在一些实施例中,所述使用所述n个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率,包括:通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息;通过所述n个数据检测模型对所述训练样本的特征信息进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率。
16、在一些实施例中,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息之前,完成对所述深度学习模型的训练,所述深度学习模型的训练过程包括:通过所述深度学习模型中的特征提取模块,对第三训练样本进行特征提取,得到所述第三训练样本的特征信息;通过所述深度学习模型中的预测模块,对所述第三训练样本的特征信息进行处理,得到所述第三训练样本的预测概率;基于所述第三训练样本的预测概率和所述第三训练样本的真实标签,对所述深度学习模型进行训练。
17、在一些实施例中,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息,包括:通过训练后的所述深度学习模型中的特征提取模块,对所述训练样本进行特征提取,得到所述训练样本的特征信息。
18、在一些实施例中,所述n个数据检测模型的权重与所述n个数据检测模型一起训练得到的,所述n个数据检测模型的权重的训练过程包括:通过第i-1轮训练得到的n个数据检测模型,对第i轮训练样本进行数据检测,得到所述第i轮的n个预测概率,所述i为正整数;基于所述第i轮的n个预测概率、所述n个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第i轮的损失;基于所述第i轮的损失,对所述述第i-1轮的权重进行更新,得到所述n个数据检测模型在第i轮的权重。
19、在一些实施例中,所述基于所述第i轮的n个预测概率、所述n个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第i轮的损失,包括:基于所述第i轮的n个预测概率和所述第i-1轮的权重,确定所述第i轮训练样本在第i轮的加权预测概率;基于所述第i轮训练样本在第i轮的加权预测概率和所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第i轮的损失。
20、在一些实施例中,所述检测阈值与所述n个数据检测模型一起训练得到的,所述检测阈值的训练过程包括:通过第i-1轮训练得到的n个数据检测模型,对第i轮训练样本进行数据检测,得到所述第i轮的n个预测概率,所述i为正整数;基于所述第i轮的n个预测概率和所述n个数据检测模型在第i-1轮的权重,确定所述第i轮训练样本的加权预测概率;基于所述第i轮训练样本的加权预测概率和所述第i轮训练样本的真实标签,对第i-1轮的检测阈值进行更新,得到所述第i轮的检测阈值。
21、在一些实施例中,所述基于所述第i轮训练样本的加权预测概率和所述第i轮训练样本的真实标签,对第i-1轮的检测阈值进行更新,得到所述第i轮的检测阈值,包括:基于所述第i轮训练样本的加权预测概率、所述第i轮训练样本的真实标和所述第i-1轮的检测阈值,确定所述n个数据检测模型在第i轮的评价指标;基于所述n个数据检测模型在第i轮的评价指标,确定所述第i轮的检测阈值。
22、在一些实施例中,所述评价指标包括精确率、召回率、f1值、roc曲线中的至少一个。
23、在一些实施例中,所述基于所述n个数据检测模型在第i轮的评价指标,确定所述第i轮的检测阈值,包括:基于所述第i轮的评价指标,确定所述第i轮的阈值设定指标;基于所述第i轮的阈值设定指标,确定所述第i轮的检测阈值。本文档来自技高网...
【技术保护点】
1.一种数据检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述N个预测概率和所述检测阈值,确定所述目标数据的检测结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述N个数据检测模型的训练过程包括:
4.根据权利要求3所述的方法,其特征在于,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本之前,完成对所述生成对抗网络的训练,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本,包括:
5.根据权利要求3所述的方法,其特征在于,所述使用所述N个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的N个预测概率,包括:
6.根据权利要求5所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息之前,完成对所述深度学习模型的训练,所述深度学习模型的训练过程包括:
7.根据权利要求6所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本
8.根据权利要求3所述的方法,其特征在于,所述N个数据检测模型的权重与所述N个数据检测模型一起训练得到的,所述N个数据检测模型的权重的训练过程包括:
9.根据权利要求8所述的方法,其特征在于,所述基于所述第i轮的N个预测概率、所述N个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述N个数据检测模型在第i轮的损失,包括:
10.根据权利要求3所述的方法,其特征在于,所述检测阈值与所述N个数据检测模型一起训练得到的,所述检测阈值的训练过程包括:
11.根据权利要求10所述的方法,其特征在于,所述基于所述第i轮训练样本的加权预测概率和所述第i轮训练样本的真实标签,对第i-1轮的检测阈值进行更新,得到所述第i轮的检测阈值,包括:
12.根据权利要求11所述的方法,其特征在于,所述评价指标包括精确率、召回率、F1值、受试者特征ROC曲线中的至少一个。
13.根据权利要求11所述的方法,其特征在于,所述基于所述N个数据检测模型在第i轮的评价指标,确定所述第i轮的检测阈值,包括:
14.根据权利要求13所述的方法,其特征在于,所述基于所述第i轮的评价指标,确定所述第i轮的阈值设定指标,包括:
15.根据权利要求14所述的方法,其特征在于,所述基于所述第i轮的阈值设定指标,得到所述第i轮的检测阈值,包括:
16.根据权利要求10所述的方法,其特征在于,得到所述第i轮的检测阈值后对所述第i轮的检测阈值的验证,所述第i轮的检测阈值的验证过程包括:
17.根据权利要求16所述的方法,其特征在于,若所述第i轮的检测阈值的验证结果为合格时,则停止所述N个数据检测模型和所述检测阈值的更新。
18.一种数据检测装置,其特征在于,包括:
19.一种计算机设备,包括处理器和存储器;
20.一种计算机可读存储介质,其特征在于,用于存储计算机程序;
...【技术特征摘要】
1.一种数据检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述n个预测概率和所述检测阈值,确定所述目标数据的检测结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述n个数据检测模型的训练过程包括:
4.根据权利要求3所述的方法,其特征在于,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本之前,完成对所述生成对抗网络的训练,所述通过所述生成对抗网络对所述第一训练样本进行处理,生成所述第二训练样本,包括:
5.根据权利要求3所述的方法,其特征在于,所述使用所述n个数据检测模型对所述训练样本进行数据检测,得到所述训练样本属于所述目标类型数据的n个预测概率,包括:
6.根据权利要求5所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息之前,完成对所述深度学习模型的训练,所述深度学习模型的训练过程包括:
7.根据权利要求6所述的方法,其特征在于,所述通过深度学习模型对所述训练样本进行特征提取,得到所述训练样本的特征信息,包括:
8.根据权利要求3所述的方法,其特征在于,所述n个数据检测模型的权重与所述n个数据检测模型一起训练得到的,所述n个数据检测模型的权重的训练过程包括:
9.根据权利要求8所述的方法,其特征在于,所述基于所述第i轮的n个预测概率、所述n个数据检测模型在第i-1轮的权重,以及所述第i轮训练样本的真实标签,确定所述n个数据检测模型在第...
【专利技术属性】
技术研发人员:林岳,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。