System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据分析,尤其涉及一种数据检测方法、装置、电子设备及存储介质。
技术介绍
1、在业务执行过程中,会产生多个业务数据,业务数据反映业务的执行情况。通过对业务数据进行检测得到的检测结果,可以指导业务的决策。
2、业务数据的检测包括检测业务数据中的异常数据,异常数据为业务数据中显著偏离大多数其他数据的部分数据。异常数据出现的可能原因是错误执行业务,通过对异常数据进行分析确定出现的原因,从而指导业务的决策,以减少同类型的错误。
3、因此,如何准确检测业务数据中的异常数据是准确做出业务决策的关键。
技术实现思路
1、本申请提供一种数据检测方法、装置、电子设备及存储介质,用以数据检测的准确性。
2、第一方面,本申请提供一种数据检测方法,包括:接收数据检测请求,所述数据检测请求包括实时数据以及目标数据类型标识;根据所述数据检测请求,确定所述目标数据类型标识对应的至少一个检测模型,所述至少一个检测模型包括第一模型,或者所述至少一个检测模型包括第一模型和第二模型,所述第一模型用于从具有第一周期特征的数据中检测得到异常数据,所述第二模型用于从具有第二周期特征的数据中检测得到异常数据,所述第一周期小于所述第二周期;通过所述至少一个检测模型对所述实时数据进行检测,得到检测结果,所述检测结果包括目标异常数据。
3、在一种可能的实施方式中,根据所述数据检测请求,确定所述目标数据类型标识对应的至少一个检测模型,包括:确定数据类型标识与检测模型的对应关系;
4、在一种可能的实施方式中,通过所述至少一个检测模型对所述实时数据进行检测,得到检测结果,包括:根据所述实时数据以及所述第一周期,确定所述实时数据对应的多个周期数据,所述多个周期数据与所述第一周期对应;确定所述多个周期数据对应的多个中位数;通过所述多个中位数,对所述第一模型进行训练,得到第一目标模型;若所述至少一个检测模型包括第一模型,则将所述实时数据输入所述第一目标模型,得到所述检测结果;若所述至少一个检测模型包括第一模型和第二模型,则通过所述第一目标模型以及所述第二模型对所述实时数据进行检测,得到所述检测结果。
5、在一种可能的实施方式中,通过所述第一目标模型以及所述第二模型对所述实时数据进行检测,得到所述检测结果,包括:将所述实时数据输入所述第一目标模型得到第一异常数据,将所述第一异常数据输入所述第二模型得到所述目标异常数据;或者,将所述实时数据输入所述第二模型得到第二异常数据,将所述第二异常数据输入所述第一异常模型得到所述目标异常数据;确定所述检测结果包括所述目标异常数据。
6、在一种可能的实施方式中,所述方法还包括:获取历史数据,所述历史数据与所述目标数据类型标识对应;对所述历史数据进行识别处理,得到多个异常点数据;确定每个异常点数据的时间特征;根据所述时间特征对所述多个异常点数据进行计算处理,得到所述多个异常点数据之间的多个相似度;若所述多个相似度中存在至少一个目标相似度大于预设值,则根据所述目标相似度对应的异常点数据,确定第二模型。
7、在一种可能的实施方式中,对所述历史数据进行识别处理,得到多个异常点数据,包括:对所述历史数据进行时间序列分解处理,得到所述历史数据中的残差项数据;通过异常检测算法对所述残差项数据进行处理,得到多个异常点数据。
8、在一种可能的实施方式中,根据所述目标相似度对应的异常点数据,确定第二模型,包括:通过层次聚类算法对所述目标相似度对应的异常点数据进行聚类处理,得到至少一个类簇;对每个类簇中的异常点数据进行统计处理,得到每个类簇对应的统计特征;根据所述至少一个类簇以及所述每个类簇对应的统计特征,确定所述第二模型。
9、第二方面,本申请提供一种数据检测装置,包括:接收模块,用于接收数据检测请求,所述数据检测请求包括实时数据以及目标数据类型标识;确定模块,用于根据所述数据检测请求,确定所述目标数据类型标识对应的至少一个检测模型,所述至少一个检测模型包括第一模型,或者所述至少一个检测模型包括第一模型和第二模型,所述第一模型用于从具有第一周期特征的数据中检测得到异常数据,所述第二模型用于从具有第二周期特征的数据中检测得到异常数据,所述第一周期小于所述第二周期;检测模块,用于通过所述至少一个检测模型对所述实时数据进行检测,得到检测结果,所述检测结果包括目标异常数据。
10、在一种可能的实施方式中,所述确定模块,具体用于确定数据类型标识与检测模型的对应关系;所述确定模块,具体还用于根据所述目标数据类型标识以及所述对应关系,确定所述至少一个检测模型。
11、在一种可能的实施方式中,所述装置还包括:执行模块,用于根据所述实时数据以及所述第一周期,确定所述实时数据对应的多个周期数据,所述多个周期数据与所述第一周期对应;所述执行模块,还用于确定所述多个周期数据对应的多个中位数;所述执行模块,还用于通过所述多个中位数,对所述第一模型进行训练,得到第一目标模型;所述执行模块,还用于若所述至少一个检测模型包括第一模型,则将所述实时数据输入所述第一目标模型,得到所述检测结果;所述执行模块,还用于若所述至少一个检测模型包括第一模型和第二模型,则通过所述第一目标模型以及所述第二模型对所述实时数据进行检测,得到所述检测结果。
12、在一种可能的实施方式中,所述执行模块,具体用于将所述实时数据输入所述第一目标模型得到第一异常数据,将所述第一异常数据输入所述第二模型得到所述目标异常数据;或者,所述执行模块,具体还用于将所述实时数据输入所述第二模型得到第二异常数据,将所述第二异常数据输入所述第一异常模型得到所述目标异常数据;所述执行模块,具体还用于确定所述检测结果包括所述目标异常数据。
13、在一种可能的实施方式中,所述装置还包括:生成模块,用于获取历史数据,所述历史数据与所述目标数据类型标识对应;所述生成模块,还用于对所述历史数据进行识别处理,得到多个异常点数据;所述生成模块,还用于确定每个异常点数据的时间特征;所述生成模块,还用于根据所述时间特征对所述多个异常点数据进行计算处理,得到所述多个异常点数据之间的多个相似度;所述生成模块,还用于若所述多个相似度中存在至少一个目标相似度大于预设值,则根据所述目标相似度对应的异常点数据,确定第二模型。
14、在一种可能的实施方式中,所述生成模块,具体用于对所述历史数据进行时间序列分解处理,得到所述历史数据中的残差项数据;所述生成模块,具体还用于通过异常检测算法对所述残差项数据进行处理,得到多个异常点数据。
15、在一种可能的实施方式中,所述生成模块,具体用于通过层次聚类算法对所述目标相似度对应的异常点数据进行聚类处理,得到至少一个类簇;所述生成模块,具体还用于对每个类簇中的异常点数据进行统计处理,得到每个类簇对应的统计特征;所述生成模块,具体还用于根据所述至少一个类簇以及所述每个本文档来自技高网...
【技术保护点】
1.一种数据检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据所述数据检测请求,确定所述目标数据类型标识对应的至少一个检测模型,包括:
3.根据权利要求2所述的方法,其特征在于,通过所述至少一个检测模型对所述实时数据进行检测,得到检测结果,包括:
4.根据权利要求3所述的方法,其特征在于,通过所述第一目标模型以及所述第二模型对所述实时数据进行检测,得到所述检测结果,包括:
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,对所述历史数据进行识别处理,得到多个异常点数据,包括:
7.根据权利要求5所述的方法,其特征在于,根据所述目标相似度对应的异常点数据,确定第二模型,包括:
8.一种数据检测装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述
...【技术特征摘要】
1.一种数据检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据所述数据检测请求,确定所述目标数据类型标识对应的至少一个检测模型,包括:
3.根据权利要求2所述的方法,其特征在于,通过所述至少一个检测模型对所述实时数据进行检测,得到检测结果,包括:
4.根据权利要求3所述的方法,其特征在于,通过所述第一目标模型以及所述第二模型对所述实时数据进行检测,得到所述检测结果,包括:
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
【专利技术属性】
技术研发人员:孙磊,虞笑韵,王洁,孙宇峰,周凌霄,康凯,
申请(专利权)人:交通银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。