【技术实现步骤摘要】
本申请涉及异常值检测领域，尤其涉及一种异常值检测方法、装置、计算机及存储介质。
技术介绍
1、随着大数据时代的到来，各行业都已积累了海量数据。如何自动，高效，快速，精准的对海量的高维度数据进行异常值检测，去除异常数据，提升数据质量，为数据赋能，是业界供公认的急需解决的一个难题。
2、异常检测一直是数据挖掘领域的重要工作之一，由于在高维空间中角度比距离更加稳定，因此现有的基于角度方差的异常值检测算法，即angle-based out l ier detection(abod)，被广泛应用于高维数据集合的异常检测，但是abod需要对所有高维度数据两两向量间进行角度计算，在计算角度方差因子的时间复杂度为o(m3n)，未经过数据降维，数据聚类后者数据采样等数据预处理操作时候，时间复杂度高。
技术实现思路
1、本申请实施例提供一种异常值检测方法、装置、计算机及存储介质，通过对基于角度方差的异常值检测算法进行简化，有利于在不降低异常值检测精度的前提下，有效地减低异常值检测的时间复杂度。
2、第一方面，本申请实施例提供了一种异常值检测方法，应用于异常值检测系统的服务器，所述方法包括：
3、根据预设配置表确定待检测数据库表和异常值检测参数，所述异常值检测参数包括异常值检测时间以及异常值筛选阈值；对基于角度方差的异常值检测算法中的角度方差因子计算公式进行简化得到目标异常值检测算法；在所述异常值检测时间根据目标异常值检测算法和所述待检测数据库表得到异常值检测结果；根
4、可见，在本实施例中，通过对基于角度方差的异常值检测算法进行简化得到目标异常值检测算法，然后利用目标异常值检测算法确定待检测数据库表中的异常数据，有利于在不降低异常值检测精度的前提下，有效地减低异常值检测的时间复杂度。
5、在一些实施例中，对基于角度方差的异常值检测算法中的角度方差因子计算公式进行简化得到目标异常值检测算法，包括：
6、获取待检测数据集中每一待检测数据点的角度方差因子，所述角度方差因子为目标表达式的方差；将所述角度方差因子的计算公式进行展开，得到第一计算公式，所述第一计算公式为所述目标表达式的平方的和的第一期望值与所述目标表达式的和的平方的第二期望值的第一差值；获取所述第一计算公式中所述第一期望值的第二计算公式，所述第二计算公式的分子和分母均包括第一因子式；消除所述第二计算公式中分子和分母的所述第一因子式得到第三计算公式；根据余弦二倍角公式和所述第三计算公式得到目标异常值检测算法。
7、在一些实施例中，获取待检测数据集中每一待检测数据点的角度方差因子，包括：
8、获取待检测数据集中的待检测数据点、第一数据点以及第二数据点，所述第一数据点和所述第二数据点为所述待检测数据集中任意两个互不相同的数据点；获取所述待检测数据点与所述第一数据点的第一向量；获取所述待检测数据点与所述第二数据点的第二向量；获取所述第一向量与所述第二向量的第一点积；获取所述第一向量的模的平方与所述第二向量的模的平方的第一乘积；获取所述第一点积与所述第一乘积的倒数的第二乘积；获取所述第二乘积的方差，所述方差为所述待检测数据点的角度方差因子。
9、在一些实施例中，根据所述异常值检测结果和所述异常值筛选阈值确定所述待检测数据库表中的异常数据，包括：
10、判断所述异常值检测结果是否大于或等于所述异常值筛选阈值；若检测到所述异常值检测结果大于或等于所述异常值筛选阈值，确定所述异常值检测结果对应的所述待检测数据库表中的数据为异常数据。
11、在一些实施例中，在异常值检测时间根据目标异常值检测算法和所述待检测数据库表得到异常值检测结果之前，所述方法还包括：
12、对所述待检测数据库表中的数据进行预处理，得到预处理后的待检测数据库表。
13、在一些实施例中，所述对所述待检测数据库表中的数据进行预处理，得到预处理后的待检测数据库表，包括：
14、对所述待检测数据库表中的数据进行聚类，以聚类后的聚类中心点作为数据，得到预处理后的待检测数据库表；或，对所述待检测数据库表中的数据进行下采样，根据所述下采样的结果去除所述待检测数据库表中分布相似的数据，得到预处理后的待检测数据库表。
15、在一些实施例中，在所述根据所述异常值检测结果和所述异常值筛选阈值确定所述待检测数据库表中的异常数据之后，所述方法还包括：
16、将所述待检测数据库表中的异常数据进行汇总得到异常数据集合；根据所述异常数据集合发送示警信息，所述示警信息用于提示用户对所述异常数据集合进行处理。
17、第二方面，本申请实施例提供了一种异常值检测装置，包括：
18、获取模块，用于根据预设配置表确定待检测数据库表和异常值检测参数，所述异常值检测参数包括异常值检测时间以及异常值筛选阈值；
19、处理模块，用于对基于角度方差的异常值检测算法中的角度方差因子计算公式进行简化得到目标异常值检测算法；以及在所述异常值检测时间根据目标异常值检测算法和所述待检测数据库表得到异常值检测结果；以及根据所述异常值检测结果和所述异常值筛选阈值确定所述待检测数据库表中的异常数据。
20、第三方面，本申请实施例提供了一种计算机，包括：
21、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的可执行程序代码，所述处理器执行所述可执行程序代码时执行如第一方面中任一项所述的方法。
22、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有异常值检测程序，所述异常值检测程序包括执行指令，所述执行指令用于执行如第一方面中任一项所述的方法。
23、第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品被处理器执行时用于实现如第一方面中任一项所述的方法。
24、通过实施本申请实施例，异常值检测系统的服务器先根据预设配置表确定待检测数据库表和异常值检测参数，异常值检测参数包括异常值检测时间以及异常值筛选阈值；然后对基于角度方差的异常值检测算法中的角度方差因子计算公式进行简化得到目标异常值检测算法，然后在异常值检测时间根据目标异常值检测算法和待检测数据库表得到异常值检测结果；最后根据异常值检测结果和异常值筛选阈值确定待检测数据库表中的异常数据。通过对基于角度方差的异常值检测算法进行简化得到目标异常值检测算法，然后利用目标异常值检测算法确定待检测数据库表中的异常数据，有利于在不降低异常值检测精度的前提下，有效地减低异常值检测的时间复杂度。
本文档来自技高网...【技术保护点】
1.一种异常值检测方法，其特征在于，应用于异常值检测系统的服务器，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述对基于角度方差的异常值检测算法中的角度方差因子计算公式进行简化得到目标异常值检测算法，包括：
3.如权利要求2所述的方法，其特征在于，所述获取待检测数据集中每一待检测数据点的角度方差因子，包括：
4.如权利要求1所述的方法，其特征在于，所述根据所述异常值检测结果和所述异常值筛选阈值确定所述待检测数据库表中的异常数据，包括：
5.如权利要求1所述的方法，其特征在于，在所述在异常值检测时间根据目标异常值检测算法和所述待检测数据库表得到异常值检测结果之前，所述方法还包括：
6.如权利要求5所述的方法，其特征在于，所述对所述待检测数据库表中的数据进行预处理，得到预处理后的待检测数据库表，包括：
7.如权利要求1所述的方法，其特征在于，在所述根据所述异常值检测结果和所述异常值筛选阈值确定所述待检测数据库表中的异常数据之后，所述方法还包括：
8.一种异常值检测装置，其特征在于，所述装置
9.一种计算机，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有异常值检测程序，所述异常值检测程序包括执行指令，所述执行指令用于执行如权利要求1-7任一项所述异常值检测方法的步骤。
...【技术特征摘要】
1.一种异常值检测方法，其特征在于，应用于异常值检测系统的服务器，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述对基于角度方差的异常值检测算法中的角度方差因子计算公式进行简化得到目标异常值检测算法，包括：
3.如权利要求2所述的方法，其特征在于，所述获取待检测数据集中每一待检测数据点的角度方差因子，包括：
4.如权利要求1所述的方法，其特征在于，所述根据所述异常值检测结果和所述异常值筛选阈值确定所述待检测数据库表中的异常数据，包括：
5.如权利要求1所述的方法，其特征在于，在所述在异常值检测时间根据目标异常值检测算法和所述待检测数据库表得到异常值检测结果之前...
【专利技术属性】
技术研发人员：吴超，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。