【技术实现步骤摘要】
本专利技术涉及数据挖掘与分析，尤其涉及基于改进差分隐私和聚类算法优化的异常数据检测方法。
技术介绍
1、随着大数据时代的到来，各信息数据呈爆炸式增长，涉及生活的各个方面。这些数据包含着丰富的信息，并且给企业或者相关机构带来了巨大的利用价值。为挖掘更多有价值的信息，获取隐藏在数据中的规则，需要使用多种方法对数据进行处理。其中聚类方法在数据挖掘过程中有着广泛的应用，通过数据对象的不同特征来对数据进行划分并筛选异常数据。然而传统聚类算法的使用过程中，通常需要输入部分参数，并对结果会产生一定影响。同时，在进行数据聚类过程中，也有着数据隐私泄露的风险。因此，加强数据聚类检测异常数据，同时保护数据隐私信息显得十分重要。
2、聚类分析是研究数据分类问题的一种统计分析方法，是一种重要的数据挖掘方法。可以将类别无标记的数据划分为若干子集，以形成不同类别的簇，进而检测出其中的异常数据。其中k-means聚类算法使用十分广泛，随后针对k-means的不足，k-means++，k-medians等算法相继被提出。其中dbscan算法引入了基于密度聚类的思想，跟传统的基于层次的聚类和划分聚类的凸形聚类簇不同，该方法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。具有不需要输入要划分的聚类个数、聚类簇的形状没有偏倚、对噪声数据不敏感等优点。然而dbscan算法容易受参数的影响，当它们取值改变时，聚类的结果可能产生较大变化。在此基础上，使用optics聚类算法，它是在dbscan算法的
3、关于隐私保护的相关技术目前已经受到多方的关注。针对数据隐私保护的相关技术可大致分为三类，分别为数据匿名化的相关技术，数据加密的相关技术以及基于差分隐私保护的相关技术。差分隐私保护是2008年由dwork提出，通过对所需数据添加噪声来实现隐私保护，用以防止数据源中一点微小的改动导致的隐私泄露问题。在使用聚类进行异常数据检测时，通过对差分隐私方法的使用，可有效防止数据发生隐私泄露。但在差分隐私使用过程中，其加入的噪声也会对原有数据信息产生影响。在现有的差分隐私技术的基础上，使用alpha-beta剪枝算法处理得到合适的评价函数，以平衡数据的隐私和实用性，可在保护数据隐私的基础上加强对原有数据信息的使用，提升异常数据的检测效果。
4、当前，在聚类分析中引入差分隐私保护技术已经成为研究的热点。现有技术提供了差分隐私在k-means聚类算法上的使用。针对隐私保护及降低参数敏感度是提升异常数据检测效果的重要方式。
5、因此，如何提供基于改进差分隐私和聚类算法优化的异常数据检测方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本专利技术的一个目的在于提出基于改进差分隐私和聚类算法优化的异常数据检测方法，本专利技术通过结合差分隐私保护机制、加权采样技术和多决策树集成模型，解决数据分布不均和隐私信息泄露问题，在保护数据隐私的同时，提高异常数据检测的准确性和鲁棒性。
2、根据本专利技术实施例的基于改进差分隐私和聚类算法优化的异常数据检测方法，包括如下步骤：
3、s1、获取多维度的待处理数据集，对数据点的各参数进行标准化处理，生成规范化的数据集；
4、s2、对规范化数据集中的数据点，基于optics聚类算法计算数据点间的欧几里得距离，利用差分隐私算法对距离信息加噪，结合alpha-beta剪枝算法优化隐私预算参数，生成优化后的隐私距离数据；
5、s3、根据优化后的隐私距离数据，判定核心对象并构建核心对象集合，通过密度分析算法将密度相连的数据点归为初步聚类簇；
6、s4、对初步聚类簇进行优化处理，结合推荐域机制重新分配稀疏数据点，将稀疏点归入最相邻的高密度聚类簇中，生成优化后的聚类结果；
7、s5、基于优化后的聚类结果，利用改进的随机森林算法进行分类，通过加权采样机制平衡数据分布不均问题，生成最终分类结果并输出异常数据检测结果。
8、可选的，所述s2具体包括：
9、s21、对规范化后的数据点，基于欧几里得距离计算数据点之间的关系：
10、
11、其中，d(xi,xj)为数据点距离，xi和xj分别为数据点，m为数据点的维度数，xi,k和xj,k为数据点在第k维度的值；
12、s22、其中通过差分隐私算法对欧几里得距离信息加噪，生成加噪距离数据：
13、d′(xi,xj)＝d(xi,xj)+lap(δf/∈)；
14、其中：d′(xi,xj)为加噪后的距离，d(xi,xj)为原始距离，lap(δf/∈)为拉普拉斯噪声，δf为敏感度，∈为隐私预算；
15、s23、利用评价函数平衡隐私性与数据可用性：
16、f[p(∈),q(∈)]＝α·p(∈)+β·q(∈)；
17、其中，f为评价函数，p(∈)为数据隐私泄密函数，其权重参数为α，q(∈)为数据可用性函数，其权重参数为β；
18、s24、通过alpha-beta剪枝算法优化隐私预算参数，基于优化后的隐私预算参数生成最终隐私距离数据，用于聚类算法的核心对象判定：
19、∈'＝argmax{minf[p(∈),q(∈)]}；
20、其中，∈'为新的隐私预算。
21、可选的，所述s3具体包括：
22、s31、从数据集中提取所有数据点，并为每个数据点设置初始状态，标记为未处理，优化后的隐私距离数据用于计算每个数据点的邻域范围；
23、s32、通过遍历数据集，依据邻域范围内的数据点数量来判定核心对象，加入核心对象集合；
24、s33、核心对象集合由判定出的核心对象及其密度相连的数据点构成，通过邻域范围和直接密度可达关系建立核心对象与其他数据点的关联；
25、s34、核心对象集合经过密度分析算法处理，将核心对象及其邻域范围内的密度相连数据点分组；
26、s35、对核心对象集合中的数据进行初步密度聚类。
27、可选的，所述s4具体包括：
28、s41、对核心对象进行处理，生成有序队列，若有序队列为空，则返回步骤s3，选取新的核心对象进行处理；
29、s42、若有序队列不为空，从有序队列中取出第一个样本点，作为当前处理对象，若该点不是核心对象，则返回步骤s3，继续处理下一数据点；若该点是核心对象，则计算其可达距离，并将可达距离最小的点存入结果队列中；
30、s43、对当前核心对象的邻域范围内所有直接密度可达点进行判定和更新，若直接密度可达点已存在于结果队列中，则跳过处理；若直接密度可达点存在于有序队列中，则比较新的可达距离与原有可达距离；若新的距离更小，则更新距离值并重新本文档来自技高网...
【技术保护点】
1.基于改进差分隐私和聚类算法优化的异常数据检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于改进差分隐私和聚类算法优化的异常数据检测方法，其特征在于，所述S2具体包括：
3.根据权利要求1所述的基于改进差分隐私和聚类算法优化的异常数据检测方法，其特征在于，所述S3具体包括：
4.根据权利要求1所述的基于改进差分隐私和聚类算法优化的异常数据检测方法，其特征在于，所述S4具体包括：
5.根据权利要求1所述的基于改进差分隐私和聚类算法优化的异常数据检测方法，其特征在于，所述S5具体包括：
【技术特征摘要】
1.基于改进差分隐私和聚类算法优化的异常数据检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于改进差分隐私和聚类算法优化的异常数据检测方法，其特征在于，所述s2具体包括：
3.根据权利要求1所述的基于改进差分隐私和聚类算法优化的异常数据...
【专利技术属性】
技术研发人员：王文学，马影，耿朝晖，伍宏中，杨成赫，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。