一种基于总量控制的频繁项集数据挖掘方法技术

一种基于总量控制的频繁项集数据挖掘方法，包括数据预处理、设定总量控制指标M和选择因子、频繁项集总体数量生成、频繁一项集生成及循环处理五步骤，即根据需要设定频繁项集总量控制指标M，选择因子为候选项集序号的倒数，扫描数据库生成候选项集C，根据候选项集总数量N和总量控制指标M，确定频繁项集总体数量Q，进而确定频繁一项集数量Q1，根据k-1步频繁的k-1项集Lk-1，按照Apriori_gen产生候选的k项集Ck集，从而确定频繁k项集数量Qk，若候选项集只有一项，则直接定义为频繁项集。本发明专利技术采用总量控制和选择因子进行频繁项集数据挖掘，能够很好的进行频繁项集发现，发现的频繁项集质量上为支持度相对较高的那部分项集，而数量上则大幅度减少。

【技术实现步骤摘要】

本专利技术属于数据挖掘
，具体涉及一种基于总量控制的频繁项集数据挖掘 方法。
技术介绍
关联规则是美国IBMAlmadenResearchCenter的RakeshAgrawal等人于1993 年首先提出来的Κ孤研究的一个重要课题，经过多年的发展，各国的学者提出了众多的关 联规则挖掘算法，其中Apriori算法无疑是其中最有影响力的算法之一。Apriori算法将发现关联规则的过程分为两个步骤；第一步是通过迭代检索出事 务数据库中的所偶频繁项集，即支持度不低于用户设定的阔值的项集；第二步是利用频繁 项集构造出满足用户最小置信度的规则，其中，挖掘和识别所有频繁项集是该算法的核必， 占据了整个计算量的大部分。Apriori算法运用频繁项集的子集必然是频繁项集的思想，通 过已知的频繁项集构造更大的项集，并将其称为候选频繁项集，W后只计算候选项集的支 持度。 然而，包括Apriori算法在内的许多关联规则挖掘算法在进行频繁项集发现时都 是采用人为设定域值的方式，送样对频繁项集挖掘来说就存在W下问题：如果挖掘的最小 支持度定得较高，郝么覆盖较少数据但却有意义的关联知识将不能被发现；如果最小支持 度定得过低，郝么大量的无实际意义的数据关联将充斥在挖掘过程中，会大大降低挖掘的 效率和得到规则的可用性。数据挖掘是针对海量数据进行的，如何提高算法效率是数据挖 掘算法的核必问题。针对W上问题，最早在1996年就有学者提出采用变支持度和变置信 度阔值来进行关联规则挖掘的算法，送些算法都是根据属性的重视程度不同，进而在支持 度和置信度的计算中的权重也不相同的思想，来进行关联规则挖掘的。
技术实现思路
本专利技术的目的在于提供一种根据总量控制指标来确定项集取舍，在减少频繁项集 数量的同时，得到有意义的高质量频繁项集，从而消除人为设定域值带来的频繁项集发现 的缺陷。 为此，本专利技术所采取的解决方案是： -种基于总量控制的频繁项集数据挖掘方法，其特征在于，由W下五步构成：[000引 （1)数据预处理： 根据数据挖掘应用的领域进行相应的归一化、奇异值剔除数据预处理，按照 ApriorLgen算法计算候选各项集数量。 (2)确定总量控制指标Μ和选择因子： 根据数据挖掘的需要，设定频繁项集总量控制指标Μ，选择因子为候选项集序号的 倒数，总量控制指标Μ是进行频繁项集数据挖掘感兴趣的频繁项集范围大小，选择因子为 调控指标。 (3)频繁项集总体数量生成： 扫描数据库生成候选项集C，根据候选项集总数量N和总量控制指标M，确定频繁 项集总体数量Q=NXM，若出现小数，则按照向上取整原则，进而根据Q的数量来确定频繁 项集数量； (4)频繁一项集生成：[001引根据频繁项集总体数量Q和选择因子确定频繁一项集数量Qi=NXMX(1/Ni)，其 中，Ni为候选一项集数量；[001引 巧）循环处理：第k步，根据k-1步频繁的k-1项集Lk1，按照ApriorLgen产生候选的k项集Ck 集，根据候选k项集数量Nk，确定频繁k项集数量化=NXMX(1/Nk)，进而根据化的数量确 定频繁k项集，若出现候选项集只有一项，则直接定义为频繁项集。[001引本专利技术的有益效果为： 本专利技术提出一种新型的基于总量控制和选择因子的频繁项集数据挖掘算法 TQ-Apriori算法（Total如antityApriori)。此算法应用Apriori算法的基本思想，采用 总量控制和选择因子进行频繁项集数据挖掘，即首先采用总量控制指标和选择因子进行频 繁项集的数量确定，然后根据确定的频繁项集确定相应支持度。本专利技术TQ-Apriori算法能 够很好的进行频繁项集发现，发现的频繁项集质量上为支持度相对较高的郝部分项集，而 数量上则可大幅度减少。【附图说明】 图1是TQ-Apriori算法发现频繁项集过程； 图2是TQ-Apriori算法流程图。【具体实施方式】 为了说明本专利技术TQ-Ariori算法的有效性，故选取了Apriori算法发现频繁项集 的例子。事务数据库所有项集如表1所示，数据库中有12个事务。 表1事务数据库所有项集表1中的支持度计数为支持度与总的事物数的乘积，利用TQ-Apriori算法，对表1 的数据进行频繁相集的发现，其流程如图1。图1为TQ-Apriori算法发现频繁项集过程，总 量控制指标Μ为50 %，候选项集共有25项，候选一项集共有5项，所W选择因子为1/5, 一 项集的域值为Qi= 50% *25*1/5 = 2. 5。候选二项集共有10项，所WQ2 = 50%巧5*1/10 =1. 25。候选Η项集只有Η项，所WQ3 = 50% *25*1/3 = 4. 15,在候选Η项集中，只有一 项支持数近似4.15,所W直接确定（Ιι，?2，?3)为频繁Η项集。表2是TQ-Apriori算法频繁 项集数量结果表。 表2TQ-Apriori算法发现的频繁项集数量 附图1是TQ-Apriori算法发现频繁项集过程，从图中可W看出，TQ-Apriori算法 发现的项集都是支持度相对较高的郝部分项集，送也正是数据挖掘的主流问题。【主权项】1. ，其特征在于，由以下五步构成： (1) 数据预处理： 根据数据挖掘应用的领域进行相应的归一化、奇异值剔除数据预处理，按照Apri〇ri_gen算法计算候选各项集数量； (2) 确定总量控制指标Μ和选择因子： 根据数据挖掘的需要，设定频繁项集总量控制指标Μ，选择因子为候选项集序号的倒 数，总量控制指标Μ是进行频繁项集数据挖掘感兴趣的频繁项集范围大小，选择因子为调 控指标； (3) 频繁项集总体数量生成： 扫描数据库生成候选项集C，根据候选项集总数量Ν和总量控制指标Μ，确定频繁项集 总体数量Q=ΝΧΜ，若出现小数，则按照向上取整原则，进而根据Q的数量来确定频繁项集 数量； (4) 频繁一项集生成： 根据频繁项集总体数量Q和选择因子确定频繁一项集数量Qi=ΝΧΜΧ(1/Χ)，其中，K为候选一项集数量； (5) 循环处理： 第k步，根据k-Ι步频繁的k-Ι项集Lki，按照Apriori_gen产生候选的k项集Ck集， 根据候选k项集数量Nk，确定频繁k项集数量Qk =NXMX(1/Nk)，进而根据Qk的数量确定 频繁k项集，若出现候选项集只有一项，则直接定义为频繁项集。【专利摘要】，包括数据预处理、设定总量控制指标M和选择因子、频繁项集总体数量生成、频繁一项集生成及循环处理五步骤，即根据需要设定频繁项集总量控制指标M，选择因子为候选项集序号的倒数，扫描数据库生成候选项集C，根据候选项集总数量N和总量控制指标M，确定频繁项集总体数量Q，进而确定频繁一项集数量Q1，根据k-1步频繁的k-1项集Lk-1，按照Apriori_gen产生候选的k项集Ck集，从而确定频繁k项集数量Qk，若候选项集只有一项，则直接定义为频繁项集。本专利技术采用总量控制和选择因子进行频繁项集数据挖掘，能够很好的进行频繁项集发现，发现的频繁项集质量上为支持度相对较高的那部分项集，而数量上则大幅度减少。【IPC分类】G06F17/30【公开号】CN105279184【申请号】CN201410337670【专利技术人】柴明亮, 张岩, 刘宝权, 本文档来自技高网...

【技术保护点】
一种基于总量控制的频繁项集数据挖掘方法，其特征在于，由以下五步构成：(1)数据预处理：根据数据挖掘应用的领域进行相应的归一化、奇异值剔除数据预处理，按照Apriori_gen算法计算候选各项集数量；(2)确定总量控制指标M和选择因子：根据数据挖掘的需要，设定频繁项集总量控制指标M，选择因子为候选项集序号的倒数，总量控制指标M是进行频繁项集数据挖掘感兴趣的频繁项集范围大小，选择因子为调控指标；(3)频繁项集总体数量生成：扫描数据库生成候选项集C，根据候选项集总数量N和总量控制指标M，确定频繁项集总体数量Q＝N×M，若出现小数，则按照向上取整原则，进而根据Q的数量来确定频繁项集数量；(4)频繁一项集生成：根据频繁项集总体数量Q和选择因子确定频繁一项集数量Q1＝N×M×(1/N1)，其中，N1为候选一项集数量；(5)循环处理：第k步，根据k‑1步频繁的k‑1项集Lk‑1，按照Apriori_gen产生候选的k项集Ck集，根据候选k项集数量Nk，确定频繁k项集数量Qk＝N×M×(1/Nk)，进而根据Qk的数量确定频繁k项集，若出现候选项集只有一项，则直接定义为频繁项集。

【技术特征摘要】

【专利技术属性】
技术研发人员：柴明亮，张岩，刘宝权，宋君，秦大伟，李连成，许寒冰，吴萌，王奎越，金耀辉，
申请(专利权)人：鞍钢股份有限公司，
类型：发明
国别省市：辽宁;21