一种数据挖掘方法和数据挖掘系统技术方案

本发明专利技术公开了一种数据挖掘方法和数据挖掘系统，涉及数据挖掘技术领域，包括构建数据挖掘系统，采集数据信息，识别其中的数据质量，进行初步筛分的同时进行安全阻拦，本发明专利技术在进行使用时，通过构建数据挖掘系统，形成完整的流程，采集数据信息，识别其中的数据质量，进行初步筛分的同时进行安全阻拦，对采集数据进行数据预处理，同时建立视图，进行模型训练，对模型的效果进行评价，集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集，决定后续的数据挖掘的步骤并做出相应的调整，缩短了整体周期，对数据挖掘时及相应的分挖掘结果进行管理、可视化和存储，提高挖掘数据管理的智能化水平，同时提高了使用时的整体安全性。性。

【技术实现步骤摘要】
一种数据挖掘方法和数据挖掘系统


[0001]本专利技术涉及数据挖掘
，具体为一种数据挖掘方法和数据挖掘系统。

技术介绍

[0002]数据挖掘是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。现有数据挖掘的方法计算量普遍较大，存在安全隐患，同时整体流程较为繁琐，加长了运转周期，整体智能化水平较差，工作人员无法及时进行某一环节对应查看，因此本专利技术需要设计一种数据挖掘方法和数据挖掘系统来解决上述出现的问题。
[0003]
技术实现思路
：本专利技术的目的就在于为了解决上述问题而提供一种数据挖掘方法和数据挖掘系统，解决了
技术介绍
中提到的现有数据挖掘的方法计算量普遍较大，存在安全隐患，同时整体流程较为繁琐，加长了运转周期，整体智能化水平较差，工作人员无法及时进行某一环节对应查看问题。
[0004]为了解决上述问题，本专利技术提供了一种技术方案：一种数据挖掘方法，包括以下具体步骤：S1、构建数据挖掘系统，采集数据信息，识别其中的数据质量，进行初步筛分的同时进行安全阻拦；S2、对步骤S1中的采集数据进行数据预处理，同时建立视图；S3、对步骤S2中的视图进行模型训练，对模型的效果进行评价，集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集；S4、对步骤S3中的频繁页面集进行关联规则整合，同时通过评估模型进行对应评估，进行可视化成像。
[0005]作为优选，所述步骤S2中的数据预处理包括数据清理、数据转换、数据聚集和数据整合。
[0006]作为优选，所述步骤S3中的模型训练包括训练模式和测试模式两种实施方式。
[0007]作为优选，所述步骤S4中在完成对应评估后，需要回顾检讨探测的过程，查找建模结果中与现实生活中发生结果的差距，检查探测过程的可能出现的错误。
[0008]作为优选，所述步骤S1中采集的数据信息包括不同用户和客体活动数据信息。
[0009]一种数据挖掘方法的数据挖掘系统，作为优选，包括数据知识库、数据视图处理单元、数据模式挖掘功能单元和数据评估单元，所述数据知识库的输出端与数据视图处理单元的输入端通讯连接，所述数据视图处理单元的输出端与数据模式挖掘功能单元的输入端通讯连接，所述数据模式挖掘功能单元的输出端与数据评估单元的输入端通讯连接。
[0010]作为优选，所述数据知识库包括数据采集模块和数据安全阻拦模块，所述数据采集模块的输出端与数据安全阻拦模块的输入端通讯连接，所述数据安全阻拦模块的输出端与数据视图处理单元的输入端通讯连接；所述数据采集模块用于采集不同用户、客体活动数据信息，识别其中的数据质量，进行初步筛分，所述数据采集模块同时用于将采集的数据发送至所述数据安全阻拦模块内部，进行安全阻拦；所述数据安全阻拦模块用于接收所述数据采集模块发送的采集数据，对其中的风险问题进行把控阻拦，所述风险问题包括病毒问题、防火墙问题、传输速度问题和通讯网络问题，所述数据安全阻拦模块还用于将上述问题发生至所述数据评估单元内部进行预警，所述数据安全阻拦模块同时用于将经过安全处理之后的采集数据发送至所述数据视图处理单元内部，进行后续视图建立与处理。
[0011]作为优选，所述数据视图处理单元包括数据预处理模块和视图建立模块，所述数据预处理模块的输出端与视图建立模块的输入端通讯连接，所述视图建立模块的输出端与数据模式挖掘功能单元的输入端通讯连接；所述数据预处理模块用于接收所述数据知识库发送的采集数据，进行数据清理、数据转换、数据聚集和数据整合，所述数据预处理模块还用于将数据整合的成果发送至所述视图建立模块内部，进行后续视图建立；所述视图建立模块用于接收所述数据预处理模块发送的整合的成果，对数据的稀疏程度选用35%
‑
50%的比例来建立视图，所述视图建立模块同时用于将所述视图发送至数据模式挖掘功能单元内部，进行后续挖掘。
[0012]作为优选，所述数据模式挖掘功能单元包括数据挖掘模块和模型训练模块，所述模型训练模块的输出端与数据挖掘模块的输入端通讯连接，所述数据挖掘模块的输出端与数据评估单元的输入端通讯连接；所述数据挖掘模块用于接收所述模型训练模块发送的训练成果，集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集，所述数据挖掘模块同时用于将频繁页面集发送至数据评估单元内部，进行评估操作；所述模型训练模块用于接收所述数据视图处理单元发送的视图，进行模型训练，分为训练模式和测试模式，用训练模式的数据进行训练建立模型，利用测试模式，对模型进行修正，对模型的效果进行评价，所述模型训练模块还用于将完成上述训练的视图发送至所述数据挖掘模块内部，进行后续挖掘。
[0013]作为优选，所述数据评估单元包括评估模块、关联规则整合模块和可视化模块，所述评估模块的输出端与关联规则整合模块的输入端通讯连接，所述关联规则整合模块的输出端与可视化模块的输入端通讯连接；所述评估模块用于将模型输出的结果与现实生活中发生的结果进行对比，进一步评估模型，决定后续的数据挖掘的步骤并做出相应的调整，所述评估模块同时用于将上述调整数据发送所述关联规则整合模块内部；所述关联规则整合模块用于接收所述评估模块发送的调整数据，进行关联规则整合，所述关联规则整合模块同时用于将上述数据发送至所述可视化模块内部进行可视化成像；
所述可视化模块用于对完成关联规则整合的数据进行可视化操作，进行查询、调度，所述可视化模块还用于接收所述数据安全阻拦模块发送的预警信息，进行对应处理。
[0014]本专利技术的有益效果是：本专利技术在进行使用时，通过构建数据挖掘系统，形成完整的流程，采集数据信息，识别其中的数据质量，进行初步筛分的同时进行安全阻拦，对采集数据进行数据预处理，同时建立视图，进行模型训练，对模型的效果进行评价，集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集，进行关联规则整合，同时通过评估模型进行对应评估，进行可视化成像，通过数据安全阻拦模块对其中的风险问题进行把控阻拦，通过评估模块将模型输出的结果与现实生活中发生的结果进行对比，进一步评估模型，决定后续的数据挖掘的步骤并做出相应的调整，缩短了整体周期，对数据挖掘时及相应的分挖掘结果进行管理、可视化和存储，提高挖掘数据管理的智能化水平，同时提高了使用时的整体安全性。
[0015]附图说明：为了易于说明，本专利技术由下述的具体实施及附图作以详细描述。
[0016]图1是本专利技术一种数据挖掘方法和数据挖掘系统的方法步骤流程图；图2是本专利技术一种数据挖掘方法和数据挖掘系统的整体拓扑图；图3是本专利技术一种数据挖掘方法和数据挖掘系统的数据知识库拓扑图；图4是本专利技术一种数据挖掘方法和数据挖掘系统的数据视图处理单元拓扑图；图5是本专利技术一种数据挖掘方法和数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据挖掘方法，其特征在于，包括以下具体步骤：S1、构建数据挖掘系统，采集数据信息，识别其中的数据质量，进行初步筛分的同时进行安全阻拦；S2、对步骤S1中的采集数据进行数据预处理，同时建立视图；S3、对步骤S2中的视图进行模型训练，对模型的效果进行评价，集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集；S4、对步骤S3中的频繁页面集进行关联规则整合，同时通过评估模型进行对应评估，进行可视化成像。2.根据权利要求1所述的一种数据挖掘方法，其特征在于：所述步骤S2中的数据预处理包括数据清理、数据转换、数据聚集和数据整合。3.根据权利要求1所述的一种数据挖掘方法，其特征在于：所述步骤S3中的模型训练包括训练模式和测试模式两种实施方式。4.根据权利要求1所述的一种数据挖掘方法，其特征在于：所述步骤S4中在完成对应评估后，需要回顾检讨探测的过程，查找建模结果中与现实生活中发生结果的差距，检查探测过程的可能出现的错误。5.根据权利要求1所述的一种数据挖掘方法，其特征在于：所述步骤S1中采集的数据信息包括不同用户和客体活动数据信息。6.应用于权利要求1所述一种数据挖掘方法的数据挖掘系统，其特征在于：包括数据知识库、数据视图处理单元、数据模式挖掘功能单元和数据评估单元，所述数据知识库的输出端与数据视图处理单元的输入端通讯连接，所述数据视图处理单元的输出端与数据模式挖掘功能单元的输入端通讯连接，所述数据模式挖掘功能单元的输出端与数据评估单元的输入端通讯连接。7.根据权利要求6所述的一种数据挖掘方法的数据挖掘系统，其特征在于：所述数据知识库包括数据采集模块和数据安全阻拦模块，所述数据采集模块的输出端与数据安全阻拦模块的输入端通讯连接，所述数据安全阻拦模块的输出端与数据视图处理单元的输入端通讯连接；所述数据采集模块用于采集不同用户、客体活动数据信息，识别其中的数据质量，进行初步筛分，所述数据采集模块同时用于将采集的数据发送至所述数据安全阻拦模块内部，进行安全阻拦；所述数据安全阻拦模块用于接收所述数据采集模块发送的采集数据，对其中的风险问题进行把控阻拦，所述风险问题包括病毒问题、防火墙问题、传输速度问题和通讯网络问题，所述数据安全阻拦模块还用于将上述问题发生至所述数据评估单元内部进行预警，所述数据安全阻拦模块同时用于将经过安全处理之后的采集数据发送至所述数据视图处理单元内部，进行后续视图建立与处理。8.根据权利要求6所述的一种数据挖掘...

【专利技术属性】
技术研发人员：张亦含，沈敏，
申请(专利权)人：江苏富敏人工智能科技有限公司，
类型：发明
国别省市：