【技术实现步骤摘要】
本专利技术涉及数据采集和监控领域，尤其是一种基于动态阈值和模式挖掘的异常数据预测方法及系统。
技术介绍
1、在数据采集和监控的过程中，系统常常会遇到复杂多变的环境。例如，系统负载或数据流量的剧烈变化、实时性要求的提高以及不同指标之间的复杂关联性，都会对传统监控系统提出严峻的挑战。如果这些问题不能及时被预警或解决，将可能导致业务系统数据的异常流入，严重影响业务流程的正常运行，这些挑战如下：
2、1、传统监控的滞后性
3、传统的监控系统通常只有在异常事件已经发生后才能进行检测。例如，在数据采集的过程中，如果发生数据丢失或数据异常，通常在问题已经进入业务系统后才会被发现。这会给业务系统带来潜在的风险，因为这些异常数据可能已经被处理或传递到其他系统，导致连锁问题的发生。修复滞后且复杂，尤其是在跨系统或跨流程的数据流转中，问题解决难度较大，且成本较高。
4、2、固定阈值监控的局限性
5、许多传统的监控系统依赖于预设的固定阈值来检测异常数据。然而，随着系统负载、数据流量或运行条件的变化，这些阈值可能变得不再适用。例如，在系统流量激增或减少的情况下，固定阈值可能导致误报或漏报，即正常数据被标记为异常或真正的异常数据未能被识别。这种误判会造成不必要的资源浪费，甚至可能导致业务中断。
6、3、复杂异常模式的难以捕捉
7、传统的监控方法主要依赖简单的规则或单一指标，这使得它们难以捕捉涉及多个指标之间的复杂交互或特定时间序列的异常模式。例如，某些异常可能需要结合多个数据来源或依赖
8、4、人工干预依赖性高
9、虽然监控系统能够捕捉到异常情况，但很多情况下仍然需要人工介入进行问题排查和处理。频繁的人工干预不仅增加了运维成本，还容易出现人为失误，导致问题进一步扩大。
技术实现思路
1、为解决传统的监控系统存在的上述问题，本专利技术提供一种基于动态阈值和模式挖掘的异常数据预测方法及系统，通过自适应动态阈值和异常模式挖掘，实现数据采集过程中异常的智能预测预警，从“事后处理”转变为“事前预警”；通过实时监控和模型分析，系统能够提前检测潜在异常，优化数据质量，提升运维效率，并减少人工干预。
2、为设计上述目的，本专利技术采用下述技术方案：
3、在本专利技术一实施例中，提出了一种基于动态阈值和模式挖掘的异常数据预测方法，该方法包括：
4、通过对历史监控数据的关联规则和序列模式挖掘，识别出不同数据采集源下多个监控指标之间的关联关系，并提取出频繁出现的序列模式；
5、基于历史监控数据的均值和标准差，设定动态阈值范围；根据实时的运行状态和历史监控数据的变化趋势，动态调整阈值范围；
6、通过匹配实时数据与历史模式，预测出潜在的异常，并发出预警。
7、进一步地，通过以下步骤实现关联规则挖掘：
8、通过扫描历史监控数据，找出频繁出现的项集；
9、基于频繁出现的项集，生成关联规则并计算其支持度和置信度。
10、进一步地，通过以下步骤实现序列模式挖掘：
11、将历史监控数据按照时间顺序划分为多个时间窗口，并提取时间窗口中的监控指标值；
12、分析不同时间窗口中的监控指标值，生成候选序列模式；
13、通过扫描这些候选序列模式，找出在多个时间窗口中频繁出现的序列模式；
14、从时间序列中提取出频繁出现的序列模式。
15、在本专利技术一实施例中，还提出了一种基于动态阈值和模式挖掘的异常数据预测系统，该系统包括：
16、关联规则和序列模式挖掘模块，用于通过对历史监控数据的关联规则和序列模式挖掘，识别出不同数据采集源下多个监控指标之间的关联关系，并提取出频繁出现的序列模式；
17、自适应动态阈值模块，用于基于历史监控数据的均值和标准差，设定动态阈值范围；根据实时的运行状态和历史监控数据的变化趋势，动态调整阈值范围；
18、预测性预警模块，用于通过匹配实时数据与历史模式，预测出潜在的异常，并发出预警。
19、进一步地，通过以下步骤实现关联规则挖掘：
20、通过扫描历史监控数据，找出频繁出现的项集；
21、基于频繁出现的项集，生成关联规则并计算其支持度和置信度。
22、进一步地，通过以下步骤实现序列模式挖掘：
23、将历史监控数据按照时间顺序划分为多个时间窗口，并提取时间窗口中的监控指标值；
24、分析不同时间窗口中的监控指标值，生成候选序列模式；
25、通过扫描这些候选序列模式，找出在多个时间窗口中频繁出现的序列模式；
26、从时间序列中提取出频繁出现的序列模式。
27、在本专利技术一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时设计前述基于动态阈值和模式挖掘的异常数据预测方法。
28、在本专利技术一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行基于动态阈值和模式挖掘的异常数据预测方法的计算机程序。
29、有益效果：
30、1、本专利技术通过引入智能预测性预警机制，实现了从传统的“事后应对”向“事前洞察”的战略转型。系统能够基于历史监控数据挖掘提前预测潜在的异常情况，未雨绸缪地发出告警通知，避免问题扩大化或系统崩溃，确保业务连续性和系统的高可用性。
31、2、本专利技术利用先进的自适应动态阈值调整算法，系统能够根据当前的运行负载和环境动态调整监控阈值。这种灵活而精准的阈值调整机制，能够有效减少误报和漏报，保证在不同负载下依然保持高效的异常检测能力。
32、3、本专利技术通过运用关联规则挖掘与时间序列模式识别等前沿技术，系统能够从海量历史监控数据中自动提炼出复杂的异常模式。这不仅极大拓展了系统的数据洞察能力，还能精准捕捉到各个监控指标之间的潜在联系和趋势变化，构建出高维度的异常检测框架，形成更为全面的预警体系。
本文档来自技高网...【技术保护点】
1.一种基于动态阈值和模式挖掘的异常数据预测方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于动态阈值和模式挖掘的异常数据预测方法，其特征在于，通过以下步骤实现关联规则挖掘：
3.根据权利要求1所述的基于动态阈值和模式挖掘的异常数据预测方法，其特征在于，通过以下步骤实现序列模式挖掘：
4.一种基于动态阈值和模式挖掘的异常数据预测系统，其特征在于，该系统包括：
5.根据权利要求4所述的基于动态阈值和模式挖掘的异常数据预测系统，其特征在于，通过以下步骤实现关联规则挖掘：
6.根据权利要求4所述的基于动态阈值和模式挖掘的异常数据预测系统，其特征在于，通过以下步骤实现序列模式挖掘：
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时设计权利要求1-3任一项所述方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-3任一项所述方法的计算机程序。
【技术特征摘要】
1.一种基于动态阈值和模式挖掘的异常数据预测方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于动态阈值和模式挖掘的异常数据预测方法，其特征在于，通过以下步骤实现关联规则挖掘：
3.根据权利要求1所述的基于动态阈值和模式挖掘的异常数据预测方法，其特征在于，通过以下步骤实现序列模式挖掘：
4.一种基于动态阈值和模式挖掘的异常数据预测系统，其特征在于，该系统包括：
5.根据权利要求4所述的基于动态阈值和模式挖掘的异常数据预...
【专利技术属性】
技术研发人员：张强，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。