一种基于数据挖掘技术的告警监控策略的分析方法技术

本发明专利技术公开了一种基于数据挖掘技术的告警监控策略的分析方法，属于通信告警监控领域，数据挖掘能够从大量的含有噪音的模糊数据中提取出有价值知识，通信网络的告警数据海量、动态性且富含知识，通信网络的告警数据挖掘不依赖网络结构，能适应网络的动态变化；数据挖掘包括以下步骤：告警数据获取及预处理；将获取的告警数据转换为事务项的集合，并利用相关算法进行频繁项集数据挖掘；与实际应用相结合，对频繁项集的结果进行压缩、合并、分类处理。本发明专利技术通过对告警进行合并和转化，将多个告警合并成一条具有更多信息量的告警来代替多条告警，以协助网管人员分析故障信息、快速故障定位。

An analysis method of alarm monitoring strategy based on Data Mining Technology

The invention discloses an analysis method for alarm monitoring strategy based on data mining technology, which belongs to the communication field of alarm monitoring, data mining from a large number of fuzzy data containing noise to extract valuable knowledge, warning of massive data and communication network dynamic and rich in knowledge, communication network alarm data mining does not depend on the network the structure, can adapt to the dynamic changes of the network; data mining includes the following steps: alarm data acquisition and preprocessing; the alarm data acquisition conversion into a set of transaction, and frequent itemsets using data mining algorithms; combined with the actual application, compression, merger, classification processing the results of frequent itemsets the. In the invention, the alarm is combined and transformed, and a plurality of alarms are combined into an alarm with more information to replace a plurality of alarms, so as to assist the network management personnel to analyze the fault information and quickly locate the fault.

【技术实现步骤摘要】

本专利技术涉及通信告警监控领域，具体地说是一种基于数据挖掘技术的告警监控策略的分析方法。
技术介绍
随着信息技术的飞速发展，电信网络不再仅仅是一个通信的媒介，而是一个为人们提供综合服务的分布式信息处理平台。面对规模巨大、结构复杂、多种技术并存的电信网络，为了保障其高效、经济、可靠、安全地运行，更大限度地利用网络资源，降低运营成本，向用户提供高质量、高可靠性的服务，国内外电信运营商相继建立了各种网络管理系统。随着网络管理系统建设的逐步深入和网管系统日益发挥的重大作用，网络的运行维护工作对网络管理系统的依赖性也与日俱增。故障管理是网络管理系统的重要组成部分，主要是用于进行告警分析和故障诊断。当网络中的设备发生故障时，快速发现、排除故障是保证网络安全、可靠运行的关键，也是网络管理的首要任务。然而一个电信网络往往包含由多个厂商生产的成千上万的设备和系统，这些设备和系统又通过多种媒质互连而成，彼此之间普遍存在着复杂的关联关系。因此即使是单一的故障也可能引发巨量的告警，众多的告警不但增加了网管系统的开销，而且掩盖了故障的根源，非常不利于网管人员排查故障。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种基于数据挖掘技术的告警监控策略的分析方法，通过对告警进行合并和转化，将多个告警合并成一条具有更多信息量的告警来代替多条告警，以协助网管人员分析故障信息、快速故障定位。本专利技术解决其技术问题所采用的技术方案是：一种基于数据挖掘技术的告警监控策略的分析方法，数据挖掘能够从大量的含有噪音的模糊数据中提取出有价值知识，通信网络的告警数据海量、动态性且富含知识，通信网络的告警数据挖掘不依赖网络结构，能适应网络的动态变化；数据挖掘包括以下步骤：1）、告警数据获取及预处理；2）、将获取的告警数据转换为事务项的集合，并利用相关算法进行频繁项集数据挖掘；3）、与实际应用相结合，对频繁项集的结果进行压缩、合并、分类处理；4）、利用频繁项集推导关联规则，对关联规则进行审核，进一步完善挖掘流程，并将优化后的挖掘结果应用于实际的网络故障管理中；关联规则的挖掘包括两个部分：找出所有的频繁项集，根据定义，这些项集出现的频繁性大于等于预定义的最小支持度；由频繁项集产生强关联规则，根据定义，这些规则必须满足最小支持度和最小置信度；基于关联规则的数据挖掘从大量数据中找出隐藏的关联信息，最后以关联规则的形式给出事务之间的关联性，来提供有价值的信息。优选的，实际的网络故障管理中，关联规则的形式就是给出不同告警之间的关联性，在30分钟时间窗口内，告警A发生，必然会导致告警B发生，则说明A,B存在关联关系，则进行关联派单处理，关联规则形式为：A->B，其中A为主告警标题，B为次告警标题。优选的，数据处理包括数据清洗和数据提取，对告警数据进行清洗，减少一部分无用的告警数据，防止挖掘出信息不全或无用的结果；根据不同的挖掘需要，从告警历史表提取出所需的告警数据进行数据挖掘工作。关联事务生成：数据挖掘需要将告警数据转换为告警序列组成的事务项的集合。事务型数据库的获取需要指定时间窗和滑动步长，时间窗是告警关联的时间窗口，通过和告警监控平台进行沟通交流，暂定关联时间窗口为30分钟；滑动步长可以控制从当前时间窗口向下一个时间窗口滑动的距离，一般小于关联时间窗大小的1/2，可进行灵活调整。利用时间窗遍历数据库中的告警数据，就可以得到由特定告警数据组成的事务项的集合，利用滑动步长，可以避免由于时间窗滑动造成的有关联的告警数据之间的截断。滑动步长越小，关联的告警数据之间截断的可能性越小，但是事务的数量会增加，因此应该设置一个合理的较小的滑动步长。在获取事务时，一个时间窗内重复发生的告警数据只记录一次，不会造成告警数据关联规则的遗漏，因为滑动步长的设置，使得对于所有的告警数据都通过滑动步长在不同的事务项中重复记录，既精简了数据，也保留了告警之间的关联信息。优选的，挖掘方式分为三种，单一网元设备的挖掘，是针对某一个具体的网元设备，筛选出该网元设备的告警数据组成事务项进行挖掘，一般情况下单一网元设备的规则的比例为90%以上；同一设备类型的网元进行挖掘，同一类网元设备类型的告警关联规则具有共性，从每一个该类型的网元的关联规则找出所有共有的关联规则，这样的关联规则对于所有的该类网元设备类型都是适用的，比如华为的所有的基站控制器BSC，爱立信的所有的MSC_Server等；互联网元设备的挖掘，电信网络中一些网元之间存在关联性，这种关系可以利用网络拓扑来表示。当某一个特定的网元设备发生告警时，会引起与其有网络拓扑关系的网元设备发生告警，因此可以对相关的具有拓扑关系的一些网元进行挖掘。通过拓扑约束可以减少无关的规则的挖掘，有两种方式进行拓扑约束：选取告警数据时，利用网络拓扑关系进行有选择性的过滤告警数据；挖掘出关联规则后，利用拓扑关系对挖掘结果进行处理，不符合拓扑关系的就可以去除掉；互联设备的拓扑层次基本上可以分为以下四类：（a）MSC-SERVER，HLR互联，某个地市的所有的MSC_SERVER和HLR之间都是互联的；（b）MSC-SERVER，MGW，BSC或者NRC互联；（c）MSC-SERVER之间的互联，一个地市的所有的MSC-SERVER都是互联的；（d）信令转接点L局与MSC-SERVER之间存在互联关联。互联设备的挖掘不需要找出所有的网元拓扑关系，因此数量非常大，可以根据不同的网络拓扑类型，选取具有代表性的若干网元拓扑组合，每个拓扑网元组合的网元数量在3-5个，然后进行典型挖掘，这样就可以代表相应的拓扑类型。挖掘出互联设备的结果后，可能其中有单个网元的关联规则，因此对结果进行处理，将单一网元的挖掘结果删除掉，这样的话就是互联网元的关联规则挖掘结果。如果是单一网元的挖掘，则只需要进行冗余删除操作即可，就可以去除大量的冗余的频繁项集；如果是挖掘同类设备类型的多个网元，则循环挖掘每一个网元设备，然后对这些结果进行合并即可，目前利用三重处理机制对挖掘出来的的频繁项集结果进行了冗余去除：（1）利用网元设备对单个频繁项集进行处理挖掘多个网元设备时，数据挖掘的初始结果是多个网元的告警信息在一个频繁项集中，因此首先根据不同的网元设备dn将频繁项集分组，然后去除分组后结果小于2的频繁项集，因为小于2的频繁项集没有关联规则可言。举例：BSC33------>SEMIPERMANENTCONNECTIONFAULTBSC32------>RADIOX-CEIVERADMINISTRATIONBTSEXTERNALFAULTBSC32------>RADIOX-CEIVERADMINISTRATIONMANAGEDOBJECTFAULT其中前者是网元设备名称，后者是告警标题，上述频繁项集挖掘结果就可以根据网元设备dn,分为两个频繁项集结果：1BSC33------>SEMIPERMANENTCONNECTIONFAULT2BSC32------>RADIOX-CEIVERADMINISTRATIONBTSEXTERNALFAULTBSC32------>RADIOX-CEIVERADMINISTRATIONMANAGEDOBJECTFAUL本文档来自技高网...

【技术保护点】
一种基于数据挖掘技术的告警监控策略的分析方法，其特征在于数据挖掘能够从大量的含有噪音的模糊数据中提取出有价值知识，通信网络的告警数据海量、动态性且富含知识，通信网络的告警数据挖掘不依赖网络结构，能适应网络的动态变化；数据挖掘包括以下步骤：1）、告警数据获取及预处理；2）、将获取的告警数据转换为事务项的集合，并利用相关算法进行频繁项集数据挖掘；3）、与实际应用相结合，对频繁项集的结果进行压缩、合并、分类处理；4）、利用频繁项集推导关联规则，对关联规则进行审核，进一步完善挖掘流程，并将优化后的挖掘结果应用于实际的网络故障管理中；关联规则的挖掘包括两个部分：找出所有的频繁项集，根据定义，这些项集出现的频繁性大于等于预定义的最小支持度；由频繁项集产生强关联规则，根据定义，这些规则必须满足最小支持度和最小置信度；基于关联规则的数据挖掘从大量数据中找出隐藏的关联信息，最后以关联规则的形式给出事务之间的关联性，来提供有价值的信息。

【技术特征摘要】
1.一种基于数据挖掘技术的告警监控策略的分析方法，其特征在于数据挖掘能够从大量的含有噪音的模糊数据中提取出有价值知识，通信网络的告警数据海量、动态性且富含知识，通信网络的告警数据挖掘不依赖网络结构，能适应网络的动态变化；数据挖掘包括以下步骤：1）、告警数据获取及预处理；2）、将获取的告警数据转换为事务项的集合，并利用相关算法进行频繁项集数据挖掘；3）、与实际应用相结合，对频繁项集的结果进行压缩、合并、分类处理；4）、利用频繁项集推导关联规则，对关联规则进行审核，进一步完善挖掘流程，并将优化后的挖掘结果应用于实际的网络故障管理中；关联规则的挖掘包括两个部分：找出所有的频繁项集，根据定义，这些项集出现的频繁性大于等于预定义的最小支持度；由频繁项集产生强关联规则，根据定义，这些规则必须满足最小支持度和最小置信度；基于关联规则的数据挖掘从大量数据中找出隐藏的关联信息，最后以关联规则的形式给出事务之间的关联性，来提供有价值的信息。2.根据权利要求1所述的一种基于数据挖掘技术的告警监控策略的分析方法...

【专利技术属性】
技术研发人员：王迪，于洁，
申请(专利权)人：山东浪潮商用系统有限公司，
类型：发明
国别省市：山东;37