【技术实现步骤摘要】
本专利技术涉及日志异常检测，尤其涉及一种高可用的日志异常检测系统。
技术介绍
1、现有绝大多数的日志异常检测方法都是单算法的日志异常检测，例如deeplog，loganomaly等。这类工作通过采用新的功能强大的算法，或者新的工作模式和参数，来优化日志异常检测效能。也有一部分日志异常检测方法融合了多种算法，如[ying s,wang b,wang l,et al.an improved knn-based efficient log anomaly detection methodwith automatically labeled samples[j].acm transactions on knowledge discoveryfrom data(tkdd),2021.]。这类工作虽然采用了多种算法，但只是在不同阶段采用不同算法来处理日志数据，是串行的工作模式，只是按需要使用不同算法处理不同阶段的日志数据。multi-cad[xie x,jin z,wang j,et al.confidence guided anomaly detectionmodel for anti-concept drift in dynamic logs[j].journal of network andcomputer applications,2020,162:102659.]采用多算法协同的工作方式，通过多算法结果的综合分析来实施异常检测。但是multi-cad的在多算法协同中，要求所有算法完整实施，从本质上讲multi-cad就是同时运行多
2、现有日志异常检测系统大都是单算法工作模式，通常只能适应一种或少数几种日志类型。日志类型的多样性，极大制约了采用单算法工作模式的日志异常检测系统的可用性。一种优化方法是尽可能提高算法本身的能力，使其适应尽可能多的日志类型。典型代表是基于语义理解的日志异常检测算法。然而日志异常特征呈多样性，具体的日志异常检测算法也只能够捕捉到特定的异常特征(例如：专注于事件序列异常的算法，是无法发现事件数量的异常中特征)，对于超出其检测维度的异常则无能为力。这是采用单算法工作模式的日志异常检测系统难以克服的缺陷。
技术实现思路
1、为了提高日志异常检测系统的可用性，本专利技术提出一种高可用的日志异常检测系统，在不过多影响系统性能和准确性的基础上，适应多种类型的日志。更具体来说：在不过多牺牲性能和检测准确性的前提下，给定一种新的待检测日志，本专利技术所倡导的系统，在先验知识的基础上，能够给出适当的检测策略，并依据检测策略实现多算法协作，从多个维度来实施日志异常检测，在不依赖人工深度介入的基础上，适应日志类型的新变化。
2、从性能角度，假设系统拟采用n种算法，其性能开销分别为f(s1)、f(s2)、...、f(sn)，那么本专利技术所提出系统性能开销f(o)满足：{f(s1)、f(s2)、...、f(sn)}<f(o)<<f(s1)+f(s2)+...+f(sn)，即f(o)应该远远小于所有算法开销总和，但允许大于其中任何算法性能开销。这反映系统所采用的协作模式，并不是简单多种算法并行实施检测，在最终结果中择优的协作方式。
3、从准确性角度，假设系统拟采用n种算法，其准确性分别为p(s1)、p(s2)、...、p(sn)，那么本专利技术所提出系统准确性p(o)满足：p(o)≥max{p(s1)、p(s2)、...、p(sn)}，即p(o)应该大于等于所有算法的最优准确性。这反映系统为了适应多种日志，不能以牺牲准确性为代价，并且系统能够从多个维度对日志实施检测，从而获得不低于现有单个算法的准确性。
4、为了实现上述目的，本专利技术采用以下技术方案：
5、一种高可用的日志异常检测系统，包括：预处理中心、协同中心、算法仓库和知识库；
6、所述预处理中心用于将训练数据或检测数据转换为符合算法仓库中算法要求的数据集；
7、所述协同中心用于根据当前训练或检测任务，产生对应的协同策略，驱动算法仓库内算法协同工作，并输出训练或检测结果；
8、所述算法仓库用于存储并管理多个日志异常检测算法，且经过注册增加新的算法；
9、所述知识库用于存储算法仓库中各算法性能、协同中心生成的协同策略以及异常点，以辅助决策使用。
10、进一步地，所述预处理中心包括：drain模块，变量抽取模块以及数据准备模块；
11、所述drain模块用于利用drain算法对日志消息进行预处理，得到事件序列；
12、所述变量抽取模块用于对drain模块处理后日志消息剩余部分进行变量抽取，得到与事件序列相对应的变量序列；
13、所述数据准备模块用于根据事件序列和变量序列，按照采用的日志异常检测算法要求进行数据准备，形成特定的数据序列。
14、进一步地，所述协同中心包括：基础训练模块，策略生成模块，协同训练模块，检测模块以及异常管理模块；
15、所述基础训练模块用于主导基础训练过程，根据训练任务信息，确定当前训练算法信息，为算法进行环境设置和数据准备，并在算法训练完毕后采集算法参数和算法检测能力信息，更新至知识库；
16、所述策略生成模块用于根据基础训练过程的结果，为目标日志生成协同策略；
17、所述协同训练模块驱动算法仓库内指定算法，按照协同策略以正常数据集实施训练，进一步采集各算法对于当前日志的检测能力和效率，而后以异常数据集实施试检测，通过各算法异常检测发现情况，优化训练协同策略，得到最后适用于检测的协同策略；
18、所述检测模块用于从知识库中获取协同策略以及相关算法的工作参数，然后驱动相应算法实施检测，评估当前窗口检测结果，并根据评估情况触发相应的动作，实施下一个周期的检测；
19、所述异常管理模块用于对异常点信息进行维护，包括生成、识别并更新异常点信息。
20、进一步地，所述算法仓库包括算法管理模块；
21、所述算法管理模块用于对算法仓库中的日志异常检测算法进行管理，包括将新注册算法导入算法仓库，并与协同中心配合，根据知识库提供的算法工作参数，将指定算法映射为工作算法。
22、进一步地，所述变量抽取模块具体用于：
23、1)接收日志l＝{m1,m2,...,mn}，其中mi表示某个日志消息；
24、2)基于drain模块预处理l得到的l’＝{(e1,s1),(e2,s2),...,(en,sn)}，其中ei表示经过解析所得到的事件，si表示日志消息余下的内容，mi＝ei+si；读取l’每个元素，获得si，完成下述操作，分析si是否包含模糊映射变量：
25、清空集合d；读取模糊映射本文档来自技高网...
【技术保护点】
1.一种高可用的日志异常检测系统，其特征在于，包括：预处理中心、协同中心、算法仓库和知识库；
2.根据权利要求1所述的高可用的日志异常检测系统，其特征在于，所述预处理中心包括：Drain模块，变量抽取模块以及数据准备模块；
3.根据权利要求1所述的高可用的日志异常检测系统，其特征在于，所述协同中心包括：基础训练模块，策略生成模块，协同训练模块，检测模块以及异常管理模块；
4.根据权利要求1所述的高可用的日志异常检测系统，其特征在于，所述算法仓库包括算法管理模块；
5.根据权利要求2所述的高可用的日志异常检测系统，其特征在于，所述变量抽取模块具体用于：
6.根据权利要求3所述的高可用的日志异常检测系统，其特征在于，所述基础训练模块具体用于：
7.根据权利要求3所述的高可用的日志异常检测系统，其特征在于，所述策略生成模块具体用于：
8.根据权利要求3所述的高可用的日志异常检测系统，其特征在于，所述协同训练模块具体用于：
9.根据权利要求3所述的高可用的日志异常检测系统，其特征在于，所述检测
10.根据权利要求3所述的高可用的日志异常检测系统，其特征在于，所述异常管理模块具体用于：
...【技术特征摘要】
1.一种高可用的日志异常检测系统，其特征在于，包括：预处理中心、协同中心、算法仓库和知识库；
2.根据权利要求1所述的高可用的日志异常检测系统，其特征在于，所述预处理中心包括：drain模块，变量抽取模块以及数据准备模块；
3.根据权利要求1所述的高可用的日志异常检测系统，其特征在于，所述协同中心包括：基础训练模块，策略生成模块，协同训练模块，检测模块以及异常管理模块；
4.根据权利要求1所述的高可用的日志异常检测系统，其特征在于，所述算法仓库包括算法管理模块；
5.根据权利要求2所述的高可用的日志异常...
【专利技术属性】
技术研发人员：张玉臣，周洪伟，汪永伟，胡浩，刘鹏程，刘小虎，董书琴，吴疆，范钰丹，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。