一种基于知识图谱和强化学习的日志异常检测辅助决策方法及系统技术方案

本发明专利技术公开一种基于知识图谱和强化学习的日志异常检测辅助决策方法及系统，该方法包括：基于知识图谱构建日志异常检测知识库，集合现有日志异常检测知识；包括：从现有文献和案例中提取知识，初步构建日志异常检测知识库；通过相似实体合并方法优化日志异常检测知识库；基于强化学习构建推理引擎，推理引擎以日志异常检测知识库为数据支持，以强化学习算法为核心，通过生成推荐策略

【技术实现步骤摘要】
一种基于知识图谱和强化学习的日志异常检测辅助决策方法及系统


[0001]本专利技术涉及日志异常检测
，尤其涉及一种基于知识图谱和强化学习的日志异常检测辅助决策方法及系统
。

技术介绍

[0002]现有大多数的日志异检测方案都是尝试通过引入新的算法
、
优化现有算法
、
调整算法输入等措施来优化日志异常检测的指标
。
尚没有明确针对日志异常检测的辅助决策解决方案
。Multi
‑
CAD[Xie X,Jin Z,Wang J,et al.Confidence guided anomaly detection model for anti
‑
concept drift in dynamic logs[J].Journal of Network and Computer Applications,2020,162:102659]针对概念漂移的问题，通过多算法结果的综合分析来考察日志中概念漂移情况，从而决定哪类算法更适应当前日志的处理
。[Li G,Zhu P,Chen Z.Accelerating System Log Processing by Semi
‑
supervised Learning:A Technical Report[J].2018][He S,Zhu J,He P,et al.Experience Report:System Log Analysis for Anomaly Detection[C]//2016IEEE 27th International Symposium on Software Reliability Engineering(ISSRE).IEEE,2016.]统计分析现有各类日志异常检测算法，希望给出一定经验积累，供人们在决策使用检测算法时参考
。
现有日志预处理以及异常检测，都存在多种方法或者策略，同时不同算法在处理不同风格日志时，准确率
、
召回率以及
F1
得分等方面都有不同表现
。
多种多样的不确定因素，使得人们在实施日志异常检测时面临决策的困难
。
[0003]目前日志异常检测存在问题之一是：日志异常检测方案不具备通用性
。
由于日志异常检测方案与日志结合过于紧密，导致检测方案在目标数据集都有不错的表现
。
但是日志的多样性使得这种优异的表现难以具有通用性
。
由于日志产生不存在普遍统一的标准，所以软件开发人员差异，软件频繁升级等原因，都导致了日志的多样性
。
针对特定实验数据的测试结果很难在动态变化的其它日志数据上完全复现
。
人们在选择日志异常检测方案时，只能根据历史经验分析和判断
。
这不仅消耗了大量的人工，也难以保证决策的正确性
。

技术实现思路

[0004]针对上述问题，本专利技术提出一种基于知识图谱和强化学习的日志异常检测辅助决策方法及系统
,
希望在具有专业领域知识的日志异常检测知识库的引导下，辅助用户完成日志异常检测，避免人们在日志异常检测时的决策困难
。
本专利技术在统计
、
对比和分析现有日志异常检测方案的基础上，抽取相关的知识形成实体
、
属性和关系，依托知识图谱构建日志异常检测知识库，且利用强化学习算法实现检测决策建议的生成和优化，同时也根据反馈驱动日志异常检测知识库本身的演化，从而不断适应动态变化且呈多样性的日志数据库
。
从整体上，减少人员的工作量，使日志异常检测方案自适应目标日志数据集
。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]本专利技术一方面提出一种基于知识图谱和强化学习的日志异常检测辅助决策方法，包括：
[0007]基于知识图谱构建日志异常检测知识库，集合现有日志异常检测知识；包括：从现有文献和案例中提取知识，初步构建日志异常检测知识库；通过相似实体合并方法优化日志异常检测知识库；
[0008]基于强化学习构建推理引擎，推理引擎以日志异常检测知识库为数据支持，以强化学习算法为核心，通过生成推荐策略
、
实施策略以及策略反馈的过程中，不断调整和优化推荐结果，同时也反馈给日志异常检测知识库，驱动日志异常检测库的演化，以不断优化和适应检测需求
。
[0009]进一步地，所述从现有文献和案例中提取知识，初步构建日志异常检测知识库包括：
[0010]基于正则表达式对不同日志的处理习惯以及处理效果，抽取形成预处理阶段的策略实体；
[0011]将常用日志模板挖掘算法列为日志模板挖掘算法实体，围绕日志模板挖掘结果，统计常见日志的日志模板，并据此构造日志模板挖掘实体；同时建立日志模板与日志模板挖掘算法实体之间的关系；将常见类型日志列为实体，并用属性来记录日志模板挖掘算法处理不同日志的指标；
[0012]利用不同日志异常检测算法发现日志中可能存在的异常信息：构建常用日志异常检测算法实体，并使用属性记录实体的特征，并存储于图数据库
Neo4j
中；基于异常检测算法评判指标构造相应的关系和属性
。
[0013]进一步地，所述通过相似实体合并方法优化日志异常检测知识库包括：
[0014]首先基于实体相似度，按照预定设定的阈值，筛选出相似的实体；然后从筛选出的相似实体集合，进行结构相似度判断，确定实体间是否相似；在确认相似实体的基础上，基于关系对齐的原则，对相似实体进行知识融合
。
[0015]进一步地，实体相似度判定方法包括：
[0016]将知识库实体集，基于
BERT
模型在通用词语中的训练模型下进行分词编码处理，使用余弦相似度来计算实体之间的相似程度，通过逐个两两匹配，遍历所有实体，当两个实体相似度超过阈值，则视其为相似实体，将其加入相似实体集合
。
[0017]进一步地，结构相似度的判定方法包括：
[0018]以相似实体集合为输入，抽取相似实体集合，对其反映在知识图谱内的拓扑结构进行相似性判定，其中拓扑结构的特征包含预处理方法数量
、
模板数量
、
正则表达式数量
、
异常检测方法数量
、
指标评价均值，通过查询知识图谱，将实体的拓扑结构转化为特征向量，然后基于余弦相似度原则计算得到相似度；如果高于阈值则判断两实体相似，进行后续的知识融合
。
[0019]进一步地，所述对相似实体进行知识融合包括：
[0020]首先使用
TransE
算法进行关系表示学习，对实体相关的关系向量化；然后，根据余弦相似度，计算相似实体所对应关系向量之间的相似度，大于预定阈值的关系视为相似，并进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于知识图谱和强化学习的日志异常检测辅助决策方法，其特征在于，包括：基于知识图谱构建日志异常检测知识库，集合现有日志异常检测知识；包括：从现有文献和案例中提取知识，初步构建日志异常检测知识库；通过相似实体合并方法优化日志异常检测知识库；基于强化学习构建推理引擎，推理引擎以日志异常检测知识库为数据支持，以强化学习算法为核心，通过生成推荐策略
、
实施策略以及策略反馈的过程中，不断调整和优化推荐结果，同时也反馈给日志异常检测知识库，驱动日志异常检测库的演化，以不断优化和适应检测需求
。2.
根据权利要求1所述的一种基于知识图谱和强化学习的日志异常检测辅助决策方法，其特征在于，所述从现有文献和案例中提取知识，初步构建日志异常检测知识库包括：基于正则表达式对不同日志的处理习惯以及处理效果，抽取形成预处理阶段的策略实体；将常用日志模板挖掘算法列为日志模板挖掘算法实体，围绕日志模板挖掘结果，统计常见日志的日志模板，并据此构造日志模板挖掘实体；同时建立日志模板与日志模板挖掘算法实体之间的关系；将常见类型日志列为实体，并用属性来记录日志模板挖掘算法处理不同日志的指标；利用不同日志异常检测算法发现日志中可能存在的异常信息：构建常用日志异常检测算法实体，并使用属性记录实体的特征，并存储于图数据库
Neo4j
中；基于异常检测算法评判指标构造相应的关系和属性
。3.
根据权利要求1所述的一种基于知识图谱和强化学习的日志异常检测辅助决策方法，其特征在于，所述通过相似实体合并方法优化日志异常检测知识库包括：首先基于实体相似度，按照预定设定的阈值，筛选出相似的实体；然后从筛选出的相似实体集合，进行结构相似度判断，确定实体间是否相似；在确认相似实体的基础上，基于关系对齐的原则，对相似实体进行知识融合
。4.
根据权利要求3所述的一种基于知识图谱和强化学习的日志异常检测辅助决策方法，其特征在于，实体相似度判定方法包括：将知识库实体集，基于
BERT
模型在通用词语中的训练模型下进行分词编码处理，使用余弦相似度来计算实体之间的相似程度，通过逐个两两匹配，遍历所有实体，当两个实体相似度超过阈值，则视其为相似实体，将其加入相似实体集合
。5.
根据权利要求4所述的一种基于知识图谱和强化学习的日志异常检测辅助决策方法，其特征在于，结构相似度的判定方法包括：以相似实体集合为输入，抽取相似实体集合，对其反映在知识图谱内的拓扑结构进行相似性判定，其中拓扑结构的特征包含预处理方法数量
、
模板数量
、
正则表达式数量
、
异常检测方法数量
、
指标评价均值，通过查询知识图谱，将实体的拓扑结构转化为特征向量，然后基于余弦相似度原则计算得到相似度；如果高于阈值则判断两实体相似，进行后续的知识融合
。6.
根据权利要...

【专利技术属性】
技术研发人员：周洪伟，赖国平，胡浩，张玉臣，汤海霖，汪永伟，刘鹏程，袁哲宇，李亮辉，马雪琪，马辰阳，王梅，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：