【技术实现步骤摘要】
异常检测方法、装置、设备及存储介质
[0001]本公开涉及大数据
和金融
，尤其涉及一种异常检测方法、装置、设备、介质和程序产品。
技术介绍
[0002]随着信息技术的不断发展，网络的规模和复杂度在不断提高，网络攻击的手段也多种多样，如拒绝服务攻击、漏洞攻击、木马攻击等等。传统的对于系统异常检测的方法一般是基于分析网络应用产生的日志，依靠关键字搜索来识别典型的攻击模式，及时发现系统存在的潜在风险。但是，随着大数据时代的来临，面对系统数据的数量、维度的不断增长，传统的基于数理统计的异常检测方法存在检测准确率低和检测效率低的问题。
技术实现思路
[0003]鉴于上述问题，本公开提供了一种异常检测方法、装置、设备、介质和程序产品。
[0004]根据本公开的一个方面，提供了一种异常检测方法，包括：
[0005]获取目标设备的待测日志序列和历史日志序列，其中，待测日志序列表征目标设备的当前运行状态信息，历史日志序列表征目标设备的历史运行状态信息；
[0006]利用聚类算法和关联规则挖掘算法对历史日志序列进行关联分析得到目标规则集，其中，目标规则集表征目标设备在目标运行状态下的运行规则信息；
[0007]利用关联规则挖掘算法对待测日志序列进行处理，得到待测数据规则集；
[0008]根据待测数据规则集和目标规则集，生成待测日志序列的异常检测结果。
[0009]根据本公开的实施例，利用关联规则挖掘算法对待测日志序列进行处理，得到待测数据规则集，包括：>[0010]利用哈希存储对待测日志序列进行去重处理，得到压缩后的待测日志序列的事务集，其中，事务集中包括m个事务；
[0011]根据第n个事务在事务集中出现的频率，确定第n个事务的权重，其中，1≤n≤m，且n、m均为正整数；
[0012]根据待测日志序列的项集与事务集的关联关系和每一个事务的权重，确定待测日志序列的项集的项目支持度；
[0013]根据项目支持度，确定待测日志序列的频繁集；
[0014]根据频繁集，生成待测数据规则集。
[0015]根据本公开的实施例，根据待测数据规则集和目标规则集，生成待测日志序列的异常检测结果，包括：
[0016]根据待测数据规则集和目标规则集，计算待测数据规则集与目标规则集的第一相似度；
[0017]根据第一相似度，生成待测日志序列的异常检测结果。
[0018]根据本公开的实施例，根据待测数据规则集和目标规则集，生成待测日志序列的
异常检测结果，包括：
[0019]根据待测数据规则集和目标规则集，计算待测数据规则集与目标规则集的第一相似度；
[0020]根据第一相似度，生成待测日志序列的异常检测结果。
[0021]根据本公开的实施例，根据待测数据规则集和目标规则集，计算待测数据规则集与目标规则集的第一相似度，包括：
[0022]针对待测数据规则集中的第i个规则和目标规则集的第j个规则，计算第i个规则和第j个规则的第二相似度，其中，第i个规则和第j个规则存在关联关系；
[0023]根据多个第二相似度、待测数据规则集中的规则数和目标规则集中的规则数，确定第一相似度；其中，1≤i≤M，1≤j≤N，M表征待测数据规则集中的规则数，N表征目标规则集中的规则数。
[0024]根据本公开的实施例，针对待测数据规则集中的第i个规则和目标规则集的第j个规则，计算第i个规则和第j个规则的第二相似度，包括：
[0025]根据第i个规则的支持度和置信度，以及第j个规则的支持度和置信度，计算第二相似度。
[0026]根据本公开的实施例，利用聚类算法和关联规则挖掘算法对历史日志序列进行关联分析得到目标规则集，包括：
[0027]对历史日志序列进行预处理，提取日志特征数据集；
[0028]利用聚类算法对日志特征数据集进行聚类分析，得到正常特征数据集和异常特征数据集；
[0029]利用关联规则挖掘算法对目标特征数据集进行处理，得到目标规则集，其中，目标特征数据集包括正常特征数据集或异常特征数据集。
[0030]根据本公开的实施例，对历史日志序列进行预处理，提取日志特征数据集，包括：
[0031]解析历史日志序列，得到多个目标日志信息；
[0032]针对每一个目标日志信息，利用逆文档频率算法，通过计算目标日志信息在历史日志序列中的频率，确定目标日志信息的权重；
[0033]根据多个目标日志信息的权重，生成日志特征数据集。
[0034]本公开的另一个方面提供了一种异常检测装置，包括：获取模块、分析模块、处理模块和生成模块。其中，获取模块，用于获取目标设备的待测日志序列和历史日志序列，其中，所述待测日志序列表征所述目标设备的当前运行状态信息，所述历史日志序列表征所述目标设备的历史运行状态信息。分析模块，用于利用聚类算法和关联规则挖掘算法对所述历史日志序列进行关联分析得到目标规则集，其中，所述目标规则集表征所述目标设备在异常运行状态下的运行规则信息。处理模块，用于利用所述关联规则挖掘算法对所述待测日志序列进行处理，得到待测数据规则集。生成模块，用于根据所述待测数据规则集和所述目标规则集，生成所述待测日志序列的异常检测结果。
[0035]根据本公开的实施例，处理模块包括去重单元、第一确定单元、第二确定单元、第三确定单元和第一生成单元。其中，去重单元，用于利用哈希存储对待测日志序列进行去重处理，得到压缩后的待测日志序列的事务集，其中，事务集中包括m个事务。第一确定单元，用于根据第n个事务在事务集中出现的频率，确定第n个事务的权重，其中，1≤n≤m，且n、m
均为正整数。第二确定单元，用于根据待测日志序列的项集与事务集的关联关系和每一个事务的权重，确定待测日志序列的项集的项目支持度。第三确定单元，用于根据项目支持度，确定待测日志序列的频繁集。第一生成单元，用于根据频繁集，生成待测数据规则集。
[0036]根据本公开的实施例，生成模块包括第一计算单元和第二生成单元。其中，第一计算单元，用于根据待测数据规则集和目标规则集，计算待测数据规则集与目标规则集的第一相似度。第二生成单元，用于根据第一相似度，生成待测日志序列的异常检测结果。
[0037]根据本公开的实施例，第一计算单元包括第一计算子单元和第一确定子单元。其中，第一计算子单元，用于针对待测数据规则集中的第i个规则和目标规则集的第j个规则，计算第i个规则和第j个规则的第二相似度，其中，第i个规则和第j个规则存在关联关系。第一确定子单元，用于根据多个第二相似度、待测数据规则集中的规则数和目标规则集中的规则数，确定第一相似度；其中，1≤i≤M，1≤j≤N，M表征待测数据规则集中的规则数，N表征目标规则集中的规则数。
[0038]根据本公开的实施例，第一计算子单元包括计算子模块。其中，计算子模块，用于根据第i个规则的支持度和置信度，以及第j个规则的支持度和置信度，计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异常检测方法，包括：获取目标设备的待测日志序列和历史日志序列，其中，所述待测日志序列表征所述目标设备的当前运行状态信息，所述历史日志序列表征所述目标设备的历史运行状态信息；利用聚类算法和关联规则挖掘算法对所述历史日志序列进行关联分析得到目标规则集，其中，所述目标规则集表征所述目标设备在目标运行状态下的运行规则信息；利用所述关联规则挖掘算法对所述待测日志序列进行处理，得到待测数据规则集；根据所述待测数据规则集和所述目标规则集，生成所述待测日志序列的异常检测结果。2.根据权利要求1所述的方法，其中，所述利用关联规则挖掘算法对所述待测日志序列进行处理，得到待测数据规则集，包括：利用哈希存储对所述待测日志序列进行去重处理，得到压缩后的所述待测日志序列的事务集，其中，所述事务集中包括m个事务；根据第n个事务在所述事务集中出现的频率，确定所述第n个事务的权重，其中，1≤n≤m，且n、m均为正整数；根据所述待测日志序列的项集与所述事务集的关联关系和每一个事务的权重，确定所述待测日志序列的项集的项目支持度；根据所述项目支持度，确定所述待测日志序列的频繁集；根据所述频繁集，生成所述待测数据规则集。3.根据权利要求1所述的方法，其中，所述根据所述待测数据规则集和所述目标规则集，生成所述待测日志序列的异常检测结果，包括：根据所述待测数据规则集和所述目标规则集，计算所述待测数据规则集与所述目标规则集的第一相似度；根据所述第一相似度，生成所述待测日志序列的异常检测结果。4.根据权利要求3所述的方法，其中，所述根据所述待测数据规则集和所述目标规则集，计算所述待测数据规则集与所述目标规则集的第一相似度，包括：针对所述待测数据规则集中的第i个规则和所述目标规则集的第j个规则，计算所述第i个规则和所述第j个规则的第二相似度，其中，所述第i个规则和所述第j个规则存在关联关系；根据多个所述第二相似度、所述待测数据规则集中的规则数和所述目标规则集中的规则数，确定所述第一相似度；其中，1≤i≤M，1≤j≤N，M表征所述待测数据规则集中的规则数，N表征所述目标规则集中的规则数。5.根据权利要求4所述的方法，其中，所述针对所述待测数据规则集中的第i个规则和所述目标规...
【专利技术属性】
技术研发人员：高姗姗，张兴斌，张飞燕，代甜，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。