网络数据异常检测的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种网络数据异常检测的方法，包括：获取网络全流量得到基于流的元数据；根据与所述异常检测规则链中的当前规则对应的当前维度以及位于当前规则之前的所有规则的维度，获得聚合维度；根据所述元数据及当前规则的输入过滤条件，获取与所述聚合维度对应的当前时间窗口的每个指标维度的网络数据；计算所述当前时间窗口的每个所述指标维度的指标值以及指标值变化率；根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出在当前时间窗口所述当前规则的异常结果。本发明专利技术还公开了一种网络数据异常检测的装置、设备以及存储介质，提高了精确度，大幅度降低异常检测时的计算以及资源的使用量。

【技术实现步骤摘要】
网络数据异常检测的方法、装置、设备及存储介质
本专利技术涉及信息安全
，尤其涉及一种网络数据异常检测的方法、装置、设备及存储介质。
技术介绍
随着互联网和大数据技术的飞速发展，各公司数据中心访问量急剧上升，对数据中心网络高吞吐、低延迟的要求也日益提高。管理及监控软件的滥用、错误的配置、系统或设备故障以及大规模的网络攻击(尤其DDoS攻击)等，都会引起网络数据的异常，各种自然因素、失误操作或者恶意攻击等，也使得网络数据异常的多样性持续增大。现有的网络数据异常检测方法大致可分为三类：入侵式检测方法、基于采样数据检测方法和基于机器学习检测方法。然而，专利技术人在实施本专利技术的过程中发现，第一类检测方法受限于设备自身的计算和存储资源，只能做一些单一维度的少量统计，异常判断时大多使用固定阈值，很难做到与历史基线进行对比；第二类检测方法基于采样数据检测，采样粒度较大会影响到设备的性能，采样粒度较小则会丢失数据的准确性；第三类检测方法需要很高的计算成本，如果学习方法不当或者学习目标不明确就得不到精确的异常信息，且机器学习的实时性较低。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种网络数据异常检测的方法、装置、设备以及存储介质，提高了精确度，大幅度降低异常检测时的计算以及资源的使用量。第一方面，本专利技术实施例提供了一种网络数据异常检测的方法，包括：获取网络全流量，得到基于流的元数据并将所述元数据进行存储；重复以下步骤直至遍历异常检测规则链中的所有规则或者当前规则的输出为空：根据与所述异常检测规则链中的当前规则对应的当前维度以及位于当前规则之前的所有规则的维度，获得聚合维度；其中，所述异常检测规则链中的每级规则对应至少一个维度和至少一个历史数据统计时间模型；根据所述元数据及当前规则的输入过滤条件，获取与所述聚合维度对应的当前时间窗口的每个指标维度的网络数据；其中，所述当前规则的输入过滤条件根据所述当前规则的上一级规则输出的异常结果生成；根据所述网络数据，计算所述当前时间窗口的每个所述指标维度的指标值以及指标值变化率；根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出在当前时间窗口所述当前规则的异常结果。在第一方面的第一种实现方式中，在所述重复以下步骤直至遍历异常检测规则链中的所有规则或者当前规则的输出为空之前，还包括：根据所述当前时间窗口建立至少一个历史数据统计时间模型；其中，所述历史数据统计时间模型为同比当天的时间模型、环比过去X天的时间模型或者环比过去Y周的时间模型。在第一方面的第二种实现方式中，所述根据所述网络数据，计算每个所述指标维度的指标值以及指标值变化率具体为：对应所述当前规则的每一个指标维度：根据所述网络数据，计算所述当前时间窗口的所述指标维度的指标值；将所述当前时间窗口划分为N个小时间窗口，根据所述网络数据计算每个小时间窗口的所述指标维度的第一指标值；计算N个所述第一指标值的标准差生成所述指标维度的指标值变化率。在第一方面的第三种实现方式中，所述根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出所述当前规则的异常结果具体为：根据所述历史数据统计时间模型，计算所述当前规则的每个所述指标维度的历史指标值变化率；根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史指标值变化率，输出所述当前规则的异常结果。根据第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述根据所述历史数据统计时间模型，计算所述当前规则的所述指标维度的历史指标值变化率，具体为：根据所述历史数据统计时间模型，获取与所述历史数据统计时间模型对应的至少一个历史时间窗口；根据所述元数据，计算每个所述历史时间窗口的所述指标维度的历史变化率；根据所有所述历史变化率，计算所述当前规则的所述指标维度的历史指标值变化率。根据第一方面的第三种实现方式，在第一方面的第五种实现方式中，所述根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史指标值变化率，输出所述当前规则的异常结果具体为：当所述指标值大于预设的第一阈值和/或所述指标值变化率大于所述历史指标值变化率的K1倍时，将与所述指标值对应的指标维度作为所述当前规则的异常结果输出；或者当所述指标值小于预设的第二阈值和/或所述指标值变化率大于所述历史指标值变化率的K2倍时，将与所述指标值对应的指标维度作为所述当前规则的异常结果输出；其中，所述K1和K2为预设的变化率参考系数。在第一方面的第六种实现方式中，在所述根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出在当前时间窗口所述当前规则的异常结果之后，还包括：根据所述当前规则的异常结果生成所述当前规则的下一级规则的输入过滤条件，使得在所述下一级规则中过滤不符合所述当前规则的异常结果的元数据。第二方面，本专利技术实施例还提供了一种网络数据异常检测的装置，包括：网络流量获取单元，用于获取网络全流量，得到基于流的元数据并将所述元数据进行存储；重复以下步骤直至遍历异常检测规则链中的所有规则或者当前规则的输出为空：聚合维度获取单元，用于根据与所述异常检测规则链中的当前规则对应的当前维度以及位于当前规则之前的所有规则的维度，获得聚合维度；其中，所述异常检测规则链中的每级规则对应至少一个维度和至少一个历史数据统计时间模型；网络数据获取单元，用于根据所述元数据及当前规则的输入过滤条件，获取与所述聚合维度对应的当前时间窗口的每个指标维度的网络数据；其中，所述当前规则的输入过滤条件根据所述当前规则的上一级规则输出的异常结果生成；指标值计算单元，用于根据所述网络数据，计算所述当前时间窗口的每个所述指标维度的指标值以及指标值变化率；异常结果输出单元，用于根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出在当前时间窗口所述当前规则的异常结果。第三方面，本专利技术实施例还提供了一种网络数据异常检测设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的网络数据异常检测的方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的网络数据异常检测的方法。上述技术方案中的一个技术方案具有如下优点：通过旁路的方式实时采集网络全流量，达到旁路检测的目的，不影响骨干网的性能；通过将多维度聚合的检测规则拆分重新组织成规则链，通过流水线逐级过滤的方式，对数据进行筛选和降维，大幅度降低异常检测时的计算及资源使用量，通过全流量数据的自学习，进行网络数据异常的实时检测。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术第一实施例提供的网络数据异常检测的方法的流程示意图。图2是本专利技术第一实施例提供本文档来自技高网...

【技术保护点】
1.一种网络数据异常检测的方法，其特征在于，包括：获取网络全流量，得到基于流的元数据并将所述元数据进行存储；重复以下步骤直至遍历异常检测规则链中的所有规则或者当前规则的输出为空：根据与所述异常检测规则链中的当前规则对应的当前维度以及位于当前规则之前的所有规则的维度，获得聚合维度；其中，所述异常检测规则链中的每级规则对应至少一个维度和至少一个历史数据统计时间模型；根据所述元数据及当前规则的输入过滤条件，获取与所述聚合维度对应的当前时间窗口的每个指标维度的网络数据；其中，所述当前规则的输入过滤条件根据所述当前规则的上一级规则输出的异常结果生成；根据所述网络数据，计算所述当前时间窗口的每个所述指标维度的指标值以及指标值变化率；根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出在当前时间窗口所述当前规则的异常结果。

【技术特征摘要】
1.一种网络数据异常检测的方法，其特征在于，包括：获取网络全流量，得到基于流的元数据并将所述元数据进行存储；重复以下步骤直至遍历异常检测规则链中的所有规则或者当前规则的输出为空：根据与所述异常检测规则链中的当前规则对应的当前维度以及位于当前规则之前的所有规则的维度，获得聚合维度；其中，所述异常检测规则链中的每级规则对应至少一个维度和至少一个历史数据统计时间模型；根据所述元数据及当前规则的输入过滤条件，获取与所述聚合维度对应的当前时间窗口的每个指标维度的网络数据；其中，所述当前规则的输入过滤条件根据所述当前规则的上一级规则输出的异常结果生成；根据所述网络数据，计算所述当前时间窗口的每个所述指标维度的指标值以及指标值变化率；根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出在当前时间窗口所述当前规则的异常结果。2.根据权利要求1所述的网络数据异常检测的方法，其特征在于，在所述重复以下步骤直至遍历异常检测规则链中的所有规则或者当前规则的输出为空之前，还包括：根据所述当前时间窗口建立至少一个历史数据统计时间模型；其中，所述历史数据统计时间模型为同比当天的时间模型、环比过去X天的时间模型或者环比过去Y周的时间模型。3.根据权利要求1所述的网络数据检测的方法，其特征在于，所述根据所述网络数据，计算每个所述指标维度的指标值以及指标值变化率具体为：对应所述当前规则的每一个指标维度：根据所述网络数据，计算所述当前时间窗口的所述指标维度的指标值；将所述当前时间窗口划分为N个小时间窗口，根据所述网络数据计算每个小时间窗口的所述指标维度的第一指标值；计算N个所述第一指标值的标准差生成所述指标维度的指标值变化率。4.根据权利要求1所述的网络数据检测的方法，其特征在于，所述根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史数据统计时间模型，输出所述当前规则的异常结果具体为：根据所述历史数据统计时间模型，计算所述当前规则的每个所述指标维度的历史指标值变化率；根据所述当前规则中的所述指标值、所述指标值变化率以及所述历史指标值变化率，输出所述当前规则的异常结果。5.根据权利要求4所述的网络数据检测的方法，其特征在于，所述根据所述历史数据统计时间模型，计算所述当前规则的所述指标维度的历史指标值变化率，具体为：根据所述历史数据统计时间模型，获取与所述历史数据统计时间模型对应的至少一个历史时间窗口；根据所述元数据，计算每个所述历史时间窗口的所述指标维度的历史变化率；根据所有所述历史变化率，计算所述当前规则的所述...

【专利技术属性】
技术研发人员：张立丹，黄跃珍，刘纬，唐锡南，
申请(专利权)人：广州广电研究院有限公司，
类型：发明
国别省市：广东,44