一种基于日志的系统故障预测方法、装置和设备制造方法及图纸

本发明专利技术提供一种基于日志的系统故障预测方法、装置和设备，方法包括：依据预设数据抓取规则获取系统日志数据；对获取到的日志数据进行数据分类得到异常数据、性能数据以及业务数据；基于预设人工智能模型对所述异常数据、性能数据以及业务数据的变化趋势进行分析，并输出分析结果，实现了系统的故障预测，降低了系统的运维成本。

A system fault prediction method, device and equipment based on log

【技术实现步骤摘要】
一种基于日志的系统故障预测方法、装置和设备
本专利技术涉及数据处理
，具体涉及一种基于日志的系统故障预测方法、装置和设备。
技术介绍
现有技术中，当计算机系统或者是其他系统出现故障时，通常都是通过对其进行日志分析，通过日志分析结果来确定系统故障类型的，这些日志中存储有系统的历史运行数据。可见，现有技术中当前系统的日志分析很被动，都是生产过程中遇到问题后才进行日志分析，然后再根据分析结果调整系统参数和部署策略，当出现问题后，再解决问题，系统运维成本较高。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于日志的系统故障预测方法、装置和设备，以实现系统的故障预测。为实现上述目的，本专利技术实施例提供如下技术方案：一种基于日志的系统故障预测方法，包括：依据预设数据抓取规则获取系统日志数据；对获取到的日志数据进行数据分类得到异常数据、性能数据以及业务数据；基于预设人工智能模型对所述异常数据、性能数据以及业务数据的变化趋势进行分析，并输出分析结果。可选的，上述基于日志的系统故障预测方法中，基于预设人工智能模型对所述异常数据的变化趋势进行分析包括：基于预设人工智能模型对异常数据的增长量进行分析，得到所述异常数据的增长量达到预设警戒值的时刻，所述异常数据的增长量包括但不限于异常数据在预设时间段内的出现次数，以及所述异常数据的值与正常数据的值的差值。可选的，上述基于日志的系统故障预测方法中，基于预设人工智能模型对所述性能数据的变化趋势进行分析包括：基于预设人工智能模型对系统的性能数据的变化趋势进行分析，得到所述性能数据达到预设性能阈值的时刻，所述性能数据包括但不限于系统内存和CPU使用率。可选的，上述基于日志的系统故障预测方法中，基于预设人工智能模型对所述业务数据的变化趋势进行分析包括：基于预设人工智能模型对系统的业务数据的变化趋势进行分析，得到各种所述业务数据的数据量的变化趋势。可选的，上述基于日志的系统故障预测方法中，将获取到的性能数据与预设性能阈值进行对比，当所述性能数据达到所述预设性能阈值时，向上级系统输出扩容请求，以增大系统的系统资源。一种基于日志的系统故障预测装置，包括：日志数据抓取单元，用于依据预设数据抓取规则获取系统日志数据；数据分类单元，用于对获取到的日志数据进行数据分类得到异常数据、性能数据以及业务数据；数据分析单元，用于基于预设人工智能模型对所述异常数据、性能数据以及业务数据的变化趋势进行分析，并输出分析结果。可选的，上述基于日志的系统故障预测装置中，所述数据分析单元在基于预设人工智能模型对所述异常数据的变化趋势进行分析时，具体用于：基于预设人工智能模型对异常数据的增长量进行分析，得到所述异常数据的增长量达到预设警戒值的时刻，所述异常数据的增长量包括但不限于异常数据在预设时间段内的出现次数，以及所述异常数据的值与正常数据的值的差值。可选的，上述基于日志的系统故障预测装置中，所述数据分析单元在基于预设人工智能模型对所述性能数据的变化趋势进行分析时，具体用于：基于预设人工智能模型对系统的性能数据的变化趋势进行分析，得到所述性能数据达到预设性能阈值的时刻，所述性能数据包括但不限于系统内存和CPU使用率。可选的，上述基于日志的系统故障预测装置中，所述数据分析单元在基于预设人工智能模型对所述业务数据的变化趋势进行分析时，具体用于：基于预设人工智能模型对系统的业务数据的变化趋势进行分析，得到各种所述业务数据的数据量的变化趋势。可选的，上述基于日志的系统故障预测装置中，所述数据分析单元还用于：将获取到的性能数据与预设性能阈值进行对比，当所述性能数据达到所述预设性能阈值时，向上级系统输出扩容请求，以增大系统的系统资源。一种基于日志的系统故障预测设备，包括：存储器和处理器；所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，当所述程序代码被执行时，用于实现上述任意一项所述的基于日志的系统故障预测方法。基于上述技术方案，本专利技术实施例提供的上述方案，采用所述预设人工智能模型对所述异常数据、性能数据以及业务数据的变化趋势进行预测，得到未来一段时间内的异常数据、性能数据以及业务数据的变化趋势，从而，实现了对系统工况的提前预警，系统运维人员可以依据所述异常数据、性能数据以及业务数据的变化趋势对所述系统进行针对性的管理和维护，降低了系统的运维成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例公开的基于日志的系统故障预测方法的流程示意图；图2为本申请实施例公开的基于日志的系统故障预测方法对异常数据进行预测的流程示意图；图3为本申请实施例公开的基于日志的系统故障预测方法对性能数据进行预测的流程示意图；图4为本申请实施例公开的基于日志的系统故障预测方法对业务数据进行预测的流程示意图；图5为本申请实施例公开的基于日志的系统故障预测装置的结构示意图；图6为本申请实施例公开的基于日志的系统故障预测设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。针对于现有技术中，只有当系统出现故障后，才对日志数据进行分析，而对生产造成较大损失的问题，本申请公开了一种基于日志的系统故障预测方法，包括：步骤S101：依据预设数据抓取规则获取系统日志数据；在本方案中，系统内会存储有多个日志文件，不同日志文件用于存储系统内不同模块的日志信息，在本方案中，本申请会预先针对每个日志文件配置不同的数据抓取规则，在抓取日志数据时，基于所述预设抓取规则由所述日志文件中抓取日志数据，其中，所述日志文件包括但不限于中间件日志(Apache、jboss等)、应用日志、系统运行指标和系统运行日志等；步骤S102：对获取到的日志数据进行数据分类得到异常数据、性能数据以及业务数据；在本步骤中，采用数据加工模块对采集到的日志数据进行数据过滤、加工，最后加工出来的日志数据分为三大部分：异常数据、性能数据以及业务数据；所述异常数据，除了包括所述异常数据本身之外，还可以包括所述异常数据的异常发生的时间、异常内容、异常操作、异常级别、异常是否为可恢复的异常等信息中的一项或多项；所述性能数据，除了包括系统性能数据本身之外，还可以包括系统获取到的请求数据的响应时间，以及其他用本文档来自技高网...

【技术保护点】
1.一种基于日志的系统故障预测方法，其特征在于，包括：/n依据预设数据抓取规则获取系统日志数据；/n对获取到的日志数据进行数据分类得到异常数据、性能数据以及业务数据；/n基于预设人工智能模型对所述异常数据、性能数据以及业务数据的变化趋势进行分析，并输出分析结果。/n

【技术特征摘要】
1.一种基于日志的系统故障预测方法，其特征在于，包括：
依据预设数据抓取规则获取系统日志数据；
对获取到的日志数据进行数据分类得到异常数据、性能数据以及业务数据；
基于预设人工智能模型对所述异常数据、性能数据以及业务数据的变化趋势进行分析，并输出分析结果。


2.根据权利要求1所述的基于日志的系统故障预测方法，其特征在于，基于预设人工智能模型对所述异常数据的变化趋势进行分析包括：
基于预设人工智能模型对异常数据的增长量进行分析，得到所述异常数据的增长量达到预设警戒值的时刻，所述异常数据的增长量包括但不限于异常数据在预设时间段内的出现次数，以及所述异常数据的值与正常数据的值的差值。


3.根据权利要求1所述的基于日志的系统故障预测方法，其特征在于，基于预设人工智能模型对所述性能数据的变化趋势进行分析包括：
基于预设人工智能模型对系统的性能数据的变化趋势进行分析，得到所述性能数据达到预设性能阈值的时刻，所述性能数据包括但不限于系统内存使用率和CPU使用率。


4.根据权利要求1所述的基于日志的系统故障预测方法，其特征在于，基于预设人工智能模型对所述业务数据的变化趋势进行分析包括：
基于预设人工智能模型对系统的业务数据的变化趋势进行分析，得到各种所述业务数据的数据量的变化趋势。


5.根据权利要求1所述的基于日志的系统故障预测方法，其特征在于，还包括：
将获取到的性能数据与预设性能阈值进行对比，当所述性能数据达到所述预设性能阈值时，向上级系统输出扩容请求。


6.一种基于日志的系统故障预测装置，其特征在于，包括...

【专利技术属性】
技术研发人员：代朝，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11