【技术实现步骤摘要】
本申请涉及数据处理，具体而言，涉及一种日志数据的处理方法、装置、电子设备及介质。
技术介绍
1、当前运维人员对日志数据进行处理时，是采用命令行进行日志处理分析的方式，但是导致日志数据被处理时的效率太低且不能直观反映问题，然后采用shell脚本进行日志数据中的域名状态码的统计、分析，但不具备针对状态码进行监控告警的能力，也存在着发现潜在风险或者异常情况滞后性太强；而在管理端机器上通过命令从所有代理节点获取日志并进行日志清洗，然后传回到管理端机器上，在管理端机器进行二次加工，最终统计出域名的各种状态码，对应地，需要的计算资源较多，则会对管理终端上的资源存在较大的考验。
技术实现思路
1、有鉴于此，本申请的目的在于提供一种日志数据的处理方法、装置、电子设备及介质，该一种日志数据的处理方法、装置、电子设备及介质，有效地解决了日志数据在被处理时存在的效率太低、缺乏监控告警能力、滞后性太强、需要的计算资源较多的问题。
2、第一方面，本申请实施例提供了一种日志数据的处理方法，应用于处理系统，所述处理系统包括采集模块、清洗模块、监控模块，所述方法包括：
3、所述采集模块采集nginx产生的日志数据，并将所述日志数据推送至消息队列中，以使所述清洗模块对所述消息队列中的日志数据进行清洗，得到清洗结果；
4、所述清洗模块发送所述清洗结果至监控模块，以使所述监控模块基于所述清洗结果进行字段提取，得到字段提取结果；
5、所述监控模块基于不同维度对应的处理方式对
6、所述监控模块采用所述对应维度的告警判断条件对所述维度处理结果进行判断得到判断结果，以基于所述判断结果进行告警。
7、结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述监控模块基于不同维度对应的处理方式对所述字段提取结果进行不同的处理得到对应的维度处理结果，包括：
8、所述监控模块基于所述日志数据确认所述字段提取结果处理的维度；
9、所述监控模块基于所述维度所对应的处理方式处理所述字段提取结果得到维度处理结果。
10、结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述维度包括tps计算；
11、所述监控模块基于所述维度所对应的处理方式处理所述字段提取结果得到维度处理结果，包括：
12、所述监控模块基于所述字段提取结果中的多个字段与预置的字段组合进行匹配得到tps指标；
13、所述监控模块计算所述tps指标的目标衍生数据，以基于所述目标衍生数据得到维度处理结果。
14、结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述维度包括耗时分布计算；
15、所述监控模块基于所述维度所对应的处理方式处理所述字段提取结果得到维度处理结果，包括：
16、所述监控模块基于所述对应维度的处理方式提取所述日志数据中的目标字段，并确定对应维度的耗时指标；
17、所述监控模块统计所述耗时指标对应的目标字段的频数，以基于所述频数得到所述维度处理结果。
18、结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述维度包括流量计算；
19、所述监控模块基于所述维度所对应的处理方式处理所述字段提取结果得到维度处理结果，包括：
20、所述监控模块基于所述字段提取结果中的多个字段提取对应的字节数量并确定对应的流量指标；
21、所述监控模块计算所述流量指标对应的字节总量，以基于所述字节总量得到对应的维度处理结果。
22、结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述监控模块计算所述tps指标的目标衍生数据，以基于所述目标衍生数据得到维度处理结果，包括：
23、所述监控模块基于所述tps指标生成函数调用指令，以基于所述函数调用指令调用计算函数；
24、所述计算函数基于所述函数调用指令对所述tps指标进行计算得到目标衍生数据。
25、结合第一方面，本申请实施例提供了第一方面的第六种可能的实施方式，其中，所述监控模块采用所述对应维度的告警判断条件对所述维度处理结果进行判断得到判断结果，以基于所述判断结果进行告警，包括：
26、所述监控模块判断所述维度处理结果是否符合对应的维度的告警判断条件；
27、若符合，则所述监控模块基于所述判断结果进行融合得到融合结果，以基于融合结果进行告警。
28、第二方面，本申请实施例提供了一种日志数据的处理装置，应用于处理系统，所述处理系统包括采集模块、清洗模块、监控模块，所述装置包括：
29、采集模块，用于所述采集模块采集nginx产生的日志数据，并将所述日志数据推送至消息队列中，以使所述清洗模块对所述消息队列中的日志数据进行清洗，得到清洗结果；
30、发送模块，用于所述清洗模块发送所述清洗结果至监控模块，以使所述监控模块基于所述清洗结果进行字段提取，得到字段提取结果；
31、处理模块，用于所述监控模块基于不同维度对应的处理方式对所述字段提取结果进行不同的处理得到对应的维度处理结果，以基于所述维度处理结果对应的维度确定对应维度的告警判断条件；
32、告警模块，用于所述监控模块采用所述对应维度的告警判断条件对所述维度处理结果进行判断得到判断结果，以基于所述判断结果进行告警。
33、第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行任意一项所述的一种日志数据的处理方法的步骤。
34、第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行任意一项所述的一种日志数据的处理方法的步骤。
35、本申请实施例提供的应用于处理系统，所述处理系统包括采集模块、清洗模块、监控模块，所述方法首先通过所述采集模块采集nginx产生的日志数据，并将所述日志数据推送至消息队列中，以使所述清洗模块对所述消息队列中的日志数据进行清洗，得到清洗结果；其次所述清洗模块发送所述清洗结果至监控模块，以使所述监控模块基于所述清洗结果进行字段提取，得到字段提取结果；然后所述监控模块基于不同维度对应的处理方式对所述字段提取结果进行不同的处理得到对应的维度处理结果，以基于所述维度处理结果对应的维度确定对应维度的告警判断条件；所述监控模块采用所述对应维度的告警判断条件对所述维度处理结果进行判断得到判断结果，以基于所述判断结果进行告警，基于所述清洗模块和所述监控模块实现了日志数据在被处理本文档来自技高网...
【技术保护点】
1.一种日志数据的处理方法，其特征在于，应用于处理系统，所述处理系统包括采集模块、清洗模块、监控模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述监控模块基于不同维度对应的处理方式对所述字段提取结果进行不同的处理得到对应的维度处理结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述维度包括TPS计算；
4.根据权利要求2所述的方法，其特征在于，所述维度包括耗时分布计算；
5.根据权利要求2所述的方法，其特征在于，所述维度包括流量计算；
6.根据权利要求3所述的方法，其特征在于，所述监控模块计算所述TPS指标的目标衍生数据，以基于所述目标衍生数据得到维度处理结果，包括：
7.根据权利要求1所述的方法，其特征在于，所述监控模块采用所述对应维度的告警判断条件对所述维度处理结果进行判断得到判断结果，以基于所述判断结果进行告警，包括：
8.一种日志数据的处理装置，其特征在于，应用于处理系统，所述处理系统包括采集模块、清洗模块、监控模块，所述装置包括：
9.一种电子设备，
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的一种日志数据的处理方法的步骤。
...【技术特征摘要】
1.一种日志数据的处理方法，其特征在于，应用于处理系统，所述处理系统包括采集模块、清洗模块、监控模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述监控模块基于不同维度对应的处理方式对所述字段提取结果进行不同的处理得到对应的维度处理结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述维度包括tps计算；
4.根据权利要求2所述的方法，其特征在于，所述维度包括耗时分布计算；
5.根据权利要求2所述的方法，其特征在于，所述维度包括流量计算；
6.根据权利要求3所述的方法，其特征在于，所述监控模块计算所述tps指标的目标衍生数据，以基于所述目标衍生数据得到维度处理结果，包括：
7.根据权利要求1所述的方法，其特征在...
【专利技术属性】
技术研发人员：石拓，赵超，谭鑫，周立童，
申请(专利权)人：朴道征信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。