一种对异常数据实时监测和告警的方法及系统技术方案

本发明专利技术公开了一种对异常数据实时监测和告警的方法及系统，属于工业互联网系统边缘端设备异常监测技术领域，该方法的实现包括数据接收及过滤模块、数据处理模块、告警定级模块、告警结果发布模块及日志信息模块，数据接收及过滤模块用于收集当前采集端所有的设备采集到的数据，并将所有数据整理分类；数据处理模块允许用户按照告警规则模板自定义告警规则，在将数据根据特定的时间窗口进行分片后，按照用户自定义的告警规则进行比较计算。本发明专利技术通过对实时收集的数据进行过滤来保证整个系统处于正常运行的状态，对于项目运维中无法及时发现设备出错的问题提供了实时检测、及时反馈的方法，并针对各个模块的异常信息进行反馈给运维人员进行处理。运维人员进行处理。运维人员进行处理。

【技术实现步骤摘要】
一种对异常数据实时监测和告警的方法及系统


[0001]本专利技术涉及工业互联网系统边缘端设备异常监测
，具体地说是一种对异常数据实时监测和告警的方法及系统。

技术介绍

[0002]由于近些年“工业互联网”作为科技领域的热搜词汇，越来越多的企业和项目开始向着这个方向进军。而整个工业互联网系统的边缘层的设备作为数据的收集端，它们收集到的数据支持着整个工业互联网系统的正常运行，所以若是某个设备出现问题导致收集到的数据不在正常的范围之内，会影响到后续模型的建立运行，以至于影响工业软件的正常运行。
[0003]传统上，要判断某个设备是否还在正常运行，需要运维人员查看设备本身的运行日志、操作系统日志以及整个项目的日志，这不仅需要大量的传输时间，并且由于不知道设备是何时出现问题的，所以运维人员还需要查看大量的无用日志，这对于运维人员来说是非常费时费力的。

技术实现思路

[0004]本专利技术的技术任务是针对以上不足之处，提供一种对异常数据实时监测和告警的方法及系统，对于项目运维中无法及时发现设备出错的问题，提供了实时检测、及时反馈的方法，并针对各个模块的异常信息进行反馈给运维人员进行处理。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]一种对异常数据实时监测和告警的方法，该方法的实现包括数据接收及过滤模块、数据处理模块、告警定级模块、告警结果发布模块及日志信息模块，
[0007]数据接收及过滤模块用于收集当前采集端所有的设备采集到的数据，并将所有数据整理分类；
[0008]数据处理模块允许用户按照告警规则模板自定义告警规则，在将数据根据特定的时间窗口进行分片后，按照用户自定义的告警规则进行比较计算；
[0009]告警定级模块维护一个当前采集端所有设备的告警等级的map，该map缓存当前采集端所有设备的最新告警等级，当设备的告警等级达到设定程度时，告警定级模块会传给该设备一个停止收集的信号，避免设备出错导致整个程序发生故障；
[0010]告警结果发布模块负责将设备新告警分发给订阅该设备告警信息的用户及运维人员，方便相关人员及时获取设备最新状态；
[0011]日志信息模块根据各个模块的日志信息，分析程序的运行状态以及运行流程，将报错信息清楚的反馈给运维人员，方便运维人员分析。
[0012]本方法在边缘层的数据收集后续增加一个数据处理模块，它负责将所有的数据过滤分析，并将所有异常数据及时返回给用户及运维人员，由运维人员查看是否是因为设备问题导致的数据异常，从而及时维修更换设备来保证整个系统的正常运行。
[0013]优选的，所述数据接收及过滤模块将采集端的所有设备采集到的所有数据进行汇总，并且按照设备名进行分类；然后按照用户设置的监控规则，将被监控的设备的数据发往数据处理模块。
[0014]进一步的，数据接收及过滤模块的实现包括如下步骤：
[0015]接收子模块接收来自各个设备收集到的信息；
[0016]过滤子模块对信息进行过滤，将被用户监控的点信息保存包装，将未被用户监控的设备数据丢弃；
[0017]过滤子模块将包装好的数据发给数据处理模块。
[0018]优选的，所述数据处理模块将过滤子模块发来的数据按照用户指定的时间窗口进行复制，复制为升级窗口与降级窗口；
[0019]数据处理模块按照用户自定义告警规则对指定窗口数据进行计算，若用户定义当错误数据达到总数据的60％时判断为设备告警，则假如这批数据为十条，错误数据六条以上时，判断设备现在为告警状态，然后将当前设备的告警等级及告警数据一块发给告警定级模块。
[0020]进一步的，数据处理模块的实现包括如下步骤：
[0021]数据处理模块将数据接收及过滤模块包装好的单条数据复制，分为告警升级所需数据和告警降级所需数据；
[0022]数据处理模块将告警升级所需数据按照用户定义的规则放入指定大小的告警升级时间窗口内，将告警降级所需数据按照用户定义的规则放入指定大小的告警降级时间窗口内；
[0023]数据处理模块的窗口期满时弹出一批数据；
[0024]数据处理模块按照用户自定义的告警规则，逐级判断该批次信息处于哪个告警等级，如果同时符合多个告警等级，告警降级流程与告警升级流程均优先使用最高的告警等级；告警规则模板包括数据范围、数据走向趋势、常用聚合函数。
[0025]数据处理模块按照该等级是告警升级窗口还是告警降级窗口产生的告警等级进行数据包装，写明这等级是告警降级所需还是告警升级所需；
[0026]数据处理模块将包装好的数据发送给告警定级模块。
[0027]所述告警规则模板包括数据范围、数据走向趋势、常用聚合函数等，告警规则模板允许用户根据数据的范围、数据走向趋势、常用聚合函数等进行告警等级的设置，具体与哪个告警等级进行匹配，由用户在告警模板中定义的告警信息来决定，若该窗口内的消息符合多个告警等级，则按照符合告警中的最高等级的告警等级发往告警定级模块。
[0028]优选的，所述数据处理模块，默认比较规则为：
[0029]当用户定义的告警数据百分比
×
数据总数量<告警数据总数量时，触发告警。
[0030]优选的，所述告警定级模块，当有新的告警数据及告警等级发来时，与map内保存的告警等级进行比较，数据处理模块的升级窗口只进行告警升级的逻辑，降级窗口只进行告警降级的逻辑；
[0031]若有告警等级的变化，则将新的告警等级及告警数据发往告警结果发布模块，并且若告警等级达到了最大限值，告警定级模块返回给收集程序一个信号终止该设备数据的收集。
[0032]进一步的，告警定级模块的实现包括如下步骤：
[0033]告警定级模块解析数据处理模块发来的数据，分为告警升级数据和告警降级数据；
[0034]告警升级流程：若是该数据的告警等级大于当前告警等级，则保存该等级，并将该批次数据发往告警结果发布模块；若是告警等级达到最高级，停止该设备的采集行为等待运维人员维护；
[0035]告警降级流程：若是该数据的告警等级小于当前告警等级，则保存该等级，并将该批次数据发往告警结果发布模块。
[0036]进一步的，日志信息模块包括如下功能：
[0037]根据日志信息模块中预设的info、debug、error以及其他参数，进行对应的异常检测记录的输出；
[0038]若有error信息，则需要运维人员查看该条数据为何报错以及该如何解决；
[0039]对于info与debug信息，则是方便运维人员查看项目的运行状态、运行流程以及出错信息的前后逻辑。
[0040]本专利技术还要求保护一种对异常数据实时监测和告警的系统，包括数据接收及过滤模块、数据处理模块、告警定级模块、告警结果发布模块及日志信息模块，
[0041]数据接收及过滤模块用于接收整个系统中采集端设备的状态数据，并将数据进行过滤，只将被监控的设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对异常数据实时监测和告警的方法，其特征在于，该方法的实现包括数据接收及过滤模块、数据处理模块、告警定级模块、告警结果发布模块及日志信息模块，数据接收及过滤模块用于收集当前采集端所有的设备采集到的数据，并将所有数据整理分类；数据处理模块允许用户按照告警规则模板自定义告警规则，在将数据根据特定的时间窗口进行分片后，按照用户自定义的告警规则进行比较计算；告警定级模块维护一个当前采集端所有设备的告警等级的map，该map缓存当前采集端所有设备的最新告警等级，当设备的告警等级达到设定程度时，告警定级模块会传给该设备一个停止收集的信号；告警结果发布模块负责将设备新告警分发给订阅该设备告警信息的用户及运维人员；日志信息模块根据各个模块的日志信息，分析程序的运行状态以及运行流程，将报错信息清楚的反馈给运维人员。2.根据权利要求1所述的一种对异常数据实时监测和告警的方法，其特征在于，所述数据接收及过滤模块将采集端的所有设备采集到的所有数据进行汇总，并且按照设备名进行分类；然后按照用户设置的监控规则，将被监控的设备的数据发往数据处理模块。3.根据权利要求1或2所述的一种对异常数据实时监测和告警的方法，其特征在于，数据接收及过滤模块的实现包括如下步骤：接收子模块接收来自各个设备收集到的信息；过滤子模块对信息进行过滤，将被用户监控的点信息保存包装，将未被用户监控的设备数据丢弃；过滤子模块将包装好的数据发给数据处理模块。4.根据权利要求3所述的一种对异常数据实时监测和告警的方法，其特征在于，所述数据处理模块将过滤子模块发来的数据按照用户指定的时间窗口进行复制，复制为升级窗口与降级窗口；数据处理模块按照用户自定义告警规则对指定窗口数据进行计算，若用户定义当错误数据达到总数据的60％时判断为设备告警，则假如这批数据为十条，错误数据六条以上时，判断设备现在为告警状态，然后将当前设备的告警等级及告警数据一块发给告警定级模块。5.根据权利要求4所述的一种对异常数据实时监测和告警的方法，其特征在于，数据处理模块的实现包括如下步骤：数据处理模块将数据接收及过滤模块包装好的单条数据复制，分为告警升级所需数据和告警降级所需数据；数据处理模块将告警升级所需数据按照用户定义的规则放入指定大小的告警升级时间窗口内，将告警降级所需数据按照用户定义的规则放入指定大小的告警降级时间窗口内；数据处理模块的窗口期满时弹出一批数据；数据处理模块按照用户自定义的告警规则，逐级判断该批次信息处于哪个告警等级，如果同时符合多个告警等级，告警降级流程与告警升级流程均优先使用最高的告警等级；告警规则模板包括数据范围、数据走向趋势、常用聚合函数。
数据处理模块按照该等级是告警升级窗口还是告警降级窗口产生的告警等级进行数据包装，写明这等级是告警降级所需还是告警升级所需；数据处理模块将包装好的数据发送给告警...

【专利技术属性】
技术研发人员：黄向阳，
申请(专利权)人：上海沄熹科技有限公司，
类型：发明
国别省市：