一种企业大数据业务报表自动化监控方法技术

本发明专利技术涉及一种企业大数据业务报表自动化监控方法，方法包括以下步骤：S1、获取不同报表的不同种类的核心指标数据；S2、对核心指标数据进行数据配置；S3、在预配置的不同的调度频率下，基于主键获取接口地址，通过接口参数和接口地址拼接获取报表中的所需的核心指标数据，对所需的核心指标数据解析响应报文；S4、将加密后的数据存入MySQL数据库；S5、配置监控条件，进行预警监控，得到监控结果。与现有技术相比，本发明专利技术采用灵活快速地配置报表接口地址和接口参数，配置后自动生成完整的接口访问地址，再通过正则表达式和基础标记法去解析和标记接口返回的结果数据，实现全局自动化监控。实现全局自动化监控。实现全局自动化监控。

【技术实现步骤摘要】
一种企业大数据业务报表自动化监控方法


[0001]本专利技术涉及数据监控领域，尤其是涉及一种企业大数据业务报表自动化监控方法。

技术介绍

[0002]在以往的企业生产决策过程中，数据报表还没出现时，企业领导层在做决策的时候往往只是根据个人感觉和习惯来进行实施。而数据报表的出现，是一个划时代的变革，一款优质的数据报表，可以直观的体现数据，对企业经营决策起到至关重要的作用，报表核心的作用在于呈现数字，数字呈现的作用在于展示企业以及社会的现状；公司领导层，可通过数据报表可视化图形，快速地做出决策。
[0003]随着互联网技术的快速发展，企业数据量大并且数据更加复杂，各企业的报表呈现出类型多样化、报表数据指标多、报表数据时效不同等特征，因此企业需要对每一个报表的核心指标数据进行监控，一般会采用单一的Shell脚本代码在服务器后台定时轮询报表中各指标对应的接口数据，对比查看核心报表的各项数据指标是否存在异常，以此实现数据指标监控。现有的监控模式单一，监控规则和监控周期难以灵活配置，只能定时以确定的规则监控，而且自动化脚本代码通用性差且不易维护，当有新的报表指标需要监控时，则要再独立开发和独立维护一份新的监控代码，代码开发量大、代码维护成本高。此外，对于相同报表中的同一个接口，只与一种参数匹配，数据指标数量多时接口的配置时间长，配置成本高。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种企业大数据业务报表自动化监控方法，方法采用灵活快速地配置报表接口地址和接口参数，配置后自动生成完整的接口访问地址，再通过正则表达式和基础标记法去解析和标记接口返回的结果数据，实现全局自动化监控。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种企业大数据业务报表自动化监控方法，方法包括以下步骤：
[0007]S1、获取不同报表的不同种类的核心指标数据；
[0008]S2、对核心指标数据进行数据配置，将每个报表对应一个接口地址，每个接口地址对应其映射的唯一主键，每个接口地址对应多个接口参数，每个接口参数对应一种核心指标数据；
[0009]S3、在预配置的不同的调度频率下，基于主键获取接口地址，通过接口参数和接口地址拼接获取报表中的所需的核心指标数据，若所需的核心指标数据的指标路径不唯一，则基于不同的正则表达式对所需的核心指标数据解析响应报文，得到解析后的结果，执行S4；若所需的核心指标数据的指标路径唯一，则进行基础标记，解析响应报文，得到解析后的结果，执行S4；
[0010]S4、将解析后的结果拆分成定长的字符数据进行AES加密，将加密后的数据存入MySQL数据库，所述MySQL数据库中还包括历史数据；
[0011]S5、配置监控条件，进行预警监控，得到监控结果，所述监控条件包括指标关联关系、监控阈值、监控时效、监控属性和预警优先级；
[0012]预警监控过程中，通过配置的监控条件访问MySQL数据库中的数据，得到需要监控的数据并判断数据是否出发告警，告警的结果作为监控结果。
[0013]进一步地，所需的核心指标数据为字符串，若所需的核心指标数据的指标路径不唯一，基于不同的正则表达式对核心指标数据解析响应报文，得到字符串的具体值，所述具体值为解析后的结果。
[0014]进一步地，S1中的核心指标数据包括离线数据和实时数据。
[0015]进一步地，实时数据基于大数据平台在保证实时数据不丢失的情况下实时采集获得。
[0016]进一步地，通过保存消费者偏移量信息、端到端上下游幂等性、源数据备份或离线补偿方式中的一种或多种保证实时数据不丢失。
[0017]进一步地，不同的调度频率为每天一次、每小时一次或每分钟一次。
[0018]进一步地，将加密后的数据存入MySQL数据库的过程中，通过数据库连接池直连对应的MySQL数据库，访问MySQL已有的数据表，将加密后的数据存入访问的数据表中。
[0019]进一步地，配置监控条件后，将配置的监控条件作为服务打成jar包，所述jar包中包括前端文件，用于前端文件监控结果的显示。
[0020]进一步地，预警监控的过程中，对MySQL数据库中的数据进行周期性定时清理。
[0021]进一步地，方法还包括，得到监控结果后，基于监控结果和历史数据评价鲁棒性，基于鲁棒性评价结果调试监控条件。
[0022]与现有技术相比，本专利技术具有以下优点：
[0023](1)相同报表中的一个接口根据不同的接口参数，实际可回传多个数据指标，设计相同的接口地址可对应多个不同的接口参数，节约接口配置时间，降低配置成本。
[0024](2)监控条件可以灵活自定义配置管理，在特定的监控需求场景下，可自定义配置监控条件，以便能够满足不同场景下的业务监控需求。
[0025](3)在不同的调度频率下获取核心指标数据，能够按照配置的监控周期定时自动执行，可满足不同频率的监控需求。
[0026](4)选择不同的接口地址可以连接不同的报表，支持跨报表指标数据比对，可确保同一指标数据在不同报表上的计算结果保持一致。
附图说明
[0027]图1为本专利技术的流程图；
[0028]图2为本专利技术的数据来源图；
[0029]图3为本专利技术的数据库的交互流程图；
[0030]图4为本专利技术的配置监控条件的示例图。
具体实施方式
[0031]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0032]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]实施例1：
[0034]本专利技术提供一种企业大数据业务报表自动化监控方法，方法流程图如图1所示。方法包括以下步骤：
[0035]S1、获取不同报表的不同种类的核心指标数据。S1的数据来源如图2所示。
[0036]S1中的核心指标数据包括离线数据和实时数据，实现离线和实时的全局自动化监控。实时数据基于大数据平台在保证实时数据不丢失的情况下实时采集获得。通过保存消费者偏移量信息、端到端上下游幂等性、源数据备份或离线补偿方式中的一种或多种保证实时数据不丢失。
[0037]S1中的核心指标数据的数据种类包括用户交易数据、用户行为日志数据等。核心指标数据包括交易额、访问页面UV、访问页面PV等，报表类型包括总报表、年报表、月报表、日报表以及实时报表。所有数据源依托于大数据平台实现流批统一存储和计算，核心数据指标在自动化监控本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种企业大数据业务报表自动化监控方法，其特征在于，方法包括以下步骤：S1、获取不同报表的不同种类的核心指标数据；S2、对核心指标数据进行数据配置，将每个报表对应一个接口地址，每个接口地址对应其映射的唯一主键，每个接口地址对应多个接口参数，每个接口参数对应一种核心指标数据；S3、在预配置的不同的调度频率下，基于主键获取接口地址，通过接口参数和接口地址拼接获取报表中的所需的核心指标数据，若所需的核心指标数据的指标路径不唯一，则基于不同的正则表达式对所需的核心指标数据解析响应报文，得到解析后的结果，执行S4；若所需的核心指标数据的指标路径唯一，则进行基础标记，解析响应报文，得到解析后的结果，执行S4；S4、将解析后的结果拆分成定长的字符数据进行AES加密，将加密后的数据存入MySQL数据库，所述MySQL数据库中还包括历史数据；S5、配置监控条件，进行预警监控，得到监控结果，所述监控条件包括指标关联关系、监控阈值、监控时效、监控属性和预警优先级；预警监控过程中，通过配置的监控条件访问MySQL数据库中的数据，得到需要监控的数据并判断数据是否出发告警，告警的结果作为监控结果。2.根据权利要求1所述的一种企业大数据业务报表自动化监控方法，其特征在于，所需的核心指标数据为字符串，若所需的核心指标数据的指标路径不唯一，基于不同的正则表达式对核心指标数据解析响应报文，得到字符串的具体值，所述具体值为解析后的结果。3.根据权利要求1所述的一种企业大...

【专利技术属性】
技术研发人员：铁锦程，陈嘉，王尧，朱建兵，潘兴成，梅周，马海平，莫伊捷，田志广，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：