本申请公开了一种作业监控数据的处理方法及装置、存储介质、电子设备。该方法包括：根据目标作业的作业标识，确定目标作业的作业监控数据对应的队列分区标识，其中，目标作业为需要获取监控数据的作业，作业监控数据通过对应的队列分区存储在唯一对应的数据分析库中；根据队列分区标识，确定对应的数据分析库的地址；根据地址，向数据分析库发送数据查询请求，从数据分析库中拉取目标作业的作业监控数据。解决了相关技术中大数据处理引擎在作业数量增多的情况下，导致监控数据增多，监控数据获取端直接从处理引擎拉取监控数据的方式，对监控数据获取端的压力较大，造成故障率高的问题。题。题。
【技术实现步骤摘要】
作业监控数据的处理方法及装置、存储介质、电子设备
[0001]本申请涉及大数据处理领域，具体而言，涉及一种作业监控数据的处理方法及装置、存储介质、电子设备。
技术介绍
[0002]在大数据处理中，Flink作为一个流批数据处理框架软件得到广泛的应用，众多的业务开始采用Flink作为数据处理引擎。然而伴随着Flink数据处理引擎的作业或任务的增多，也为Flink数据处理引擎作业的监控带来了挑战。
[0003]Flink作业由于大部分都是流式数据处理，作业长期运行。作为流处理框架软件，其自身包含了一套较为完善的监控机制，并且以通过Flink WebMonitor监控数据获取端提供接口供外部系统获取监控数据。因此很多现有的监控系统，监控数据获取端会直接从Flink作业获取监控数据，或者进一步处理分析，或者直接进行存储展示等，如图1所示，图1是现有技术的作业监控数据的拉取方法的流程图。但是在Flink运行作业数量增加后，监控数据获取端拉取的作业监控数据的量会非常大，对监控数据获取端造成较大压力，如果处理不及时，容易造成监控数据丢失。另外作业一旦运行结束或者出现异常，无法访问接口获取监控数据，包括历史监控数据。
[0004]针对相关技术中大数据处理引擎Flink在作业数量增多的情况下，导致监控数据增多，监控数据获取端直接从处理引擎拉取监控数据的方式，对监控数据获取端的压力较大，造成故障率高的问题，目前尚未提出有效的解决方案。
技术实现思路
[0005]本申请的主要目的在于提供一种作业监控数据的处理方法及装置、存储介质、电子设备，以解决相关技术中大数据处理引擎在作业数量增多的情况下，导致监控数据增多，监控数据获取端直接从处理引擎拉取监控数据的方式，对监控数据获取端的压力较大，造成故障率高的问题。
[0006]为了实现上述目的，根据本申请的一个方面，提供了一种作业监控数据的处理方法，包括：根据目标作业的作业标识，确定所述目标作业的作业监控数据对应的队列分区标识，其中，所述目标作业为需要获取监控数据的作业，所述作业监控数据通过对应的队列分区存储在唯一对应的数据分析库中；根据所述队列分区标识，确定对应的数据分析库的地址；根据所述地址，向所述数据分析库发送数据查询请求，从所述数据分析库中拉取所述目标作业的作业监控数据。
[0007]作为一种可选的方案，根据所述队列分区标识，确定对应的数据分析库的地址包括：根据所述队列分区标识确定对应的队列中转接口标识，其中，所述队列中转接口与所述队列分区一一对应，所述队列中转接口用于从所述队列分区中拉取对应的作业监控数据，并推送给对应的所述数据分析库；将所述队列中转接口标识对应的队列中转接口的地址，作为对应的数据分析库的地址，其中，所述队列中转接口和对应的所述数据分析库设置在
同一网络节点设备，共用所述网络节点设备的地址。
[0008]作为一种可选的方案，根据所述地址，向所述数据分析库发送数据查询请求，从所述数据分析库中拉取所述目标作业的作业监控数据之前，所述方法还包括：通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据；将拉取的作业监控数据按照顺序存储在所述数据分析库中。
[0009]作为一种可选的方案，通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据之前，所述方法还包括：通过所述队列中转接口消费对应的队列分区中存储的对应作业的作业监控数据，其中，多个不同队列分区分别对应的多个队列中转接口通过同一个消费组从对应的队列分区中消费数据；将消费的作业监控数据缓存在所述队列中转接口的缓存中。
[0010]作为一种可选的方案，通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据之前，所述方法还包括：在所述数据分析库在第一预设时间内未从所述队列中转接口拉取数据的情况下，暂停所述队列中转接口从对应的队列分区中消费作业监控数据；在所述数据分析库恢复从所述队列中转接口拉取数据的情况下，重启所述队列中转接口从对应的队列分区中消费作业监控数据。
[0011]作为一种可选的方案，所述方法还包括：通过所述数据分析库将所述作业监控数据中的告警数据推送给警报管理器，其中，所述告警数据为所述作业监控数据中需要进行告警检测的部分数据，所述警报管理器，所述队列中转接口和对应的所述数据分析库设置在同一网络节点设备，共用所述网络节点设备的地址；接收所述警报管理器推送的警报信息，其中，所述警报管理器用于对所述数据分析库的告警数据按照预设规则进行分析，生成所述警报信息。
[0012]作为一种可选的方案，所述方法还包括：在第二预设时间内没有接收到所述队列中转接口的心跳报文的情况下，确定所述网络节点设备整体宕机，根据所述网络节点设备的地址创建新的网络节点设备；在所述新的网络节点设备中根据所述队列中转接口标识，创建新的队列中转接口，以及新的队列中转接口对应的新的数据分析库和新的警报管理器，作为备份组件，从所述队列分区中消费所述作业监控数据。
[0013]作为一种可选的方案，根据目标作业的作业标识，确定所述目标作业的作业监控数据对应的队列分区标识之前，所述方法还包括：确定消息队列中的可用队列分区，其中，所述消息队列包括多个队列分区，所述可用队列分区为多个队列分区中按照预设存储原则选中的至少一个分区；在创建所述目标作业的情况下，根据所述目标作业对应的所述可用队列分区的可用队列分区标识，通过预设算法生成所述目标作业的作业标识。
[0014]作为一种可选的方案，根据目标作业的作业标识，确定所述目标作业的作业监控数据对应的队列分区标识包括：根据所述目标作业的作业标识，通过所述预设算法进行逆运算，确定对应的可用队列分区标识；根据所述可用队列分区标识，确定对应的队列分区标识，其中，所述可用队列分区标识与所述消息队列中的队列分区标识对应。
[0015]为了实现上述目的，根据本申请的另一方面，提供了一种作业监控数据的处理装置，包括：确定模块，用于根据目标作业的作业标识，确定所述目标作业的作业监控数据对应的队列分区标识，其中，所述目标作业为需要获取监控数据的作业，所述作业监控数据通过对应的队列分区存储在唯一对应的数据分析库中；地址模块，用于根据所述队列分区标
识，确定对应的数据分析库的地址；拉取模块，用于根据所述地址，向所述数据分析库发送数据查询请求，从所述数据分析库中拉取所述目标作业的作业监控数据。
[0016]根据本申请的另一方面，还提供了一种计算机可读存储介质，所述处存储介质用于存储程序，其中，所述程序执行上述中任意一项所述的作业监控数据的处理方法。
[0017]根据本申请的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述中任意一项所述的作业监控数据的处理方法。
[0018]通过本申请，将作业系统的作业监控数据推送给消息队列分区，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种作业监控数据的处理方法，其特征在于，包括：根据目标作业的作业标识，确定所述目标作业的作业监控数据对应的队列分区标识，其中，所述目标作业为需要获取监控数据的作业，所述作业监控数据通过对应的队列分区存储在唯一对应的数据分析库中；根据所述队列分区标识，确定对应的数据分析库的地址；根据所述地址，向所述数据分析库发送数据查询请求，从所述数据分析库中拉取所述目标作业的作业监控数据。2.根据权利要求1所述的方法，其特征在于，根据所述队列分区标识，确定对应的数据分析库的地址包括：根据所述队列分区标识确定对应的队列中转接口标识，其中，所述队列中转接口与所述队列分区一一对应，所述队列中转接口用于从所述队列分区中拉取对应的作业监控数据，并推送给对应的所述数据分析库；将所述队列中转接口标识对应的队列中转接口的地址，作为对应的数据分析库的地址，其中，所述队列中转接口和对应的所述数据分析库部署在同一网络节点设备，共用所述网络节点设备的地址。3.根据权利要求2述的方法，其特征在于，根据所述地址，向所述数据分析库发送数据查询请求，从所述数据分析库中拉取所述目标作业的作业监控数据之前，所述方法还包括：通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据；将拉取的作业监控数据按照顺序存储在所述数据分析库中。4.根据权利要求3所述的方法，其特征在于，通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据之前，所述方法还包括：通过所述队列中转接口消费对应的队列分区中存储的对应作业的作业监控数据，其中，多个不同队列分区分别对应的多个队列中转接口通过同一个消费组从对应的队列分区中消费数据；将消费的作业监控数据缓存在所述队列中转接口的缓存中。5.根据权利要求4所述的方法，其特征在于，通过所述数据分析库从对应的队列中转接口中按照预设速度拉取对应作业的作业监控数据之前，所述方法还包括：在所述数据分析库在第一预设时间内未从所述队列中转接口拉取数据的情况下，暂停所述队列中转接口从对应的队列分区中消费作业监控数据；在所述数据分析库恢复从所述队列中转接口拉取数据的情况下，重启所述队列中转接口从对应的队列分区中消费作业监控数据。6.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过所述数据分析库将所述作业监控数据中的告警数据推送给警报管理器，其中，所述告警数据为所述作业监控数据中需要进行告警检测的部分数据，所述警报管理器，所述队列中转接口和对应的所述数据分...
【专利技术属性】
技术研发人员：郭恒，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。