【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种flink作业多模式控制方法、系统及装置。
技术介绍
1、flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。
2、flink作业通常在kubernetes环境中部署。然而，当前的flink作业发布或下线控制依旧需要用户花费大量的时间。例如在发布作业时，需要用户手动执行多个步骤，包括发布apollo配置、修改启动命令等。这种手动操作方式存在诸多问题，如操作繁琐、容易出现人为错误、版本一致性难以保证等，影响flink作业的控制效率和可靠性。
技术实现思路
1、本申请提供了一种flink作业多模式控制方法、系统及装置，用于使flink作业的控制效率和可靠性提高。
2、本申请第一方面提供了一种flink作业多模式控制方法，包括：
3、接收flink作业的提交请求，并根据所述提交请求确定所述flink作业的作业参数；
4、对所述作业参数进行配置验证；
5、在验证通过后，基于所述作业参数生成所述flink作业的发布命令和/或下线命令；
6、根据所述发布命令和/或下线命令执行对应的操作模式，所述操作模式包括发布模式和/或下线模式；
7、基于执行结果确定所述flink作业的flink数据，并将所述flink数据写入数据库；
8、监控所述flink作业的实时状态，
9、可选地，所述对所述作业参数进行配置验证包括：
10、判断所述flink作业是否为新服务作业；
11、若是，则通过预定义的配置模板在gitlab中创建发布信息，并在apollo中配置所述发布信息与所述flink作业的关联关系；
12、判断镜像版本号是否存在；
13、若存在，则判断所述apollo中的配置参数是否需要更新；
14、若是，则冻结所述flink作业的编辑操作，动态更新所述配置参数，并在更新结束后，对所述编辑操作进行解冻，所述作业参数包括所述镜像版本号。
15、可选地，所述判断镜像版本号是否存在包括：
16、利用ci/cd工具判断镜像版本号是否存在。
17、可选地，若确定所述镜像版本号不存在，则向用户终端发送提示消息。
18、可选地，在所述根据所述发布命令和/或下线命令执行所述操作模式之后，所述方法还包括：
19、实时捕捉和分析所述flink作业的运行状态，若根据所述运行状态检测到所述flink作业因配置变更导致故障时，对故障结果进行评估；
20、根据评估结果启动自愈回滚机制。
21、可选地，所述将所述flink数据写入数据库包括：
22、根据gitlab的数据回写功能，将所述flink数据写入所述gitlab中。
23、可选地，所述监控所述flink作业的实时状态，并基于所述实时状态对应的实时数据向用户终端发送结果通知消息包括：
24、通过集成grafana可视化监控工具实时监控并展示所述flink作业的配置状态、运行状态和性能指标；
25、基于所述配置状态、所述运行状态和所述性能指标向用户终端发送结果通知消息，所述结果通知消息包括ui地址和镜像版本号。
26、可选地，所述基于所述实时状态对应的实时数据向用户终端发送结果通知消息包括：
27、确定所述flink作业产生的实时数据流，并对所述实时数据流进行转换处理，生成实时清单数据报表；
28、将所述实时清单数据报表写入数据库中；
29、当接收到用户终端输入的数据查询操作指令时，根据所述数据查询操作指令从所述数据库中获取对应的实时清单数据报表；
30、向所述用户终端发送所述实时清单数据报表。
31、本申请第二方面提供了一种flink作业多模式控制系统，包括：
32、确定单元，用于接收flink作业的提交请求，并根据所述提交请求确定所述flink作业的作业参数；
33、验证单元，用于对所述作业参数进行配置验证；
34、生成单元，用于在验证通过后，基于所述作业参数生成所述flink作业的发布命令和/或下线命令；
35、执行单元，用于根据所述发布命令和/或下线命令执行对应的操作模式，所述操作模式包括发布模式和/或下线模式；
36、写入单元，用于基于执行结果确定所述flink作业的flink数据，并将所述flink数据写入数据库；
37、发送单元，用于监控所述flink作业的实时状态，并基于所述实时状态对应的实时数据向用户终端发送结果通知消息。
38、可选地，所述验证单元具体用于判断所述flink作业是否为新服务作业；
39、若是，则通过预定义的配置模板在gitlab中创建发布信息，并在apollo中配置所述发布信息与所述flink作业的关联关系；
40、判断镜像版本号是否存在；
41、若存在，则判断所述apollo中的配置参数是否需要更新；
42、若是，则冻结所述flink作业的编辑操作，动态更新所述配置参数，并在更新结束后，对所述编辑操作进行解冻，所述作业参数包括所述镜像版本号。
43、可选地，所述验证单元具体用于利用ci/cd工具判断镜像版本号是否存在。
44、可选地，所述验证单元还用于若确定所述镜像版本号不存在，则向用户终端发送提示消息。
45、可选地，所述系统还包括：
46、评估单元，用于实时捕捉和分析所述flink作业的运行状态，若根据所述运行状态检测到所述flink作业因配置变更导致故障时，对所述故障结果进行评估；
47、根据评估结果启动自愈回滚机制。
48、可选地，所述写入单元具体用于根据gitlab的数据回写功能，将所述flink数据写入所述gitlab中。
49、可选地，所述发送单元具体用于通过集成grafana可视化监控工具实时监控并展示所述flink作业的配置状态、运行状态和性能指标；
50、基于所述配置状态、所述运行状态和所述性能指标向用户终端发送结果通知消息，所述结果通知消息包括ui地址和镜像版本号。
51、可选地，所述发送单元具体用于确定所述flink作业产生的实时数据流，并对所述实时数据流进行转换处理，生成实时清单数据报表；
52、将所述实时清单数据报表写入数据库中；
53、当接收到用户终端输入的数据查询操作指令时，根据所述数据查询操作指令从所述数据库中获取对应的实时清单数据报表；
54、向所述用户终端发送所述实时清单数据报表。
55、本文档来自技高网...
【技术保护点】
1.一种Flink作业多模式控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的Flink作业多模式控制方法，其特征在于，所述对所述作业参数进行配置验证包括：
3.根据权利要求2所述的Flink作业多模式控制方法，其特征在于，所述判断镜像版本号是否存在包括：
4.根据权利要求2所述的Flink作业多模式控制方法，其特征在于，若确定所述镜像版本号不存在，则向用户终端发送提示消息。
5.根据权利要求1至4中任一项所述的Flink作业多模式控制方法，其特征在于，在所述根据所述发布命令和/或下线命令执行所述操作模式之后，所述方法还包括：
6.根据权利要求1至4中任一项所述的Flink作业多模式控制方法，其特征在于，所述将所述Flink数据写入数据库包括：
7.根据权利要求1至4中任一项所述的Flink作业多模式控制方法，其特征在于，所述监控所述Flink作业的实时状态，并基于所述实时状态对应的实时数据向用户终端发送结果通知消息包括：
8.根据权利要求1至4中任一项所述的Flink作业多模式控制方
9.一种Flink作业多模式控制系统，其特征在于，所述系统包括：
10.一种Flink作业多模式控制装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种flink作业多模式控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的flink作业多模式控制方法，其特征在于，所述对所述作业参数进行配置验证包括：
3.根据权利要求2所述的flink作业多模式控制方法，其特征在于，所述判断镜像版本号是否存在包括：
4.根据权利要求2所述的flink作业多模式控制方法，其特征在于，若确定所述镜像版本号不存在，则向用户终端发送提示消息。
5.根据权利要求1至4中任一项所述的flink作业多模式控制方法，其特征在于，在所述根据所述发布命令和/或下线命令执行所述操作模式之后，所述方法还包括：
6.根据权利...
【专利技术属性】
技术研发人员：李杰，张凯旋，厉佐瑞，陶武，
申请(专利权)人：嘉联支付有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。