一种基于隔离网络的工作流调度方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种基于隔离网络的工作流调度方法、装置及电子设备，所述方法包括：接收前端发送的工作流配置信息；所述工作流配置信息包括调度信息；对所述调度信息进行加密处理并通过消息队列发送给部署在基于隔离网络的集群中的调度模块；调度模块根据所述调度信息调度对应的工作流。本发明专利技术基于消息队列进行底层通信，将调度信息进行加密处理并通过消息队列发送给部署在基于隔离网络的集群中的调度模块；在网络隔离的情况下，保证调度信息安全的同时达到跨堡垒机通信的目的。基于隔离网络集群的用户无需再登录堡垒机，能有效避免登录现有技术中登录堡垒机时间长和操作卡顿的问题。提高调度效率的同时提升了用户体验。

【技术实现步骤摘要】
一种基于隔离网络的工作流调度方法、装置及电子设备
本专利技术涉及数据处理
，具体而言，涉及一种基于隔离网络的工作流调度方法、装置、电子设备及计算机可读介质。
技术介绍
一套完整的大数据服务平台内部的应用，通常都是由大量任务单元组成的。例如，shell脚本，java程序，mapreduce程序、hive脚本以及spark程序等，各任务单元之间存在时间先后及前后依赖关系，为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。在工作流调度开源领域，有Airflow、Azkabane和DolphinScheduler等，这些系统都是通过http协议或者tcp协议进行通信。而http协议或者tcp协议主要依赖有线或者无线网络进行通信，其无法支持基于隔离网络的集群(比如隐私集群、独占集群等)的通信。而以往的开源调度系统主要部署在基于隔离网络的集群内部，基于隔离网络的集群内的用户进行任务开发、管理和调度时，需要先登录堡垒机、然后再登录windows客户端进行任务开发、管理和调度。整个过程的网络速度取决于堡垒机的带宽，而当堡垒机使用用户比较多时，不仅造成登录时间长，而且会出现windows客户端内操作卡顿的现象。
技术实现思路
本专利技术旨在解决现有工作流调度系统在隔离网络中需要跨堡垒机进行通信，导致登录时间长、操作卡顿的技术问题。为了解决上述技术问题，本专利技术第一方面提出一种基于隔离网络的工作流调度方法，所述方法包括：接收前端发送的工作流配置信息；所述工作流配置信息包括调度信息；对所述调度信息进行加密处理并通过消息队列发送给部署在基于隔离网络的集群中的调度模块；调度模块根据所述调度信息调度对应的工作流。根据本专利技术一种优选的实施方式，所述工作流配置信息还包括：任务配置信息，前端通过接收用户对指定模块的操作生成所述任务配置信息，所述指定模块用于标识不同的任务。根据本专利技术一种优选的实施方式，所述工作流配置信息还包括：依赖关系，所述依赖关系包括依赖对象和依赖属性；前端通过接收用户对依赖配置模块的操作生成依赖关系；所述依赖配置模块用于基于依赖关系库标识依赖对象和依赖属性。根据本专利技术一种优选的实施方式，所述调度模块根据所述调度信息调度对应的工作流包括：所述调度模块根据调度信息确定任务的调度间隔，并根据调度间隔将调度信息写入调度器的对应调度区；调度器根据调度信息中的调度时刻调度对应的工作流，并根据调度时刻和调度信息所在的调度区更新下次调度时刻；其中，调度器的不同调度区对应不同的调度间隔。根据本专利技术一种优选的实施方式，所述接收前端发送的工作流配置信息之后，所述方法还包括：将所述工作流配置信息发送给数据库服务器；所述调度模块根据所述调度信息调度对应的工作流之后，所述方法还包括：获取工作流参数；根据工作流参数从数据库服务器中获取工作流生成工作流实例；依次获取工作流实例各个子节点的任务类型，并根据任务类型执行子节点任务；根据子节点任务的执行结果更新数据库服务器的任务状态。根据本专利技术一种优选的实施方式，执行当前子节点任务之前，所述方法还包括：判断当前子节点任务的前置依赖任务是否完成；若当前子节点任务的前置依赖任务未完成，等待所述前置依赖任务完成后，替换时间参数并执行当前子节点任务。为解决上述技术问题，本专利技术第二方面提供一种基于隔离网络的工作流调度装置，所述装置包括：接收模块，用于接收前端发送的工作流配置信息；所述工作流配置信息包括调度信息；发送模块，用于对所述调度信息进行加密处理并通过消息队列发送给部署在基于隔离网络的集群中的调度模块。根据本专利技术一种优选的实施方式，所述工作流配置信息还包括：任务配置信息，前端通过接收用户对指定模块的操作生成所述任务配置信息，所述指定模块用于标识不同的任务。根据本专利技术一种优选的实施方式，所述工作流配置信息还包括：依赖关系，所述依赖关系包括依赖对象和依赖属性；前端通过接收用户对依赖配置模块的操作生成依赖关系；所述依赖配置模块用于基于依赖关系库标识依赖对象和依赖属性。根据本专利技术一种优选的实施方式，所述发送模块还用于将所述工作流配置信息发送给数据库服务器。为解决上述技术问题，本专利技术第三方面提供一种基于隔离网络的工作流调度系统，所述系统包括：如上述一项所述的基于隔离网络的工作流调度装置、部署在基于隔离网络的集群中的调度模块，以及数据库服务器。为解决上述技术问题，本专利技术第四方面提供一种电子设备，包括：处理器；以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行上述的方法。为解决上述技术问题，本专利技术第五方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现上述方法。本专利技术基于消息队列进行底层通信，将调度信息进行加密处理并通过消息队列发送给部署在基于隔离网络的集群中的调度模块；在网络隔离的情况下，保证调度信息安全的同时达到跨堡垒机通信的目的。基于隔离网络集群的用户无需再登录堡垒机，只需通过登录浏览器，在浏览器中进行任务开发、管理和调度，能有效避免登录现有技术中登录堡垒机时间长和操作卡顿的问题。提高调度效率的同时提升了用户体验。附图说明为了使本专利技术所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本专利技术的具体实施例。但需声明的是，下面描述的附图仅仅是本专利技术的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。图1是本专利技术实施例一种基于隔离网络的工作流调度方法的流程示意图；图2a～2c是本专利技术前端生成工作流配置信息的示意图；图3是本专利技术实施例另一种基于隔离网络的工作流调度方法的流程示意图；图4是本专利技术实施例一种基于隔离网络的工作流调度装置的结构框架示意图；图5是根据本专利技术的一种电子设备的示例性实施例的结构框图；图6是本专利技术一种计算机可读介质实施例的示意图。具体实施方式现在将参考附图来更加全面地描述本专利技术的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本专利技术仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本专利技术的内容更加完整，更加便于将专利技术构思全面地传达给本领域的技术人员。在符合本专利技术的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本专利技术。附图中的流程图仅是一种本文档来自技高网...

【技术保护点】
1.一种基于隔离网络的工作流调度方法，其特征在于，所述方法包括：/n接收前端发送的工作流配置信息；所述工作流配置信息包括调度信息；/n对所述调度信息进行加密处理并通过消息队列发送给部署在基于隔离网络的集群中的调度模块；/n调度模块根据所述调度信息调度对应的工作流。/n

【技术特征摘要】
1.一种基于隔离网络的工作流调度方法，其特征在于，所述方法包括：
接收前端发送的工作流配置信息；所述工作流配置信息包括调度信息；
对所述调度信息进行加密处理并通过消息队列发送给部署在基于隔离网络的集群中的调度模块；
调度模块根据所述调度信息调度对应的工作流。


2.根据权利要求1所述的方法，其特征在于，所述工作流配置信息还包括：任务配置信息，前端通过接收用户对指定模块的操作生成所述任务配置信息，所述指定模块用于标识不同的任务。


3.根据权利要求2所述的方法，其特征在于，所述工作流配置信息还包括：依赖关系，所述依赖关系包括依赖对象和依赖属性；前端通过接收用户对依赖配置模块的操作生成依赖关系；所述依赖配置模块用于基于依赖关系库标识依赖对象和依赖属性。


4.根据权利要求3所述的方法，其特征在于，所述调度模块根据所述调度信息调度对应的工作流包括：
所述调度模块根据调度信息确定任务的调度间隔，并根据调度间隔将调度信息写入调度器的对应调度区；
调度器根据调度信息中的调度时刻调度对应的工作流，并根据调度时刻和调度信息所在的调度区更新下次调度时刻；
其中，调度器的不同调度区对应不同的调度间隔。


5.根据权利要求3所述的方法，其特征在于，所述接收前端发送的工作流配置信息之后，所述方法还包括：
将所述工作流配置信息发送给数据库服务器；
所述调度模块根据所述调度信息调度对应的工作流之后，所述方法还包括：
获取工作流参数；
根据工作流参数从数据库服务器中获取工作流生成工作流实例；
依次获取工作流实例各个子节点的任务类型，并根据任务类型执行子节点任务；
根据子节点任务的执行结果更新数据库服务器的任务状态。


6.根据权利要求5所述的方法，其特征...

【专利技术属性】
技术研发人员：刘坤元，郭广伟，周玖安，
申请(专利权)人：北京淇瑀信息科技有限公司，
类型：发明
国别省市：北京;11