一种支持ETL任务调度可视化的方法技术

本发明专利技术涉及服务端开发技术领域，具体涉及一种支持ETL任务调度可视化的方法，对ETL任务脚本文件校验处理；请求查询ETL任务脚本内容，生成DAG数据返回；若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；配置动态执行触发机制；实时执行ETL任务请求，并实时显示任务执行日志，本发明专利技术可以在不修改和应用ETL carte应用的情况下，实现任务可视化、上传或修改ETL任务脚本以及动态执行任务，使得运维人员可直接通过web界面掌控掌控ETL任务脚本的运行状态和运行结果，提升了业务的稳定性和扩展性。

A method to support ETL task scheduling visualization

【技术实现步骤摘要】
一种支持ETL任务调度可视化的方法
本专利技术涉及前端开发
，具体涉及一种支持ETL任务调度可视化的方法。
技术介绍
Carte是一个轻量级的web服务，允许远程请求HTTP进行监控、启动、停止在Carte服务上运行的ETLjob和trans。但是Carte也存在一些弊端，比如Carte没有提供任务可视化界面，不便于查看ETL任务脚本的执行细节内容，并且ETL原生的定时任务机制缺乏灵活性，不能配置任务动态执行的策略，从而导致不能满足实际业务开发需求。因此，行业内亟需一种能解决上述问题的方案。
技术实现思路
本专利技术的目的在于针对现有技术的不足而提供一种支持ETL任务调度可视化的方法。本专利技术的目的可以通过如下所述技术方案来实现。一种支持ETL任务调度可视化的方法，包括：对ETL任务脚本文件校验处理；请求查询ETL任务脚本内容，生成DAG数据返回；若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；配置动态执行触发机制；实时执行ETL任务请求，并实时显示任务执行日志。进一步地，对ETL任务脚本文件校验处理，包括：在第一服务端获取客户端上传的ETL任务脚本文件,其中ETL任务脚本文件为kjb文件；校验ETL任务脚本文件的内容合法性，包括检查ETL任务脚本文件的后缀是否规范、能否以XML方式将ETL任务脚本文件读取出来、检查是否符合kettle脚本规范；通过vsftp服务将ETL任务脚本文件传送至第二服务端，并向客户端返回上传结果及文件地址。进一步地，请求查询ETL任务脚本内容，生成DAG数据并返回，包括：通过第一服务端接收客户端查询ETL任务脚本内容请求，并查询文件地址；根据查询到的文件地址在第二服务端请求下载ETL任务脚本文件，并向第一服务端返回任务文件流；在第一服务端读取任务文件流，获取ETL任务脚本内容并组装成DAG数据结构；返回客户端DAG数据，在客户端绘制任务DAG有向环形图。进一步地，接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容，包括：通过第一服务端接收客户端发送的ETL任务脚本文件修改请求，并保存ETL任务脚本文件；将原始的ETL任务脚本文件解析成XML文档，并将修改的内容覆盖原XML文档的节点内容，保存成新的ETL任务脚本文件；通过vsftp服务上传新的ETL任务脚本文件至第二服务端覆盖原文件保存。进一步地，配置动态执行触发机制，包括：通过ThreadPoolTaskScheduler调度器创建一个新的定时任务，并将定时任务信息保存在数据库中；到定时时间向第二服务端触发调用carte接口的请求；第二服务端返回任务执行日志流至第一服务端，第一服务端保存日志流信息到数据库中。进一步地，执行ETL任务请求，并实时显示任务执行日志，包括：通过第一服务端获取客户端发送的执行ETL任务请求；调用Resthttp接口执行ETL任务请求，并监听第二服务端carte服务的日志返回流至第一服务端；第一服务端将日志流格式化组装后返回客户端，在客户端实时显示任务执行日志。进一步地，第一服务端为应用调度服务端，第二服务端为kettlecarte服务端。一种计算机可读存储设备，存储有计算机程序，所述计算机程序被处理器执行以实现上述的支持ETL任务调度可视化的方法。一种移动终端，包括：处理器，适于执行程序指令；存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述的支持ETL任务调度可视化的方法。一种支持ETL任务调度可视化的系统，包括服务器；服务器包括处理器和存储设备；处理器，适于执行程序指令；存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述的支持ETL任务调度可视化的方法。与现有技术比，本专利技术的有益效果：本专利技术研发了一种支持ETL任务调度可视化的方法，可以在不修改和应用ETLcarte应用的情况下，实现任务可视化、上传或修改ETL任务脚本以及动态执行任务，使得运维人员可直接通过web界面掌控掌控ETL任务脚本的运行状态和运行结果，提升了业务的稳定性和扩展性。附图说明图1为本专利技术实施例中的流程示意图。具体实施方式下面将结合具体实施例，对本专利技术的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本专利技术的保护范围。本专利技术针对现有技术中Carte没有提供任务可视化界面，不便于查看ETL任务脚本的执行细节内容，并且ETL原生的定时任务机制缺乏灵活性的问题，提供一种支持ETL任务调度可视化的方法，通过web管理系统可动态增加ETL任务，在线查看ETL任务的内容并可修改其中的任务执行细节，而且还可以配置任务动态执行的策略。一种支持ETL任务调度可视化的方法，如图1所示，基于客户端、第一服务端及第二服务端，其中第一服务端为应用调度服务端，第二服务端为kettlecarte服务端，包括：为了使ETL任务请求能够适应支持ETL任务调度可视化的方法，顺利地在客户端、第一服务端及第二服务端之间进行信息通讯，对ETL任务脚本文件校验处理，使得从客户端上传的ETL任务脚本文件符合预定的要求，保证了本方法在运行过程的稳定。客户端向第一终端请求查询ETL任务脚本内容，由于前面已经对ETL任务脚本文件进行校验处理成预定要求，第一服务端可以根据预定的要求查询ETL任务脚本文件，通过第二服务端获取ETL任务文件生成DAG数据，并返回给客户端。可以通过web管理界面查看ETL任务脚本对应的DAG数据，可以了解到ETL任务脚本文件的细节内容，同时可以在线修改ETL任务脚本文件。当需要修改ETL任务脚本文件时，通过客户端向第一服务端发送ETL任务脚本文件修改请求，当第一服务端接收ETL任务脚本文件修改请求时，解析ETL任务脚本文件，完成解析后便可修改ETL任务脚本文件内容。为了能更好地通过web界面掌控ETL任务脚本的运行状态和运行结果，配置动态执行触发机制，完成配置动态执行触发机制后，可以实时执行ETL任务请求，并实时显示任务执行日志。本实施例中，对ETL任务脚本文件校验处理，具体包括，在第一服务端获取客户端上传的ETL任务脚本文件,其中ETL任务脚本文件为kjb文件。校验ETL任务脚本文件的内容合法性，合法性包括但不限于检查ETL任务脚本文件的后缀是否规范以便识别查询ETL任务脚本文件；能否以XML方式将ETL任务脚本文件读取出来以便ETL任务脚本文件解析出来进行修改；检查是否符合kettle脚本规范以便运行任务本文档来自技高网...

【技术保护点】
1.一种支持ETL任务调度可视化的方法，其特征在于，包括：/n对ETL任务脚本文件校验处理；/n请求查询ETL任务脚本内容，生成DAG数据返回；/n若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；/n配置动态执行触发机制；/n实时执行ETL任务请求，并实时显示任务执行日志。/n

【技术特征摘要】
1.一种支持ETL任务调度可视化的方法，其特征在于，包括：
对ETL任务脚本文件校验处理；
请求查询ETL任务脚本内容，生成DAG数据返回；
若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；
配置动态执行触发机制；
实时执行ETL任务请求，并实时显示任务执行日志。


2.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，对ETL任务脚本文件校验处理，包括：
在第一服务端获取客户端上传的ETL任务脚本文件,其中ETL任务脚本文件为kjb文件；
校验ETL任务脚本文件的内容合法性，包括检查ETL任务脚本文件的后缀是否规范、能否以XML方式将ETL任务脚本文件读取出来、检查是否符合kettle脚本规范；
通过vsftp服务将ETL任务脚本文件传送至第二服务端，并向客户端返回上传结果及文件地址。


3.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，请求查询ETL任务脚本内容，生成DAG数据并返回，包括：
通过第一服务端接收客户端查询ETL任务脚本内容请求，并查询文件地址；
根据查询到的文件地址在第二服务端请求下载ETL任务脚本文件，并向第一服务端返回任务文件流；
在第一服务端读取任务文件流，获取ETL任务脚本内容并组装成DAG数据结构；
返回客户端DAG数据，在客户端绘制任务DAG有向环形图。


4.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容，包括：
通过第一服务端接收客户端发送的ETL任务脚本文件修改请求，并保存ETL任务脚本文件；
将原始的ETL任务脚本文件解析成XML文档，并将修改的内容覆盖原XML文档的节点内容，保存成新的ETL任务脚本文件；
通过vs...

【专利技术属性】
技术研发人员：麦家健，罗挺，朱凌峰，
申请(专利权)人：东莞数汇大数据有限公司，
类型：发明
国别省市：广东;44