本申请提供一种基于kettle的web数据处理方法、装置、系统和电子设备，在服务器中构建中间层系统和kettle应用，以在用户终端基于web浏览器的操作发出处理请求时，启动中间层系统，并获得数据处理任务以及配置调度规则。通过中间层系统模拟kettle应用的前台和后台之间的通信协议，从而调用应用的接口以接入应用的功能，以在中间层系统中基于数据处理任务和配置调度规则执行相应的数据处理，得到处理结果。本方案中，仅需在服务器中构建中间层系统和kettle应用，利用中间层系统接入kettle应用功能，用户终端只需基于web浏览器操作接入中间层系统，即可使用kettel的所有功能，节约了终端的性能资源。终端的性能资源。终端的性能资源。
【技术实现步骤摘要】
基于kettle的web数据处理方法、装置、系统和电子设备
[0001]本申请涉及计算机软件
，具体而言，涉及一种基于kettle的web数据处理方法、装置、系统和电子设备。
技术介绍
[0002]Kettle是一种桌面软件，是一款开源的ETL工具，可通过采用拖拽组件、连线、配置的方式来构建数据管道，可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源。Kettle作为一个端对端的数据集成平台，可以对多种数据源进行抽取(Extraction)、加载(Loading)、对数据进行各种清洗(Cleaning)、转换(Transformation)、混合(Blending)等。
[0003]但是，目前对于kettle的应用是采用在终端设备上下载、安装后并使用，kettel本身的安装包较大，对于终端设备的配置要求比较高，并且软件界面和交互逻辑都不尽人意，学习使用成本较高，并且窗口响应速度较慢，给用户带来诸多不便。
技术实现思路
[0004]本申请的目的包括，例如，提供了一种基于kettle的web数据处理方法、装置、系统和电子设备，其能够通过在服务器中构建中间层系统和kettel应用，节约了终端的性能资源。
[0005]本申请的实施例可以这样实现：
[0006]第一方面，本申请提供一种基于kettle的web数据处理方法，应用于服务器，所述服务器与多个用户终端通信，所述服务器中包含中间层系统和kettle应用，所述方法包括：
[0007]在获得任一用户终端接入所述中间层系统的处理请求时，启动所述中间层系统，其中，所述处理请求为基于所述用户终端的web浏览器的操作所发出的；
[0008]基于所述处理请求获得数据处理任务以及配置调度规则；
[0009]通过所述中间层系统模拟所述kettle应用的前台和后台之间的通信协议，以调用所述kettle应用的接口；
[0010]基于调用的所述kettle应用的接口接入所述kettle应用的功能，以在所述中间层系统中基于所述数据处理任务和配置调度规则执行相应的数据处理，得到处理结果。
[0011]在可选的实施方式中，所述在获得任一用户终端接入所述中间层系统的处理请求时，启动所述中间层系统的步骤，包括：
[0012]在获得任一用户终端接入所述中间层系统的处理请求时，获得所述用户终端对应的用户账号，根据所述用户账号确定用户权限；
[0013]在启动所述中间层系统后，基于所述用户权限向所述用户终端反馈对应的数据资源，以使所述用户终端在所述web浏览器中展示所述数据资源。
[0014]在可选的实施方式中，所述基于所述处理请求获得数据处理任务以及配置调度规则的步骤，包括：
[0015]基于所述处理请求获得数据处理任务中的作业和可执行任务，其中，所述作业包含至少一个可执行任务，所述可执行任务为基于所述用户终端的web浏览器对组件进行操作所得到的；
[0016]获得所述配置调度规则中所述作业的触发信息和所述至少一个可执行任务的触发信息。
[0017]在可选的实施方式中，所述基于所述处理请求获得数据处理任务中的作业和可执行任务的步骤，包括：
[0018]基于所述处理请求获得数据处理任务中所创建的作业，以及所述作业下所创建的可执行任务；
[0019]获得所述可执行任务对应的组件，并获得所述可执行任务的源数据库、源数据表、目标数据库和目标数据表；
[0020]获得针对所述源数据表和目标数据表的查询语句，以确定所述源数据表和目标数据表的匹配字段。
[0021]在可选的实施方式中，所述查询语句为针对所述源数据表和目标数据表的单个字段的查询语句，或者所述查询语句为针对所述源数据表和目标数据表的多个字段的查询语句。
[0022]在可选的实施方式中，所述在所述中间层系统中基于所述数据处理任务和配置调度规则执行相应的数据处理的步骤，包括：
[0023]在所述中间层系统中，若所述配置调度规则表明各所述可执行任务的触发信息一致且与所述作业的触发信息一致，则基于所述作业的触发信息同步触发所述作业下各所述可执行任务的数据处理；
[0024]若所述配置调度规则表明各所述可执行任务的触发信息不一致，则按照各所述可执行任务的触发信息依次触发所述作业下各所述可执行任务的数据处理。
[0025]在可选的实施方式中，所述方法还包括：
[0026]对所述处理结果进行分析处理得到分析结果，所述分析结果包括成功的处理条数、失败的处理条数以及数据处理速度；
[0027]通过所述中间层系统接入短信平台，以将所述分析结果通过所述短信平台以短信的方式发出。
[0028]第二方面，本申请提供一种基于kettle的web数据处理装置，应用于服务器，所述服务器与多个用户终端通信，所述服务器中包含中间层系统和kettle应用，所述装置包括：
[0029]启动模块，用于在获得任一用户终端接入所述中间层系统的处理请求时，启动所述中间层系统，其中，所述处理请求为基于所述用户终端的web浏览器的操作所发出的；
[0030]获得模块，用于基于所述处理请求获得数据处理任务以及配置调度规则；
[0031]调用模块，用于通过所述中间层系统模拟所述kettle应用的前台和后台之间的通信协议，以调用所述kettle应用的接口；
[0032]处理模块，用于基于调用的所述kettle应用的接口接入所述kettle应用的功能，以在所述中间层系统中基于所述数据处理任务和配置调度规则执行相应的数据处理，得到处理结果。
[0033]第三方面，本申请提供一种电子设备，包括一个或多个存储介质和一个或多个与
存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行前述实施方式中任意一项所述的方法步骤。
[0034]第四方面，本申请提供一种基于kettle的web数据处理系统，所述系统包括服务器以及与服务器通信的多个用户终端，所述服务器中包含中间层系统和kettle应用；
[0035]所述用户终端，用于基于对web浏览器的操作得到接入所述中间层系统的处理请求，并将所述处理请求发送至所述服务器；
[0036]所述服务器，用于在获得任一用户终端接入所述中间层系统的处理请求时，启动所述中间层系统，基于所述处理请求获得数据处理任务以及配置调度规则；
[0037]所述服务器，还用于通过所述中间层系统模拟所述kettle应用的前台和后台之间的通信协议，以调用所述kettle应用的接口；
[0038]所述服务器，还用于基于调用的所述kettle应用的接口接入所述kettle应用的功能，以在所述中间层系统中基于所述数据处理任务和配置调度规则执行相应的数据处理，得到处理结果。
[0039]本申请实施例的有益效果包括，例如：
[0040]本申请提供一种基本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于kettle的web数据处理方法，其特征在于，应用于服务器，所述服务器与多个用户终端通信，所述服务器中包含中间层系统和kettle应用，所述方法包括：在获得任一用户终端接入所述中间层系统的处理请求时，启动所述中间层系统，其中，所述处理请求为基于所述用户终端的web浏览器的操作所发出的；基于所述处理请求获得数据处理任务以及配置调度规则；通过所述中间层系统模拟所述kettle应用的前台和后台之间的通信协议，以调用所述kettle应用的接口；基于调用的所述kettle应用的接口接入所述kettle应用的功能，以在所述中间层系统中基于所述数据处理任务和配置调度规则执行相应的数据处理，得到处理结果。2.根据权利要求1所述的基于kettle的web数据处理方法，其特征在于，所述在获得任一用户终端接入所述中间层系统的处理请求时，启动所述中间层系统的步骤，包括：在获得任一用户终端接入所述中间层系统的处理请求时，获得所述用户终端对应的用户账号，根据所述用户账号确定用户权限；在启动所述中间层系统后，基于所述用户权限向所述用户终端反馈对应的数据资源，以使所述用户终端在所述web浏览器中展示所述数据资源。3.根据权利要求1所述的基于kettle的web数据处理方法，其特征在于，所述基于所述处理请求获得数据处理任务以及配置调度规则的步骤，包括：基于所述处理请求获得数据处理任务中的作业和可执行任务，其中，所述作业包含至少一个可执行任务，所述可执行任务为基于所述用户终端的web浏览器对组件进行操作所得到的；获得所述配置调度规则中所述作业的触发信息和所述至少一个可执行任务的触发信息。4.根据权利要求3所述的基于kettle的web数据处理方法，其特征在于，所述基于所述处理请求获得数据处理任务中的作业和可执行任务的步骤，包括：基于所述处理请求获得数据处理任务中所创建的作业，以及所述作业下所创建的可执行任务；获得所述可执行任务对应的组件，并获得所述可执行任务的源数据库、源数据表、目标数据库和目标数据表；获得针对所述源数据表和目标数据表的查询语句，以确定所述源数据表和目标数据表的匹配字段。5.根据权利要求4所述的基于kettle的web数据处理方法，其特征在于，所述查询语句为针对所述源数据表和目标数据表的单个字段的查询语句，或者所述查询语句为针对所述源数据表和目标数据表的多个字段的查询语句。6.根据权利要求3所述的基于kettle的web数据处理方法，其特征在于，所述在所述中间层系统中基于所述数据处理任务和配置调度规则执行相应的数据处理的步骤，包括：在所述中间层系统中，若所述配置调度规...
【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：成都数之联科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。