一种数据处理方法、装置及数据处理服务器制造方法及图纸

本申请公开了一种数据处理方法、装置及数据处理服务器，其中方法包括：接收数据处理任务的任务配置信息，所述任务配置信息包括一个或多个数据处理插件的插件配置信息；根据所述任务配置信息加载相应的数据处理插件，根据加载的数据处理插件执行数据处理任务。该技术方案的有益效果在于，能够以插件化的方式简化数据开发过程，即使是不懂编程技术的用户，也可以通过简单地编辑任务配置信息，从而利用已有的插件完成所需的数据处理，不需要针对业务方的每一个数据处理需求进行全新的数据开发作业，节约了数据开发时间，降低了数据开发成本，提升了数据处理效率。提升了数据处理效率。提升了数据处理效率。

【技术实现步骤摘要】
一种数据处理方法、装置及数据处理服务器


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置及数据处理服务器。

技术介绍

[0002]在互联网时代，数据是企业的重要生产资料，许多企业都选择用数据处理系统(数据平台)来进行数据的管理、查看和处理等。例如，许多数据来源于业务日志，而不同的业务线可能需要业务日志中的不同信息，由此就会提出不同的数据处理需求。
[0003]一种解决方案是先由数据工程师根据业务方的普遍需求进行数据开发，编写相应的数据处理程序，在无法满足业务方个性化需求的情况下重新进行数据开发，由此可见，如果业务方的需求不断增长，那么数据开发要永无止境地进行下去。而且，新开发的数据处理程序并不一定与已有的数据处理系统兼容，定制化的开发无法被多个业务方复用，降低了资源利用率。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法、装置及数据处理服务器，以使用户可以进行方便、快捷、自定义的数据开发，从而实现数据处理需求。
[0005]本申请实施例采用下述技术方案：
[0006]第一方面，本申请实施例提供一种数据处理方法，由数据处理服务器执行，包括：接收数据处理任务的任务配置信息，任务配置信息包括一个或多个数据处理插件的插件配置信息；根据任务配置信息加载相应的数据处理插件，根据加载的数据处理插件执行数据处理任务。
[0007]在一些实施例中，接收数据处理任务的任务配置信息包括：提供数据处理任务编辑界面，通过数据处理任务编辑界面接收数据处理任务的任务配置信息。
[0008]在一些实施例中，数据处理任务编辑界面包括插件列表和第一编辑区，通过数据处理任务编辑界面接收数据处理任务的任务配置信息包括：响应于对插件列表中一个或多个数据处理插件的选取请求，在第一编辑区展示相应数据处理插件的可视化对象；接收通过第一编辑区输入的插件连接关系，根据插件连接关系生成相应的插件配置信息。
[0009]在一些实施例中，数据处理插件的选取请求是根据对插件列表中数据处理插件的选取操作触发的，和/或，数据处理插件的选取请求是根据将插件列表中的数据处理插件拖拽到第一编辑区的操作触发的。
[0010]在一些实施例中，数据处理任务编辑界面还包括第二编辑区，通过数据处理任务编辑界面接收数据处理任务的任务配置信息还包括：响应于对第一编辑区内目标数据处理插件的可视化对象的选取请求，在第二编辑区内展示该目标数据处理插件的可配置项；通过可配置项接收对该目标数据处理插件的插件配置信息。
[0011]在一些实施例中，方法还包括：接收并存储数据处理插件的程序包，程序包包括前
端代码和后端代码；根据前端代码实现插件列表和第一编辑区，以及根据后端代码实现数据处理插件的可配置项。
[0012]在一些实施例中，任务配置信息还包括任务基础配置信息，数据处理任务编辑界面包括第三编辑区，通过数据处理任务编辑界面接收数据处理任务的任务配置信息包括：接收通过所述第三编辑区输入的任务基础配置信息。
[0013]在一些实施例中，方法还包括：将任务配置信息保存至标记语言格式的任务配置文件中，各插件配置信息分别对应一个标记语言节点；根据插件配置信息加载相应的数据处理插件包括：对任务配置文件进行解析，得到与各数据处理插件对应的解析结果和插件依赖关系；根据解析结果和插件依赖关系加载相应的数据处理插件。
[0014]在一些实施例中，根据解析结果和插件依赖关系加载相应的数据处理插件包括：将目标数据处理插件的解析结果在分布式容器中进行加载，得到目标数据处理插件的多个实例；根据加载的数据处理插件执行数据处理任务包括：利用各数据处理插件的各个实例，根据插件依赖关系分布式地执行数据处理任务。
[0015]第二方面，本申请实施例还提供一种数据处理装置，用于实现如上任一所述的数据处理方法。
[0016]第三方面，本申请实施例还提供一种数据处理服务器，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上任一所述的数据处理方法。
[0017]第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被包括多个应用程序的数据库服务器执行时，使得数据库服务器执行如上任一所述的数据处理方法。
[0018]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：以插件化的方式简化数据开发过程，即使是不懂编程技术的用户，也可以通过简单地编辑任务配置信息，从而利用已有的插件完成所需的数据处理，不需要针对业务方的每一个数据处理需求进行全新的数据开发作业，节约了数据开发时间，降低了数据开发成本，提升了数据处理效率。
附图说明
[0019]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0020]图1示出了根据本申请一个实施例的一种数据处理方法的流程示意图；
[0021]图2示出了根据本申请一个实施例的数据处理系统架构图；
[0022]图3示出了根据本申请一个实施例的数据处理任务编辑界面的示意图；
[0023]图4示出了根据本申请一个实施例的数据处理原理示意图；
[0024]图5示出了根据本申请一个实施例的一种数据处理装置的结构示意图；
[0025]图6为本申请实施例中一种数据处理服务器的结构示意图。
具体实施方式
[0026]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及
相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]本申请的技术构思在于，预先对业务方通常会提出的数据处理需求进行拆分，确定数据处理过程中的若干个步骤，再编程开发与每个步骤对应的执行单元——数据处理插件。在业务方提出实际的数据处理需求后，可以自由选择可执行该数据处理需求的若干个数据处理插件，对这些数据处理插件进行相应的配置，从而完成了一个数据处理任务的配置，之后只需要执行该数据处理任务，就可以根据对数据处理插件的配置相应加载数据处理插件，完成数据处理了。
[0028]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0029]图1示出了根据本申请一个实施例的一种数据处理方法的流程示意图，该方法可具体由数据处理服务器执行。如图1所示，该方法包括：
[0030]步骤S110，接收数据处理任务的任务配置信息，任务配置信息包括一个或多个数据处理插件的插件配置信息。
[0031]其中，任务配置信息还可以包括任务名称、执行时间等等，其核心内容在于要包括插件配置信息。这样的好处在于，用户不需要关心代码层面的数据处理逻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，由数据处理服务器执行，其中，所述方法包括：接收数据处理任务的任务配置信息，所述任务配置信息包括一个或多个数据处理插件的插件配置信息；根据所述任务配置信息加载相应的数据处理插件，根据加载的数据处理插件执行数据处理任务。2.如权利要求1所述的方法，其中，所述接收数据处理任务的任务配置信息包括：提供数据处理任务编辑界面，通过数据处理任务编辑界面接收数据处理任务的任务配置信息。3.如权利要求2所述的方法，其中，所述数据处理任务编辑界面包括插件列表和第一编辑区，所述通过数据处理任务编辑界面接收数据处理任务的任务配置信息包括：响应于对所述插件列表中一个或多个数据处理插件的选取请求，在所述第一编辑区展示相应数据处理插件的可视化对象；接收通过第一编辑区输入的插件连接关系，根据所述插件连接关系生成相应的插件配置信息。4.如权利要求3所述的方法，其中，所述数据处理插件的选取请求是根据对所述插件列表中数据处理插件的选取操作触发的，和/或，所述数据处理插件的选取请求是根据将所述插件列表中的数据处理插件拖拽到所述第一编辑区的操作触发的。5.如权利要求3所述的方法，其中，所述数据处理任务编辑界面还包括第二编辑区，所述通过数据处理任务编辑界面接收数据处理任务的任务配置信息还包括：响应于对所述第一编辑区内目标数据处理插件的可视化对象的选取请求，在所述第二编辑区内展示该目标数据处理插件的可配置项；通过所述可配置项接收对该目标数据处理插件的插件配置信息。6.如权利要求5所述的方法，其中，所述方法还包括：接收并存储数据处理插件的程序包，所述程序包包括前端代码和后端代码；根据所述前端代码实现所述插件列表和所述第一编辑区，以及根据所述后端代码实现数据处理插件的可配置项。7.如权利要求2所述的方...

【专利技术属性】
技术研发人员：罗文磊，陆林，郑德山，马文涛，张亮，
申请(专利权)人：网联清算有限公司，
类型：发明
国别省市：