面向数据流的大数据处理方法、装置和计算机设备制造方法及图纸

本申请涉及一种面向数据流的大数据处理方法、装置和计算机设备。所述方法包括：获取用户终端上传的DAG图，图形算子以图形界面的方式呈现，表征封装有业务逻辑的算子代码，DAG图中图形算子之间的数据流向表征业务流程数据流，当DAG图满足预设合理性要求时，将DAG图中的各图形算子对应转换为JSON格式的算子对象，JSON格式的算子对象存放有对应的图形算子的父节点在DAG图中的编号，根据JSON格式的算子对象，创建表征业务流程调度入口函数，以实现各算子对象的实例所对应的业务功能。采用本方法在业务流程修改时，无需重新编写调用语句，提高数据处理效率。提高数据处理效率。提高数据处理效率。

【技术实现步骤摘要】
面向数据流的大数据处理方法、装置和计算机设备


[0001]本申请涉及大数据处理
，特别是涉及一种面向数据流的大数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着大数据技术的快速发展，现有的大数据处理平台(例如Spark、Flink、Storm等)都提供了数据流处理模型，并且提供了自动的数据分割、任务调度、负载均衡、数据缓存、数据通信等算子，其大幅度降低了系统开发的复杂度，并能够适应大容量和高并发的高通量需求。
[0003]此外，随着功能模块封装的流行性，可视化编程在许多非计算机领域得到广泛的应用，但基本上属于编程结构和语句的图形化表述，现有基于大数据处理平台的数据流处理平台仍然具有一些不可忽略的问题，例如，若每次要处理新的业务都需要重新开始编码，对于已经编写并封装好的模块，也需要重复编写调用语句，容易出错；并且，由于业务的模块代码调度没有一个很直观的展示，导致使用门槛较高，用户友好度较差，无疑拉长了处理时长。
[0004]由此看来，现有的面向数据流的大数据处理方法存在处理效率低下的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种高效的面向数据流的大数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种面向数据流的大数据处理方法。所述方法包括：
[0007]获取用户终端上传的DAG(Directed Acyclic Graph，有向无环图)图和DAG图中各图形算子的输入参数，图形算子以图形界面的方式呈现，且表征封装有业务逻辑的算子代码，DAG图中图形算子之间的数据流向表征业务流程数据流；
[0008]当DAG图满足预设合理性要求时，将DAG图中的各图形算子对应转换为JSON格式的算子对象，JSON格式的算子对象存放有对应的图形算子的父节点在DAG图中的编号；
[0009]根据JSON格式的算子对象，创建业务流程调度入口函数。
[0010]在其中一个实施例中，获取用户终端上传的DAG图之前，还包括：
[0011]获取用户终端上传的算子jar包，算子jar包包括算子和算子所依赖的静态数据文件；
[0012]根据预设图形算子生成规则，生成与算子对应的图形算子；
[0013]发送DAG图绘制消息至所述用户终端，DAG图绘制消息携带图形算子，图形算子用于供用户根据业务流程进行排列组合得到DAG图。
[0014]在其中一个实施例中，判断DAG图是否满足预设合理性要求包括：
[0015]检查DAG图中是否存在环，以及检查DAG图中各图形算子的输入参数的完整性和规范性；
[0016]当DAG图中不存在环且DAG图中各图形算子的输入参数满足完整性和规范性要求时，判定DAG图满足预设合理性要求，否则，判定DAG图不满足预设合理性要求，发送DAG图重绘消息至用户终端。
[0017]在其中一个实施例中，将DAG图中的各图形算子对应转换为JSON格式的算子对象包括：
[0018]将DAG图中各图形算子对应转换为JSON格式的算子对象，并设置每个算子对象的属性，属性包括名称属性、编号属性、父节点编号属性和参数列表属性。
[0019]在其中一个实施例中，根据JSON格式的算子对象，创建业务流程调度入口函数之后，还包括：
[0020]发送项目封装请求至第三方项目管理应用；
[0021]接收第三方项目管理应用反馈的可执行jar包，将可执行jar包提交至预设集群运行，以执行业务流程调度入口函数。
[0022]在其中一个实施例中，执行业务流程调度入口函数包括以下数据处理过程：
[0023]依次获取各JSON格式的算子对象的输入参数列表和父节点列表；
[0024]根据父节点列表从预设哈希变量中依次取出各算子对象的父节点的实例执行结果，预设哈希变量的键值对分别映射到算子对象的编号属性和编号属性对应的算子对象的实例执行结果；
[0025]根据各算子对象的输入参数和各算子对象父节点的实例执行结果，创建各算子对象的实例；
[0026]执行各算子对象的实例，得到执行结果，将执行结果存入预设哈希变量。
[0027]第二方面，本申请还提供了一种面向数据流的大数据处理装置。装置包括：
[0028]数据获取模块，用于获取用户终端上传的DAG图，图形算子以图形界面的方式呈现，且表征封装有业务逻辑的算子代码，DAG图中图形算子之间的数据流向表征业务流程数据流；
[0029]数据转换模块，用于当DAG图满足预设合理性要求时，将DAG图中的各图形算子对应转换为JSON格式的算子对象，JSON格式的算子对象存放有对应的图形算子的父节点在DAG图中的编号；
[0030]数据执行模块，用于根据JSON格式的算子对象，创建业务流程调度入口函数。
[0031]第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0032]获取用户终端上传的DAG图，图形算子以图形界面的方式呈现，且表征封装有业务逻辑的算子代码，DAG图中图形算子之间的数据流向表征业务流程数据流；
[0033]当DAG图满足预设合理性要求时，将DAG图中的各图形算子对应转换为JSON格式的算子对象，JSON格式的算子对象存放有对应的图形算子的父节点在DAG图中的编号；
[0034]根据JSON格式的算子对象，创建业务流程调度入口函数。
[0035]第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0036]获取用户终端上传的DAG图，图形算子以图形界面的方式呈现，且表征封装有业务逻辑的算子代码，DAG图中图形算子之间的数据流向表征业务流程数据流；
[0037]当DAG图满足预设合理性要求时，将DAG图中的各图形算子对应转换为JSON格式的算子对象，JSON格式的算子对象存放有对应的图形算子的父节点在DAG图中的编号；
[0038]根据JSON格式的算子对象，创建业务流程调度入口函数。
[0039]第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0040]获取用户终端上传的DAG图，图形算子以图形界面的方式呈现，表征封装有业务逻辑的算子代码，DAG图中图形算子之间的数据流向表征业务流程数据流；
[0041]当DAG图满足预设合理性要求时，将DAG图中的各图形算子对应转换为JSON格式的算子对象，JSON格式的算子对象存放有对应的图形算子的父节点在DAG图中的编号；
[0042]根据JSON格式的算子对象，创建业务流程调度入口函数。
[0043]上述面向数据流的大数据处理方法、装置、计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数据流的大数据处理方法，其特征在于，所述方法包括：获取用户终端上传的DAG图，所述图形算子以图形界面的方式呈现，且表征封装有业务逻辑的算子代码，所述DAG图中图形算子之间的数据流向表征业务流程数据流；当所述DAG图满足预设合理性要求时，将所述DAG图中的各图形算子对应转换为JSON格式的算子对象，所述JSON格式的算子对象存放有对应的图形算子的父节点在所述DAG图中的编号；根据所述JSON格式的算子对象，创建业务流程调度入口函数。2.根据权利要求1所述的面向数据流的大数据处理方法，其特征在于，所述获取用户终端上传的DAG图之前，还包括：获取用户终端上传的算子jar包，所述算子jar包包括算子和算子所依赖的静态数据文件；根据预设图形算子生成规则，生成与所述算子对应的图形算子；发送DAG图绘制消息至所述用户终端，所述DAG图绘制消息携带所述图形算子，所述图形算子用于供用户根据业务流程进行排列组合得到DAG图。3.根据权利要求1所述的面向数据流的大数据处理方法，其特征在于，判断所述DAG图是否满足预设合理性要求包括：检查所述DAG图中是否存在环，以及检查所述DAG图中各图形算子的输入参数的完整性和规范性；当所述DAG图中不存在环且所述DAG图中各图形算子的输入参数满足完整性和规范性要求时，判定所述DAG图满足预设合理性要求，否则，判定所述DAG图未通过合理性检查，发送DAG图重绘消息至所述用户终端。4.根据权利要求1至3任意一项所述的面向数据流的大数据处理方法，其特征在于，所述将所述DAG图中的各图形算子对应转换为JSON格式的算子对象包括：将所述DAG图中各图形算子对应转换为JSON格式的算子对象，并设置每个算子对象的属性，所述属性包括名称属性、编号属性、父节点编号属性和参数列表属性。5.根据权利要求1至3任一项所述的面向数据流的大数据处理方法，其特征在于，所述根据所述JSON格式的算子对象，创...

【专利技术属性】
技术研发人员：阳王东，池伟鸣，李肯立，唐艳阳，邹骁锋，周旭，肖国庆，胡逸騉，
申请(专利权)人：湖南大学，
类型：发明
国别省市：