数据分组加工调度方法及装置、介质、设备制造方法及图纸

本发明专利技术提供一种数据分组加工调度方法及装置、介质、设备。方法包括：将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；将所述任务集合中的各个任务的编号配置为对应的分组编号；将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。本发明专利技术实施例本发明专利技术实施例可以提高处理效率和实现数据解耦。处理效率和实现数据解耦。处理效率和实现数据解耦。

【技术实现步骤摘要】
数据分组加工调度方法及装置、介质、设备


[0001]本专利技术涉及数据仓库
，特别是涉及一种数据分组加工调度方法及装置、介质、设备。

技术介绍

[0002]随着计算机存储科学技术的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式也发生了颠覆式变化。大数据智能加工平台的开发顺应了时代的特点，能够对大量数据集合进行加工处理，推动了科学技术的进步与企业的发展。
[0003]数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。为保证数据仓库集成数据的高效性与独立性。在数据加工过程中引入了大数据任务调度工具，大数据任务调度工具虽能解决调度的依赖性问题，但面对数据仓库中不同主题的数据具有串行的依赖，使数据仓库中模型耦合性增加，如果出现问题，极大的增加了处理时长。

技术实现思路

[0004]针对以上至少一个技术问题，本专利技术实施例提供一种数据分组加工调度方法及装置、介质、设备。
[0005]根据第一方面，本专利技术实施例提供的数据分组加工调度方法，包括：
[0006]将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
[0007]查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
[0008]将所述任务集合中的各个任务的编号配置为对应的分组编号；
[0009]将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。
[0010]根据第二方面，本专利技术实施例提供的数据分组加工调度装置，包括：
[0011]分组设置模块，用于将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
[0012]任务查找模块，用于查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
[0013]编号设置模块，用于将所述任务集合中的各个任务的编号配置为对应的分组编号；
[0014]加工处理模块，用于将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，
所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。
[0015]根据第三方面，本专利技术实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
[0016]根据第四方面，本专利技术实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
[0017]本专利技术实施例提供的数据分组加工调度方法及装置、介质、设备，将每一个业务主题的待加工数据划分为至少一个分组，查找每一个业务主题对应的任务集合，将所述任务集合中的各个任务的编号配置为对应的分组编号，将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理。其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。本专利技术实施例可以实现对多个业务主题下的多个分组进行并行处理，不仅可以提高处理效率，而且可以实现对数据的解耦，各个业务主题之间不会相互影响，减少了问题排查时间。当一个业务主题的数据出现问题时，不必重新加工所有的业务主题的数据，解决了现有的串行依赖问题。可见，本专利技术实施例可以提高处理效率和实现数据解耦。
附图说明
[0018]图1为本专利技术一实施例中数据分组加工调度方法的流程示意图。
具体实施方式
[0019]第一方面，本专利技术实施例提供一种数据分组加工调度方法，参见图1，该方法包括如下步骤S110～S140：
[0020]S110、将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
[0021]可理解的是，待加工数据涉及多个业务主题，例如，销售数据、订单数据、退单数据等。每一个业务主题具有自己的业务主题编号，用来区分各个不同的业务主题。
[0022]可见，S110中不仅将待加工数据按照业务主题分类，还针对一个业务主题下的待加工数据进一步分组。例如，针对销售数据，可以继续分为门店销售数据、电商销售数据两个分组。每一个分组具有一个分组编号，不同的分组，对应的分组编号不同，即分组编号作为分组的唯一标识。
[0023]在一个实施例中，S110中所述将每一个业务主题的待加工数据划分为至少一个分组，可以具体包括：将每一个业务主题的待加工数据按照业务场景划分为至少一个分组。例如，上一个举例中提到的在门店场景下的门店销售数据、在电商平台场景下的电商销售数据这两个按照业务场景而划分的两个分组。
[0024]S120、查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
[0025]可理解的是，每一个业务主题的待加工数据在进行数据加工时需要多个数据加工方法，一个数据加工方法可以理解为一个任务，即具有逻辑处理能力的脚本，因此一个业务主题的待加工数据的各个任务预先会形成一个任务集合，这样在需要时根据业务主题编号进行查找即可。
[0026]S130、将所述任务集合中的各个任务的编号配置为对应的分组编号；
[0027]也就是说，在S130中对各个任务的编号设置为分组编号。例如，一个任务用于对一个分组中的待加工数据进行加工，则将该任务的编号设置为该分组的分组编号。
[0028]在一个实施例中，所述任务集合中的各个任务具有初始编号，且初始编号为业务主题编号；对应的，S130中所述将所述任务集合中的各个任务的编号配置为对应的分组编号，可以具体包括：将所述任务集合中的每一个任务对应的初始编号更新为对应的分组编号。
[0029]也就是说，每一个任务有一个初始编号，该初始编号为对应的业务主题的编号，即业务主题编号。然后由于每一个业务主题分为了多个分组，因此需要对各个任务也进行分组，因此将每一个任务的初始编号更新为该任务对应的分组的分组编号。
[0030]S140、将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。
[0031]其中，有向无环图即DAG图，也可以称为DAG地图。一个分组对应一个有向无环图，在一个有向无环图中包括多个串联起来的任务以及该有向无环图对应的分组的待加工数据。通过多个串联起来的任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分组加工调度方法，其特征在于，包括：将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；将所述任务集合中的各个任务的编号配置为对应的分组编号；将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。2.根据权利要求1所述的方法，其特征在于，所述将每一个业务主题的待加工数据划分为至少一个分组，包括：将每一个业务主题的待加工数据按照业务场景划分为至少一个分组。3.根据权利要求1所述的方法，其特征在于，所述任务集合中的各个任务的初始编号为业务主题编号；对应的，所述将所述任务集合中的各个任务的编号配置为对应的分组编号，包括：将所述任务集合中的每一个任务对应的初始编号更新为对应的分组编号。4.根据权利要求1所述的方法，其特征在于，所述将对应同一个分组编号的任务和待加工数据形成一个有向无环图，包括：配置http请求，所述http请求用于请求将对应同一个分组编号的任务和待加工数据形成一个有向无环图；利用数据调度工具执行所述http请求，得到该分组编号对应的有向无环图。5.一种数据分组加工调度装置，其特征在于，包括：分组设置模块，用于将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；任...

【专利技术属性】
技术研发人员：田世康，郑斌，雷天武，彭铸，
申请(专利权)人：山东浪潮数字商业科技有限公司，
类型：发明
国别省市：