一种数据加工方法及装置、存储介质及电子设备制造方法及图纸

本申请提供了一种数据加工方法及装置、存储介质及电子设备，包括：获取每个组件包括的各个作业的依赖配置信息；基于每个作业的依赖配置信息，构建作业依赖关系图；获取作业依赖关系图包括的数据加工链路；每条数据加工链路包括至少一个作业；将包括作业最少的数据加工链路确定为目标加工链路；利用目标加工链路加工数据。可见，本申请方案，通过构建作业依赖关系图，以获取各条数据加工链路，并将包括作业最少的数据加工链路确定为目标加工链路，实现对数据加工链路的优化，并利用目标加工链路加工数据，从而提高数据加工效率，进而满足日益增长的数字化经营及监管需求开展。增长的数字化经营及监管需求开展。增长的数字化经营及监管需求开展。

【技术实现步骤摘要】
一种数据加工方法及装置、存储介质及电子设备


[0001]本申请涉及互联网
，尤其涉及一种数据加工方法及装置、存储介质及电子设备。

技术介绍

[0002]随着银行业务数字化经营的转型，基于数据湖、云化数仓平台开展的大数据应用挖掘、指标加工、监管报送等业务需求不断激增，在数据湖、云化数仓平台构建应用、模型的开发人员、业务人员也不断壮大，导致大数据应用及模型众多，且各个应用的指标等数据通过作业的形式进行相互访问、复制、加工，如大额存款、客户标签、理财指标等公共基础数据，形成庞大、复杂、多层级的作业依赖链路网络关系，从而造成作业运行效率低、进而导致数据加工效率低，不满足日益增长的数字化经营及监管需求开展。

技术实现思路

[0003]本申请提供了一种数据加工方法及装置、存储介质及电子设备，目的在于解决现有技术中，作业运行效率低、进而导致数据加工效率低，不满足日益增长的数字化经营及监管需求开展的问题。
[0004]为了实现上述目的，本申请提供了以下技术方案：
[0005]一种数据加工方法，包括：
[0006]获取每个组件包括的各个作业的依赖配置信息；
[0007]基于每个作业的依赖配置信息，构建作业依赖关系图；
[0008]获取所述作业依赖关系图包括的数据加工链路；每条数据加工链路至少包括源端作业和末端作业；
[0009]将包括作业最少的数据加工链路确定为目标加工链路；
[0010]利用所述目标加工链路加工数据。
[0011]上述的方法，可选的，所述利用所述目标加工链路加工数据，包括：
[0012]获取所述目标加工链路包括的每个作业的历史运行时间；
[0013]基于所述目标加工链路包括的每个作业的历史运行时间，统计所述目标加工链路的数据加工耗时；
[0014]若所述目标加工链路的数据加工耗时大于预设的截止报送时间，则在所述目标加工链路包括的各个作业中，确定至少一个待优化作业，并对各个待优化作业进行作业优化；
[0015]利用作业优化后的目标加工链路加工数据；
[0016]若所述目标加工链路当前的数据加工耗时不大于预设的截止报送时间，则利用所述目标加工链路加工数据。
[0017]上述的方法，可选的，所述对各个待优化作业进行优化，包括：
[0018]对每个待优化作业进行数据表分布优化、数据表分区优化和数据过滤优化。
[0019]上述的方法，可选的，所述利用所述目标加工链路加工数据之后，还包括：
[0020]若所述目标加工链路包括的各个作业中任一作业发生故障，则获取故障作业的作业信息和所述故障作业所属组件的组件信息；所述故障作业为发生故障的作业；
[0021]基于所述作业信息和所述组件信息，定位故障源。
[0022]上述的方法，可选的，所述基于所述作业信息和所述组件信息，定位故障源，包括：
[0023]将所述故障作业作为目标作业；
[0024]基于所述作业信息和所述组件信息，确定所述目标作业的依赖作业；
[0025]基于所述依赖作业的运行状态，判断所述依赖作业是否发生故障；
[0026]若所述依赖作业发生故障，则将所述依赖作业作为目标作业，并返回执行所述确定与所述目标作业有依赖关系的作业的步骤，直至当前的依赖作业不发生故障，将当前的目标作业确定为故障源。
[0027]上述的方法，可选的，所述基于所述作业信息和所述组件信息，定位故障源之后，还包括：
[0028]确定预设的与所述故障源对应的备份作业；
[0029]将所述故障源替换为所确定的备份作业，以使所述备份作业代替所述故障源进行数据加工。
[0030]上述的方法，可选的，所述利用所述目标加工链路加工数据之后，还包括：
[0031]若所述目标加工链路包括的各个作业中任一作业发生故障，基于发生故障的作业的作业信息，确定受影响作业；
[0032]获取受影响作业的业务场景及说明，并基于受影响作业的业务场景及说明，生成业务影响说明。
[0033]一种数据加工装置，其特征在于，包括：
[0034]第一获取单元，用于获取每个组件包括的各个作业的依赖配置信息；
[0035]构建单元，用于基于每个作业的依赖配置信息，构建作业依赖关系图；
[0036]第二获取单元，用于获取所述作业依赖关系图包括的数据加工链路；每条数据加工链路至少包括源端作业和末端作业；
[0037]第一确定单元，用于将包括作业最少的数据加工链路确定为目标加工链路；
[0038]加工单元，用于利用所述目标加工链路加工数据。
[0039]一种存储介质，所述存储介质存储有指令集，其中，所述指令集被处理器执行时实现如上述的数据加工方法。
[0040]一种电子设备，包括：
[0041]存储器，用于存储至少一组指令集；
[0042]处理器，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上述的数据加工方法。
[0043]与现有技术相比，本申请包括以下优点：
[0044]本申请提供了一种数据加工方法及装置、存储介质及电子设备，包括：获取每个组件包括的各个作业的依赖配置信息；基于每个作业的依赖配置信息，构建作业依赖关系图；获取作业依赖关系图包括的数据加工链路；每条数据加工链路包括至少一个作业；将包括作业最少的数据加工链路确定为目标加工链路；利用目标加工链路加工数据。可见，本申请方案，通过构建作业依赖关系图，以获取各条数据加工链路，并将包括作业最少的数据加工
链路确定为目标加工链路，实现对数据加工链路的优化，并利用目标加工链路加工数据，从而提高数据加工效率，进而满足日益增长的数字化经营及监管需求开展。
附图说明
[0045]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0046]图1为本申请提供的一种数据加工方法的方法流程图；
[0047]图2为本申请提供的一种数据加工方法的示例图；
[0048]图3为本申请提供的一种数据加工方法的又一示例图；
[0049]图4为本申请提供的一种数据加工方法的又一方法流程图；
[0050]图5为本申请提供的一种数据加工方法的又一方法流程图；
[0051]图6为本申请提供的一种数据加工方法的又一方法流程图；
[0052]图7为本申请提供的一种数据加工方法的又一示例图；
[0053]图8为本申请提供的一种数据加工方法的又一方法流程图；
[0054]图9为本申请提供的一种数据加工方法的又一示例图；
[0055]图10为本申请提供的一种数据加工装置的结构示意图；
[0056]图11为本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加工方法，其特征在于，包括：获取每个组件包括的各个作业的依赖配置信息；基于每个作业的依赖配置信息，构建作业依赖关系图；获取所述作业依赖关系图包括的数据加工链路；每条数据加工链路至少包括源端作业和末端作业；将包括作业最少的数据加工链路确定为目标加工链路；利用所述目标加工链路加工数据。2.根据权利要求1所述的方法，其特征在于，所述利用所述目标加工链路加工数据，包括：获取所述目标加工链路包括的每个作业的历史运行时间；基于所述目标加工链路包括的每个作业的历史运行时间，统计所述目标加工链路的数据加工耗时；若所述目标加工链路的数据加工耗时大于预设的截止报送时间，则在所述目标加工链路包括的各个作业中，确定至少一个待优化作业，并对各个待优化作业进行作业优化；利用作业优化后的目标加工链路加工数据；若所述目标加工链路当前的数据加工耗时不大于预设的截止报送时间，则利用所述目标加工链路加工数据。3.根据权利要求2所述的方法，其特征在于，所述对各个待优化作业进行优化，包括：对每个待优化作业进行数据表分布优化、数据表分区优化和数据过滤优化。4.根据权利要求1所述的方法，其特征在于，所述利用所述目标加工链路加工数据之后，还包括：若所述目标加工链路包括的各个作业中任一作业发生故障，则获取故障作业的作业信息和所述故障作业所属组件的组件信息；所述故障作业为发生故障的作业；基于所述作业信息和所述组件信息，定位故障源。5.根据权利要求4所述的方法，其特征在于，所述基于所述作业信息和所述组件信息，定位故障源，包括：将所述故障作业作为目标作业；基于所述作业信息和所述组件信息，确定所述目标作业的依赖作业；基于所述依赖作业的运...

【专利技术属性】
技术研发人员：周政明，郭玉章，陈洁，李颖，李颢，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：