一种数据回溯方法、装置、设备和可读存储介质制造方法及图纸

本发明专利技术涉及一种数据回溯方法、装置、设备和可读存储介质，可应用于分布式领域或金融领域，可以根据预先生成的记载有任务调用程序间的调用关系的任务驱动表，结合用户输入的需要进行数据回溯的范围，在任务驱动表中进行范围内的任务调用程序的查找以及调用关系的确定，进而确定出一条满足数据回溯范围的任务调用链路。再根据任务调用链路上已经得到的任务调用程序间的调用关系，从记载有各个任务调用程序中的具体操作内容的任务持久化表中，提取出每个任务调度程序对应的映射数据。然后将各个映射数据依据调用关系存储得到数据回溯表，进而使用户根据数据回溯表直观的得到调用链路上的数据映射关系。在节省人工的同时，更加可靠准确。靠准确。靠准确。

【技术实现步骤摘要】
一种数据回溯方法、装置、设备和可读存储介质


[0001]本专利技术涉及数据处理
，特别涉及一种数据回溯方法、装置、设备和可读存储介质。

技术介绍

[0002]很多软件系统都是基于DAG(有向无环图)来构建各个任务间的驱动依赖关系。其中驱动依赖关系都是由技术人员基于任务间的业务逻辑进行配置的。由于一个软件系统的生命周期一般都比较长，在整个生命周期中会经历各种需求的变更，会使得任务间的依赖关系越来越复杂。在进行各个任务间的依赖关系的梳理时，需要人工从后向前对各个任务中的表格、字段映射逻辑等进行梳理回溯。而随着依赖关系复杂度的增加，人工梳理回溯的方式不仅费时费力，而且容易出错准确率低，已经不再适用现代数据映射回溯的要求。

技术实现思路

[0003]本专利技术提供了一种数据回溯方法、装置、设备和可读存储介质，能够满足数据映射回溯的自动化需求，使数据映射更加准确可靠。
[0004]为实现上述目的，本专利技术提供如下技术方案：
[0005]根据本专利技术具体实施方式提供的一种数据回溯方法，包括：
[0006]根据任务驱动表，确定出在数据回溯范围内的至少一条任务调用链路；
[0007]基于所述至少一条任务调用链路上的任务调用程序间的调用关系，从任务持久化表中提取出所述至少一条任务调用链路上的每个任务调度程序的映射数据；
[0008]将所述映射数据依据所述调用关系存储至数据回溯表中。
[0009]进一步地，所述任务驱动表中至少包括：第一任务索引项以及调用索引项，所述第一任务索引项下的一个索引值表征有向无环图中的一个任务调度程序，所述调用索引项下的一个索引值表征对所述第一任务索引项下的一个任务调度程序进行调用且相邻的任务调度程序；所述根据任务驱动表，确定出在数据回溯范围内的至少一条任务调用链路，包括：
[0010]当所述数据回溯范围仅包含目标任务调用程序的标识时，则将所述标识作为任务调用链路的终点；
[0011]基于所述第一任务索引项和所述调用索引项从所述终点开始，逐层向上直至起点查找出至少一条任务调用链路。
[0012]进一步地，所述根据任务驱动表，确定出在数据回溯范围内的至少一条任务调用链路，还包括：
[0013]当所述数据回溯范围还包括链路长度时，则基于所述第一任务索引项和所述调用索引项从所述终点开始，逐层向上直至满足所述链路长度后查找出至少一条任务调用链路。
[0014]进一步地，所述任务持久化表中至少包括：第二任务索引项、目标表索引项和源表
索引项，所述第二任务索引项的一个目标索引值表征所述有向无环图中的一个目标任务调度程序，所述目标表索引项的一个目标索引值表征所述目标任务调度程序中的目标表信息，所述源表索引项的一个目标索引值表征所述目标任务调度程序中的源表信息；所述基于所述至少一条任务调用链路上的任务调用程序间的调用关系，从任务持久化表中提取出所述至少一条任务调用链路上的每个任务调度程序的映射数据，包括：
[0015]基于从所述调用关系中确定的执行顺序，将每个任务调度程序的标识依次与所述第二任务索引项下的索引值进行比对；
[0016]得到与对应任务调度程序的标识相同的索引值，将各个索引值所关联的目标表信息和源表信息依次提取得到所述映射数据。
[0017]进一步地，所述任务持久化表的构建过程包括：
[0018]对任务调度程序中的查询语句进行解析，得到表征目标表信息的第一关键字以及表征源表信息的第二关键字；
[0019]将任务调度程序的标识、所述第一关键字和所述第二关键字对应存储至索引项下得到所述任务持久化表。
[0020]进一步地，所述对任务调度程序中的查询语句进行解析，得到表征目标表信息的第一关键字以及表征源表信息的第二关键字，包括：
[0021]对所述查询语句中的操作动作进行识别，得到任务调度程序的操作类型；
[0022]基于所述操作类型下的操作语句先确定分别表征源表和目标表的关键字，再确定所述源表和所述目标表中的字段关键字。
[0023]进一步地，所述将所述映射数据依据所述调用关系存储至数据回溯表中，包括：
[0024]从所述终点开始将得到的所述映射数据依据调用的顺序，依次存储至所述数据回溯表中。
[0025]根据本专利技术具体实施方式提供的一种数据回溯装置，包括：
[0026]链路确定模块，用于根据任务驱动表，确定出在数据回溯范围内的至少一条任务调用链路；
[0027]数据获取模块，用于基于所述至少一条任务调用链路上的任务调用程序间的调用关系，从任务持久化表中提取出所述至少一条任务调用链路上的每个任务调度程序的映射数据；以及
[0028]数据存储模块，用于将所述映射数据依据所述调用关系存储至数据回溯表中。
[0029]根据本专利技术具体实施方式提供的一种设备，包括：存储器和处理器；
[0030]所述存储器，用于存储程序；
[0031]所述处理器，用于执行所述程序，实现如上实施例所述的数据回溯方法的各个步骤。
[0032]根据本专利技术具体实施方式提供的一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的数据回溯方法的各个步骤。
[0033]由以上技术方案可以看出，本专利技术中公开了一种数据回溯方法，可以根据预先生成的记载有任务调用程序间的调用关系的任务驱动表，结合用户输入的需要进行数据回溯的范围，在任务驱动表中进行范围内的任务调用程序的查找以及调用关系的确定，进而确定出一条满足数据回溯范围的任务调用链路。再根据任务调用链路上已经得到的任务调用
程序间的调用关系，从记载有各个任务调用程序中的具体操作内容的任务持久化表中，提取出每个任务调度程序对应的映射数据。然后将各个映射数据依据调用关系存储得到数据回溯表，进而使用户根据数据回溯表直观的得到调用链路上的数据映射关系。在节省人工的繁琐操作的同时，保证了数据回溯映射的准确性和可靠性。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本专利技术实施例提供的数据回溯方法的流程图；
[0036]图2为本专利技术实施例提供的有向无环图的结构图；
[0037]图3为本专利技术实施例提供的任务驱动表的结构图；
[0038]图4为本专利技术实施例提供的任务持久化表的一个结构图；
[0039]图5为本专利技术实施例提供的任务持久化表的另一结构图；
[0040]图6为本专利技术实施例提供的数据回溯装置的结构图；
[0041]图7为本专利技术实施例提供的设备的结构图。
具体实施方式
[0042]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据回溯方法，其特征在于，包括：根据任务驱动表，确定出在数据回溯范围内的至少一条任务调用链路；基于所述至少一条任务调用链路上的任务调用程序间的调用关系，从任务持久化表中提取出所述至少一条任务调用链路上的每个任务调度程序的映射数据；将所述映射数据依据所述调用关系存储至数据回溯表中。2.根据权利要求1所述的方法，其特征在于，所述任务驱动表中至少包括：第一任务索引项以及调用索引项，所述第一任务索引项下的一个索引值表征有向无环图中的一个任务调度程序，所述调用索引项下的一个索引值表征对所述第一任务索引项下的一个任务调度程序进行调用且相邻的任务调度程序；所述根据任务驱动表，确定出在数据回溯范围内的至少一条任务调用链路，包括：当所述数据回溯范围仅包含目标任务调用程序的标识时，则将所述标识作为任务调用链路的终点；基于所述第一任务索引项和所述调用索引项从所述终点开始，逐层向上直至起点查找出至少一条任务调用链路。3.根据权利要求2所述的方法，其特征在于，所述根据任务驱动表，确定出在数据回溯范围内的至少一条任务调用链路，还包括：当所述数据回溯范围还包括链路长度时，则基于所述第一任务索引项和所述调用索引项从所述终点开始，逐层向上直至满足所述链路长度后查找出至少一条任务调用链路。4.根据权利要求2所述的方法，其特征在于，所述任务持久化表中至少包括：第二任务索引项、目标表索引项和源表索引项，所述第二任务索引项的一个目标索引值表征所述有向无环图中的一个目标任务调度程序，所述目标表索引项的一个目标索引值表征所述目标任务调度程序中的目标表信息，所述源表索引项的一个目标索引值表征所述目标任务调度程序中的源表信息；所述基于所述至少一条任务调用链路上的任务调用程序间的调用关系，从任务持久化表中提取出所述至少一条任务调用链路上的每个任务调度程序的映射数据，包括：基于从所述调用关系中确定的执行顺序，将每个任务调度程序的...

【专利技术属性】
技术研发人员：罗建林，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：