【技术实现步骤摘要】
本专利技术属于数据处理，尤其涉及一种血缘数据管理方法及系统。
技术介绍
1、相关技术中，数据血缘删除时，任务系统在任务下线或者修改时，主动调用血缘系统对应接口，对原血缘进行修改。此做法增加了任务系统和血缘系统的耦合。
技术实现思路
1、鉴于以上现有技术的不足，专利技术的目的在于提供一种血缘数据管理方法及系统，通过血缘数据中的任务依赖关系，更精准地确定目标任务及其顺序，避免无效作业的执行，且血缘数据提供方只需关注产生，无需担心血缘何时销毁，降低了系统跟上游数据平台耦合。
2、本专利技术的第一方面，提出了一种血缘数据管理方法，包括：s1，获取基于任务建立的血缘数据；s2，在接收到第一目标任务的情况下，根据调度策略和所述血缘数据中的任务依赖，确定第二目标任务；s3，基于所述第二目标任务的血缘信息判断所述第二目标任务中是否存在与所述第二目标任务关联的目标节点，所述目标节点包括表节点和/或字段节点；s4，基于判断结果执行更新所述目标节点的数据生命周期或执行定时清理调度。
3、进一步地，在接收到第一目标任务的情况下，根据调度策略和所述血缘数据中的任务依赖，确定第二目标任务，包括：在接收到所述第一目标任务的情况下，根据调度策略和所述血缘数据中的任务依赖，执行所述第一目标任务；从所述第一目标任务中确定出执行成功的任务，并将执行成功的任务作为所述第二目标任务。
4、进一步地，确定出所述第二目标任务之后，所述方法还包括：对所述第二目标任务进行解析，生成所述第二目标任
5、进一步地，所述方法还包括：根据所述第二目标任务的所述血缘信息计算下次调度时间；基于所述下次调度时间和所述调度配置，确定所述第二目标任务的数据生命周期。
6、进一步地，根据所述第二目标任务的所述血缘信息计算下次调度时间，包括：根据所述第二目标任务的所述血缘信息确定所述第二目标任务的调度配置；基于所述第二目标任务的调度配置和所述第二目标任务的当次执行时间，计算所述下次调度时间。
7、进一步地，基于判断结果执行更新所述目标节点的数据生命周期，包括：在判断所述第二目标任务中存在与所述第二目标任务关联的目标节点的情况下，进一步判断是否支持以所述第二目标任务的数据生命周期建立所述目标节点；在确定支持以所述第二目标任务的数据生命周期建立所述目标节点的情况下，基于所述第二目标任务的数据生命周期建立所述目标节点；在确定不支持以所述第二目标任务的数据生命周期建立所述目标节点的情况下，执行所述定时清理调度；在判断所述第二目标任务中不存在与所述第二目标任务关联的目标节点的情况下，比较原目标节点的数据生命周期和所述第二目标任务的数据生命周期的大小，并将最大值作为数据生命周期建立所述目标节点。
8、进一步地，执行所述定时清理调度，包括：遍历所述第二目标任务的所有节点；基于所述第二目标任务的当前数据生命周期和所述第二目标任务的上次数据生命周期，更新所有节点的数据生命周期；删除更新后节点的数据生命周期为零的节点。
9、本专利技术的第二方面，提出了一种血缘数据管理系统，包括：获取模块，用于获取基于任务建立的血缘数据；确定模块，用于在接收到第一目标任务的情况下，根据调度策略和所述血缘数据中的任务依赖，确定第二目标任务；判断模块，用于基于所述第二目标任务的血缘信息判断所述第二目标任务中是否存在与所述第二目标任务关联的目标节点，所述目标节点包括表节点和/或字段节点；执行模块，用于基于判断结果执行更新所述目标节点的数据生命周期或执行定时清理调度。
10、本专利技术的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术第一方面中任一项所述的方法。
11、本专利技术的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本专利技术第一方面中任一项所述的方法。
12、本专利技术有益效果如下：
13、本专利技术所述的血缘数据管理方法及系统，获取基于任务建立的血缘数据；在接收到第一目标任务的情况下，根据调度策略和血缘数据中的任务依赖，确定第二目标任务；基于第二目标任务的血缘信息判断第二目标任务中是否存在与第二目标任务关联的目标节点，目标节点包括表节点和/或字段节点；基于判断结果执行更新目标节点的数据生命周期或执行定时清理调度。该方法通过基于任务建立的血缘数据，通过血缘数据中的任务依赖关系，更精准地确定目标任务及其顺序，避免无效作业的执行，且血缘数据提供方只需关注产生，无需担心血缘何时销毁，降低了系统跟上游数据平台耦合。
本文档来自技高网...【技术保护点】
1.一种血缘数据管理方法，其特征在于，包括：
2.根据权利要求1所述的血缘数据管理方法，其特征在于，在接收到第一目标任务的情况下，根据调度策略和所述血缘数据中的任务依赖，确定第二目标任务，包括：
3.根据权利要求1所述的血缘数据管理方法，其特征在于，确定出所述第二目标任务之后，所述方法还包括：
4.根据权利要求3所述的血缘数据管理方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的血缘数据管理方法，其特征在于，根据所述第二目标任务的所述血缘信息计算下次调度时间，包括：
6.根据权利要求4所述的血缘数据管理方法，其特征在于，基于判断结果执行更新所述目标节点的数据生命周期，包括：
7.根据权利要求6所述的血缘数据管理方法，其特征在于，执行所述定时清理调度，包括：
8.一种血缘数据管理系统，其特征在于，包括：
9.一种电子设备，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。>...
【技术特征摘要】
1.一种血缘数据管理方法，其特征在于，包括：
2.根据权利要求1所述的血缘数据管理方法，其特征在于，在接收到第一目标任务的情况下，根据调度策略和所述血缘数据中的任务依赖，确定第二目标任务，包括：
3.根据权利要求1所述的血缘数据管理方法，其特征在于，确定出所述第二目标任务之后，所述方法还包括：
4.根据权利要求3所述的血缘数据管理方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的血缘数据管理方法，其特征在于，根据所述第二目标任务的所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。