【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
1、数据仓库具有大容量、高复杂、宽兼容的特性。作为企业日常经营的数据底座，随着企业规模的发展，数据仓库中的存量和数据增量日益增长。例如，在信息技术系统的优化过程(如指标体系改造、链路设计优化、密码安全改造等等)，往往都会上线一套新的设计链路，导致数据仓库中的数据量增长。另外，经营方向变更、公司战略方向更改等，也会进行新旧数据报表更迭，同样会造成数据仓库中的数据量增长。而随着数据仓库中数据量的增长，硬件资源成本也急剧增长。
2、为解决前述问题，现有技术在进行数据处理时，采用了多种方式对冗余的数据进行下线。然而，当前的数据处理方式通常是针对单个或者少数任务，并且是在调度平台逐个进行处理。这种处理方式的耗时较长。针对繁杂且复杂的数据依赖网络，大批量的待下线数据如何高效地下线，成为了亟待解决的技术问题。
技术实现思路
1、本申请实施例的主要目的在于提出一种数据处理方法、装置、电子设备及存储介质，旨在提高数据下线的效率。
2、为实现上述目的，本申请实施例的第一方面提出了一种数据处理方法，所述方法包括：
3、从数据仓库中获取待下线数据，所述待下线数据包括待下线的任务和/或数据表；
4、在所述待下线数据不存在下游依赖数据的情况下，对所述待下线数据进行下线，所述下游依赖数据是与所述待下线数据相关的下游数据，所述下游依赖数据包括外部下游数据、内部下游数据、授权用户数据中
5、在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线。
6、在一些实施例，所述在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线，包括：
7、在所述待下线数据存在所述下游依赖数据的情况下，若所述下游依赖数据包括所述内部下游数据，则获取所述内部下游数据的运行状态；
8、在所述内部下游数据的运行状态为非正常工作状态的情况下，对所述待下线数据和所述内部下游数据进行下线，所述非正常工作状态为暂停状态或者失败状态。
9、在一些实施例，所述在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线，包括：
10、在所述待下线数据存在所述下游依赖数据的情况下，若所述下游依赖数据包括所述外部下游数据和/或授权用户数据，则切换所述外部下游数据和/或授权用户数据的链路；
11、在所述外部下游数据和/或授权用户数据的链路切换完成的情况下，对所述待下线数据进行下线，所述链路切换用于将所述外部下游数据和/或授权用户数据引用的所述待下线数据切换为预设数据。
12、在一些实施例，在所述从数据仓库中获取待下线数据之后，所述方法还包括：
13、获取与所述待下线数据相关的元数据；
14、若所述待下线数据包括待下线的任务，则对所述元数据进行数据解析，获取所述待下线的任务的下游依赖数据，所述下游依赖数据包括外部下游数据和/或内部下游数据；
15、若所述待下线数据包括待下线的数据表，则对所述元数据进行数据解析，获取所述待下线的数据表的下游依赖数据，所述下游依赖数据包括外部下游数据、内部下游数据和授权用户数据中的至少一项。
16、在一些实施例，对所述待下线数据进行下线，包括：
17、若所述待下线数据包括待下线的任务，对所述待下线的任务进行删除；
18、或者，
19、若所述待下线数据包括待下线的数据表，对所述待下线的数据表进行重命名，得到重命名结果；
20、在所述重命名结果指示对所述待下线的数据表进行重命名成功的情况下，若预设时间段内未接收到数据表回滚指令，则删除所述待下线的数据表；
21、或者，
22、若所述待下线数据包括待下线的任务和待下线的数据表，则依次完成如下步骤：
23、停止所述待下线的任务，并存储所述待下线的任务的停止时间；
24、对所述待下线的数据表进行重命名；
25、删除所述待下线的数据表；
26、删除所述待下线的任务。
27、在一些实施例，所述待下线数据包括待下线的数据表，所述待下线的数据表的下游依赖数据包括授权用户数据；
28、在删除所述待下线的数据表之前，所述方法还包括：
29、根据所述授权用户数据，对所述待下线的数据表所授予的权限进行回收。
30、在一些实施例，对所述待下线数据进行下线之前，所述方法还包括：
31、获取与所述待下线数据相关的元数据，并对所述元数据进行数据解析，得到解析结果；
32、根据所述解析结果和所述待下线数据，得到与所述待下线数据相关的映射关系模型，所述映射关系模型包括多个节点，多个所述节点包括一个根节点以及所述根节点的子节点，所述子节点包括叶子节点；
33、将所述待下线数据与所述映射关系模型中的所述叶子节点存储的数据进行匹配，并在匹配成功时，对所述待下线数据进行下线。
34、为实现上述目的，本申请实施例的第二方面提出了一种数据处理装置，所述装置包括：
35、数据获取模块，用于从数据仓库中获取待下线数据，所述待下线数据包括待下线的任务和/或数据表；
36、第一数据处理模块，用于在所述待下线数据不存在下游依赖数据的情况下，对所述待下线数据进行下线，所述下游依赖数据是与所述待下线数据相关的下游数据，所述下游依赖数据包括外部下游数据、内部下游数据、授权用户数据中至少一项，所述外部下游数据是与所述待下线数据存在依赖关系的所述数据仓库外部的下游数据，所述内部下游数据是与所述待下线数据存在依赖关系的所述数据仓库内部的下游数据，所述授权用户数据是所述待下线数据对所述数据仓库外部的下游用户的授权信息；
37、第二数据处理模块，用于在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线。
38、为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据处理方法。
39、为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的数据处理方法。
40、本申请提出的数据处理方法、装本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线，包括：
3.根据权利要求1所述的方法，其特征在于，所述在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线，包括：
4.根据权利要求1所述的方法，其特征在于，在所述从数据仓库中获取待下线数据之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，对所述待下线数据进行下线，包括：
6.根据权利要求5所述的方法，其特征在于，所述待下线数据包括待下线的数据表，所述待下线的数据表的下游依赖数据包括授权用户数据；
7.根据权利要求1所述的方法，其特征在于，对所述待下线数据进行下线之前，所述方法还包括：
8.一种数据处理装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线，包括：
3.根据权利要求1所述的方法，其特征在于，所述在所述待下线数据存在所述下游依赖数据的情况下，按照所述下游依赖数据对应的下线规则，对所述待下线数据进行下线，包括：
4.根据权利要求1所述的方法，其特征在于，在所述从数据仓库中获取待下线数据之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，对所述待下线数据进行下线，包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：李远瞳，蔡静，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。