【技术实现步骤摘要】
本申请涉及计算机，特别涉及一种数据处理方法及装置。
技术介绍
1、在现代企业环境中，数据处理流程日益复杂，涉及多个系统、平台和工具之间的交互。随着业务规模的扩大和技术的进步，数据不仅在数量上呈爆炸式增长，而且其处理方式也变得更加多样化。数据通常需要经过多次转换、加工和整合，才能最终转化为有价值的商业洞察或决策支持信息。
2、然而，这种复杂的处理过程带来了显著的挑战：数据从多个源头流入，经过一系列etl（extract, transform, load）作业和其他数据处理步骤后，再被存储到不同的目标系统中。由于这些操作频繁且多样，数据在其生命周期中的来源和流向变得极为模糊不清，导致数据问题难以追溯和定位。
技术实现思路
1、本申请所要解决的技术问题是提供一种数据处理方法，能够清晰地展示数据的血缘关系，便于数据追溯。
2、本申请还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。
3、一种数据处理方法，所述方法包括：
4、响应于数据处理指令，在数据流转过程中进行元数据采集，获得各个元数据；每个所述元数据包括所属数据实体的数据源信息、数据转换配置信息、数据存储信息以及数据访问记录；
5、将各个所述元数据存储到预设的图数据库中，并利用预设的血缘分析技术对所述图数据库中存储的元数据进行分析，获得各个所述元数据所属的数据实体之间的血缘关系；
6、将各个所述数据实体之间的血缘关系进行可视化展示。
7、
8、在检测到针对所述数据实体的操作时，根据所述操作更新所述图数据库中存储的所述数据实体的元数据，以更新所述数据实体血缘关系。
9、上述的方法，可选的，所述将各个所述数据实体之间的血缘关系进行可视化展示之后，还包括：
10、确定用户选择的起始节点；
11、根据所述起始节点查询预设的图数据库，以确定所述起始节点的数据链路；所述数据链路包括所述起始节点的上游链路和下游链路中的至少一种；
12、显示所述数据链路。
13、上述的方法，可选的，所述在数据流转过程中进行元数据采集，获得各个元数据，包括：
14、对所述数据处理指令进行解析，获得采集需求信息；
15、根据所述采集需求信息在数据流转过程中进行元数据采集，获得所述采集需求信息对应的元数据。
16、上述的方法，可选的，所述利用预设的血缘分析技术对所述图数据库中存储的元数据进行分析，获得各个所述元数据所属的数据实体之间的血缘关系，包括：
17、利用预设的血缘分析技术对所述图数据库中存储的元数据进行分析，获得每个所述元数据所属的数据实体之间的依赖关系；
18、将每个所述数据实体作为节点，将每个所述元数据所属的数据实体之间的依赖关系作为边，以构建各个所述数据实体的血缘图谱，获得各个所述元数据所属的数据实体之间的血缘关系。
19、一种数据处理装置，包括：
20、执行单元，用于响应于数据处理指令，在数据流转过程中进行元数据采集，获得各个元数据；每个所述元数据包括所属数据实体的数据源信息、数据转换配置信息、数据存储信息以及数据访问记录；
21、分析单元，用于将各个所述元数据存储到预设的图数据库中，并利用预设的血缘分析技术对所述图数据库中存储的元数据进行分析，获得各个所述元数据所属的数据实体之间的血缘关系；
22、展示单元，用于将各个所述数据实体之间的血缘关系进行可视化展示。
23、上述的装置，可选的，还包括：
24、检测单元，用于在检测到针对所述数据实体的操作时，根据所述操作更新所述图数据库中存储的所述数据实体的元数据，以更新所述数据实体血缘关系。
25、上述的装置，可选的，还包括：
26、确定单元，用于确定用户选择的起始节点；
27、查询单元，用于根据所述起始节点查询预设的图数据库，以确定所述起始节点的数据链路；所述数据链路包括所述起始节点的上游链路和下游链路中的至少一种；
28、显示单元，用于显示所述数据链路。
29、上述的装置，可选的，所述执行单元，包括：
30、解析子单元，用于对所述数据处理指令进行解析，获得采集需求信息；
31、采集子单元，用于根据所述采集需求信息在数据流转过程中进行元数据采集，获得所述采集需求信息对应的元数据。
32、上述的装置，可选的，所述分析单元，包括：
33、分析子单元，用于利用预设的血缘分析技术对所述图数据库中存储的元数据进行分析，获得每个所述元数据所属的数据实体之间的依赖关系；
34、执行子单元，用于将每个所述数据实体作为节点，将每个所述元数据所属的数据实体之间的依赖关系作为边，以构建各个所述数据实体的血缘图谱，获得各个所述元数据所属的数据实体之间的血缘关系。
35、一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上所述的数据处理方法。
36、一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上所述的数据处理方法。
37、与现有技术相比，本申请包括以下优点：
38、本申请提供了一种数据处理方法及装置，所述方法包括：响应于数据处理指令，在数据流转过程中进行元数据采集，获得各个元数据；每个所述元数据包括所属数据实体的数据源信息、数据转换配置信息、数据存储信息以及数据访问记录；将各个所述元数据存储到预设的图数据库中，并利用预设的血缘分析技术对所述图数据库中存储的元数据进行分析，获得各个所述元数据所属的数据实体之间的血缘关系；将各个所述数据实体之间的血缘关系进行可视化展示。在本申请提供的实施例中，能够清晰地展示数据的血缘关系，便于数据追溯。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将各个所述数据实体之间的血缘关系进行可视化展示之后，还包括：
3.根据权利要求1所述的方法，其特征在于，所述将各个所述数据实体之间的血缘关系进行可视化展示之后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述在数据流转过程中进行元数据采集，获得各个元数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述利用预设的血缘分析技术对所述图数据库中存储的元数据进行分析，获得各个所述元数据所属的数据实体之间的血缘关系，包括：
6.一种数据处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，还包括：
8.根据权利要求6所述的装置，其特征在于，还包括：
9.根据权利要求6所述的装置，其特征在于，所述执行单元，包括：
10.根据权利要求6所述的装置，其特征在于，所述分析单元，包括：
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将各个所述数据实体之间的血缘关系进行可视化展示之后，还包括：
3.根据权利要求1所述的方法，其特征在于，所述将各个所述数据实体之间的血缘关系进行可视化展示之后，还包括：
4.根据权利要求1所述的方法，其特征在于，所述在数据流转过程中进行元数据采集，获得各个元数据，包括：
5.根据权利要求1所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：李芷晴，汤表贤，黄钟娇，吴恒，
申请(专利权)人：海南金盘智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。