数据血缘关系的确定方法技术

本申请公开了一种数据血缘关系的确定方法

【技术实现步骤摘要】
数据血缘关系的确定方法、装置、设备及可读存储介质


[0001]本申请实施例涉及大数据
，特别涉及一种数据血缘关系的确定方法
、
装置
、
设备及可读存储介质
。

技术介绍

[0002]随着石油勘探进程的不断发展，油田生产
、
勘探及开发等业务产生的石油数据越来越多，形成了庞大的数据资源池
。
在大数据背景下，通过确定大量的石油数据的血缘关系能够明晰石油数据的源头和流向，分析石油数据之间的影响关系，从而为油田生产
、
勘探
、
开发以及运维提供价值导向
。
其中，血缘关系是指数据在产生
、
处理
、
流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系
。

技术实现思路

[0003]本申请实施例提供了一种数据血缘关系的确定方法
、
装置
、
设备及可读存储介质，可用于通过确定大量的石油数据的血缘关系明晰石油数据的源头和流向，分析石油数据之间的影响关系
。
所述技术方案如下：
[0004]一方面，提供了一种数据血缘关系的确定方法，所述方法包括：
[0005]获取图谱模型，所述图谱模型包括多个对象类型以及所述多个对象类型之间的依赖关系，所述多个对象类型分别包括至少一个对象属性；
[0006]按照所述图谱模型对多个数据源中的石油数据进行采集，得到多个数据对象，第一数据对象对应第一对象类型，所述第一数据对象包括所述第一对象类型对应的至少一个对象属性以及与第二数据对象的依赖关系，所述第一数据对象为所述多个数据对象中的任一数据对象，所述第二数据对象为所述多个数据对象中除所述第一数据对象之外的任一数据对象，所述石油数据是在油田生产
、
勘探及开发的过程中产生的；
[0007]将所述多个数据对象按照所述多个对象类型进行分类，得到多个数据对象集；
[0008]根据所述多个数据对象集分别包括的各个数据对象的至少一个对象属性以及不同数据对象之间的依赖关系，确定所述多个数据对象之间的血缘关系
。
[0009]另一方面，提供了一种数据血缘关系的确定装置，所述装置包括：
[0010]获取模块，用于获取图谱模型，所述图谱模型包括多个对象类型以及所述多个对象类型之间的依赖关系，所述多个对象类型分别包括至少一个对象属性；
[0011]采集模块，用于按照所述图谱模型对多个数据源中的石油数据进行采集，得到多个数据对象，第一数据对象对应第一对象类型，所述第一数据对象包括所述第一对象类型对应的至少一个对象属性以及与第二数据对象的依赖关系，所述第一数据对象为所述多个数据对象中的任一数据对象，所述第二数据对象为所述多个数据对象中除所述第一数据对象之外的任一数据对象，所述石油数据是在油田生产
、
勘探及开发的过程中产生的；
[0012]分类模块，用于将所述多个数据对象按照所述多个对象类型进行分类，得到多个数据对象集；
[0013]确定模块，用于根据所述多个数据对象集分别包括的各个数据对象的至少一个对象属性以及不同数据对象之间的依赖关系，确定所述多个数据对象之间的血缘关系
。
[0014]另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的方法
。
[0015]另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的方法
。
[0016]另一方面，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中
。
计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一所述的方法
。
[0017]本申请实施例提供的技术方案至少带来如下有益效果：
[0018]本申请实施例提供的技术方案，通过建立的图谱模型对不同的数据源中的石油数据进行采集和血缘分析，提供了石油数据的全局性视角，从而能够为石油的生产
、
开发和运维提供决策基础
。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0020]图1是本申请实施例提供的一种实施环境的示意图；
[0021]图2是本申请实施例提供的一种数据血缘关系的确定方法的流程图；
[0022]图3是本申请实施例提供的一种图谱模型示意图；
[0023]图4是本申请实施例提供的一种表数据类型可视化展现示意图；
[0024]图5是本申请实施例提供的一种字段数据类型可视化展现示意图；
[0025]图6是本申请实施例提供的一种数据血缘关系的确定方法场景示意图；
[0026]图7是本申请实施例提供的一种数据血缘关系的确定装置的结构示意图；
[0027]图8是本申请实施例提供的一种服务器的结构示意图；
[0028]图9是本申请实施例提供的一种终端的结构示意图
。
具体实施方式
[0029]为使本申请的目的
、
技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述
。
[0030]需要说明的是，本申请的说明书中的术语“第一”、“第二”等
(
如果存在
)
是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实
施方式
。
相反，它们仅是与本申请的一些方面相一致的装置和方法的例子
。
[0031]本申请实施例提供了一种数据血缘关系的确定方法，请参考图1，其示出了本申请实施例提供的一种数据血缘关系的确定方法的实施环境示意图
。
如图1所示，该实施环境可以包括终端
11
和服务器
12
，终端
11
和服务器
12
通过有线或无线网络建立通信连接
。
[0032]其中，终端
11
能够采集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据血缘关系的确定方法，其特征在于，所述方法包括：获取图谱模型，所述图谱模型包括多个对象类型以及所述多个对象类型之间的依赖关系，所述多个对象类型分别包括至少一个对象属性；按照所述图谱模型对多个数据源中的石油数据进行采集，得到多个数据对象，第一数据对象对应第一对象类型，所述第一数据对象包括所述第一对象类型对应的至少一个对象属性以及与第二数据对象的依赖关系，所述第一数据对象为所述多个数据对象中的任一数据对象，所述第二数据对象为所述多个数据对象中除所述第一数据对象之外的任一数据对象，所述石油数据是在油田生产
、
勘探及开发的过程中产生的；将所述多个数据对象按照所述多个对象类型进行分类，得到多个数据对象集；根据所述多个数据对象集分别包括的各个数据对象的至少一个对象属性以及不同数据对象之间的依赖关系，确定所述多个数据对象之间的血缘关系
。2.
根据权利要求1所述方法，其特征在于，所述多个对象类型包括字段
、
表
、
视图
、
物化视图
、
函数
、
数据集
、
命名空间和版本中的至少两个；所述依赖关系包括外键关系
、
等级关系
、
包含关系
、
版本关系
、
数据项转换关系和映射关系中的至少一个；所述至少一个对象属性包括区域属性
、
业务属性
、
管理属性和时间属性中的至少一个
。3.
根据权利要求1所述方法，其特征在于，所述按照所述图谱模型对多个数据源中的石油数据进行采集，包括：通过采集适配器按照所述图谱模型对多个数据源中的石油数据进行采集，所述采集适配器通过通用接口分别与所述多个数据源连接，所述多个数据源包括表格数据库
、
元数据库
、
质控规则数据库和结构化查询语言
SQL
数据库中的至少两个，所述采集适配器支持提取所述多个对象类型的数据对象和数据对象之间的依赖关系
。4.
根据权利要求1所述方法，其特征在于，所述将所述多个数据对象按照所述多个对象类型进行分类，得到多个数据对象集，包括：对所述多个数据对象进行融合处理，将融合处理后的多个数据对象按照所述多个对象类型进行分类，得到所述多个数据对象集
。5.
根据权利要求1所述方法，其特征在于，所述根据所述多个数据对象集分别包括的各个数据对象的至少一个对象属性以及不同数据对象之间的依赖关系，确定所述多个数据对象之间的血缘关系，包括：对于所述多个数据对象中的任一数据对象，在所述任一数据对象所属的数据对象集中按业务需求进行遍历，获取至少一个同级数据对象，所述至少一个同级数据对象的至少一个对象属性与所述任一数据对象的至少一个对象属性之间的相似度大于相似度阈值；基于所述任一数据对象和所述至少一个同级数据对象分别包括的依赖关系，获取所...

【专利技术属性】
技术研发人员：南菊红，黄文俊，蒋克成，王志伟，夏璠，张阔，程宁，
申请(专利权)人：中国石油天然气集团有限公司，
类型：发明
国别省市：