System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于数据虚拟化的数据调用方法、装置、存储介质及服务器制造方法及图纸_技高网

基于数据虚拟化的数据调用方法、装置、存储介质及服务器制造方法及图纸

技术编号:40521477 阅读:11 留言:0更新日期:2024-03-01 13:39
本申请公开了一种基于数据虚拟化的数据调用方法、装置、存储介质及服务器。该方法包括:基于母数据血缘图生成与每个数据库相对应的子数据血缘图;给每个子数据血缘图分配相对应的唯一识别信息,并对每个子数据血缘图之间的流程与生成关系进行记录;基于子数据血缘图和数据库类型生成数据查询脚本;通过数据查询脚本查询获取相应的源数据集;先将唯一识别信息和源数据集进行关联,再依照关联关系通过源数据集替换子数据血缘图,最后基于每个子数据血缘图之间的流程与生成关系生成目标数据血缘图;基于目标数据血缘图和源数据集,得到目标数据集。本申请解决了不能实现跨数据库的数据关联调用分析,且对于数据开发人员要求比较高的技术问题。

【技术实现步骤摘要】

本申请涉及大数据,具体而言,涉及一种基于数据虚拟化的数据调用方法、装置、存储介质及服务器


技术介绍

1、现有技术中的b i平台与多个不同的数据库建立连接,需要基于不同的数据库类型编写对应的sql语法,然后在对应的数据库跑数据,并返回给b i平台,一方面不能实现跨数据库的数据关联调用分析,二方面对于数据分析师等数据开发人员要求比较高。

2、针对相关技术中不能实现跨数据库的数据关联调用分析,且对于数据开发人员要求比较高的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请的主要目的在于提供一种基于数据虚拟化的数据调用方法、装置、存储介质及服务器,以解决不能实现跨数据库的数据关联调用分析,且对于数据开发人员要求比较高的问题。

2、为了实现上述目的,根据本申请的一个方面,提供了一种基于数据虚拟化的数据调用方法。

3、根据本申请的基于数据虚拟化的数据调用方法包括:接收不同数据库的数据字典信息;根据数据字典信息构建数据调用模型,并基于数据调用模型生成母数据血缘图;基于母数据血缘图生成与每个数据库相对应的至少一个子数据血缘图;给每个子数据血缘图分配相对应的唯一识别信息,并对每个子数据血缘图之间的流程与生成关系进行记录;基于子数据血缘图和数据库类型生成数据查询脚本;通过数据查询脚本查询获取相应的源数据集;先将唯一识别信息和源数据集进行关联,再依照关联关系通过源数据集替换子数据血缘图,最后基于每个子数据血缘图之间的流程与生成关系生成目标数据血缘图;基于目标数据血缘图和源数据集,得到目标数据集。

4、进一步的,接收不同数据库的数据字典信息包括:数据虚拟化管理器与多个不同类型的数据库对接,获取多个不同数据库中的数据字典信息,其中,所述数据字典信息至少包括数据库名、数据表名、字段名、字段相关信息、条件和域。

5、进一步的,基于数据字典信息构建数据调用模型包括:采用图标或线条对所述数据字典信息中的一个或多个数据库、数据表、字段、字段相关信息、条件和域的调用关系进行表示,得到数据调用模型;先创建一个虚拟库,然后对于数据调用模型中的中间数据集对应虚拟库生成虚拟表和虚拟字段,最后依据数据调用模型的图标和线条、设置的条件、关联规则生成母数据血缘图。

6、进一步的,基于母数据血缘图生成与每个数据库相对应的至少一个子数据血缘图包括:对于由单个数据库的数据表生成的母数据血缘图,将该母数据血缘图作为该数据库的子数据血缘图;对于由多个数据库的数据表生成的母数据血缘图,将所述母数据血缘图拆分为相对应虚拟库或实体库的至少一个子数据血缘图。

7、进一步的,基于子数据血缘图和数据库类型生成数据查询脚本包括:根据子数据血缘图和数据库类型在脚本库确定相应的脚本内容,得到相应的数据查询脚本。

8、为了实现上述目的,根据本申请的另一方面,提供了一种基于数据虚拟化的数据调用装置。

9、根据本申请的基于数据虚拟化的数据调用装置包括:接收模块,用于接收不同数据库的数据字典信息;构建生成模块,用于根据数据字典信息构建数据调用模型,并基于数据调用模型生成母数据血缘图;拆分模块,用于基于母数据血缘图生成与每个数据库相对应的目标数据血缘图;分配模块,用于给每个子数据血缘图分配相对应的唯一识别信息,并对每个子数据血缘图之间的流程与生成关系进行记录;脚本生成模块,用于基于子数据血缘图和数据库类型生成数据查询脚本;查询模块,用于通过数据查询脚本查询获取相应的源数据集;关联模块,用于先将唯一识别信息和源数据集进行关联,再依照关联关系通过源数据集替换子数据血缘图,最后基于每个子数据血缘图之间的流程与生成关系生成目标数据血缘图;获取模块,用于基于母数据血缘图和源数据集,得到目标数据集。

10、进一步的,接收模块包括:数据虚拟化管理器与多个不同类型的数据库对接,获取多个不同数据库中的数据字典信息,其中,所述数据字典信息至少包括数据库名、数据表名、字段名、字段相关信息、条件和域。

11、进一步的,构建生成模块包括:采用图标或线条对所述数据字典信息中的一个或多个数据库、数据表、字段、字段相关信息、条件和域的调用关系进行表示,得到数据调用模型;先创建一个虚拟库,然后对于数据调用模型中的中间数据集对应虚拟库生成虚拟表和虚拟字段,最后依据数据调用模型的图标和线条、设置的条件、关联规则生成母数据血缘图。

12、为了实现上述目的,根据本申请的另一方面,提供了一种计算机可读存储介质。

13、根据本申请的计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述的基于数据虚拟化的数据调用方法。

14、为了实现上述目的,根据本申请的另一方面,提供了一种服务器。

15、根据本申请的服务器,包括:存储器和处理器,所述存储器中存储有计算机程序,其中,所述处理器被设置为运行所述计算机程序以执行所述的基于数据虚拟化的数据调用方法。

16、在本申请实施例中,采用基于数据虚拟化的数据调用的方式,通过接收不同数据库的数据字典信息;根据数据字典信息构建数据调用模型,并基于数据调用模型生成母数据血缘图;基于母数据血缘图生成与每个数据库相对应的至少一个子数据血缘图;给每个子数据血缘图分配相对应的唯一识别信息,并对每个子数据血缘图之间的流程与生成关系进行记录;基于子数据血缘图和数据库类型生成数据查询脚本;通过数据查询脚本查询获取相应的源数据集;先将唯一识别信息和源数据集进行关联,再依照关联关系通过源数据集替换子数据血缘图,最后基于每个子数据血缘图之间的流程与生成关系生成目标数据血缘图;基于目标数据血缘图和源数据集,得到目标数据集;达到了自动适配任意数据库类型所对应的sql语法的目的,从而实现了能够跨数据库的数据关联调用分析,且降低对开发人员的要求的技术效果,进而解决了不能实现跨数据库的数据关联调用分析,且对于数据开发人员要求比较高的技术问题。

本文档来自技高网...

【技术保护点】

1.一种基于数据虚拟化的数据调用方法,其特征在于,包括:

2.根据权利要求1所述的数据调用方法,其特征在于,接收不同数据库的数据字典信息包括:

3.根据权利要求1所述的数据调用方法,其特征在于,根据数据字典信息构建数据调用模型,并基于数据调用模型生成母数据血缘图包括:

4.根据权利要求1所述的数据调用方法,其特征在于,基于母数据血缘图生成与每个数据库相对应的至少一个子数据血缘图包括:

5.根据权利要求1所述的数据调用方法,其特征在于,基于子数据血缘图和数据库类型生成数据查询脚本包括:

6.一种基于数据虚拟化的数据调用装置,其特征在于,包括:

7.根据权利要求1所述的数据调用装置,其特征在于,接收模块包括:

8.根据权利要求1所述的数据调用装置,其特征在于,构建生成模块包括:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7中任一项所述的基于数据虚拟化的数据调用方法。

10.一种服务器,包括:存储器和处理器,其特征在于,所述存储器中存储有计算机程序,其中,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的基于数据虚拟化的数据调用方法。

...

【技术特征摘要】

1.一种基于数据虚拟化的数据调用方法,其特征在于,包括:

2.根据权利要求1所述的数据调用方法,其特征在于,接收不同数据库的数据字典信息包括:

3.根据权利要求1所述的数据调用方法,其特征在于,根据数据字典信息构建数据调用模型,并基于数据调用模型生成母数据血缘图包括:

4.根据权利要求1所述的数据调用方法,其特征在于,基于母数据血缘图生成与每个数据库相对应的至少一个子数据血缘图包括:

5.根据权利要求1所述的数据调用方法,其特征在于,基于子数据血缘图和数据库类型生成数据查询脚本包括:

6.一种基于数据虚拟化的数据调用装...

【专利技术属性】
技术研发人员:章志容
申请(专利权)人:东莞盟大集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1