System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 元数据的治理平台系统、方法及计算机可读存储介质技术方案_技高网

元数据的治理平台系统、方法及计算机可读存储介质技术方案

技术编号:43901012 阅读:1 留言:0更新日期:2025-01-03 13:12
本申请适用于数据技术领域,提供了一种元数据的治理平台系统、方法及计算机可读存储介质,从源头上规范数据的存储结构、数据类型和命名规则,保证数据的一致性和规范性,本申请具有实用性和易用性。该元数据的治理平台系统通过集成数据标准定义模块、标准化处理模块和元数据处理模块,通过在数据仓库的数据建表环节,根据已发布的数据标准来规范字段属性的设置,并达到控制元数据的效果,实现元数据治理的自动化和智能化,降低人工干预的成本,提升元数据治理的效率和准确性,解决数据标准难以在元数据管理中得到有效执行的问题。

【技术实现步骤摘要】

本申请属于数据处理,尤其涉及一种元数据的治理平台系统、方法及计算机可读存储介质


技术介绍

1、在当前的数字化时代,企业面临着海量数据的收集、存储、分析及利用的挑战。数据仓库(data warehouse)作为数据存储和分析的核心基础设施,其重要性日益凸显。然而,随着企业数据量的爆炸性增长和数据来源的多样化,数据仓库中的元数据管理变得愈发复杂和困难。

2、在数据仓库的建设和管理过程中,元数据(metadata)作为“数据的数据”,扮演着至关重要的角色。元数据不仅描述了数据的结构、内容、来源和转换过程,还提供了数据质量、访问权限、安全级别等重要信息。然而,现有的元数据管理方案数据标准与元数据管理往往是两个独立的过程,缺乏有效的联动机制,导致数据标准难以在实际的元数据管理中得到有效执行。


技术实现思路

1、本申请实施例提供了元数据的治理平台系统、方法及计算机可读存储介质,可以解决数据标准难以在实际的元数据管理中得到有效执行的问题。

2、第一方面,本申请实施例提供了一种元数据的治理平台系统,包括:

3、数据标准定义模块,用于定义第一数据标准字段的属性信息;

4、标准化处理模块,用于根据属性信息创建第一数据标准字段,并为第一数据标准字段创建唯一的标识符;以及,用于判断标准码表中是否存在与第一数据标准字段的属性信息相同的第二数据标准字段;若否,则为第一数据标准字段创建订阅通道,订阅通道用于支持第一数据标准字段分别与数据仓库的第一数据仓表字段建立第一映射关系;

5、元数据处理模块,用于在第一数据标准字段与第一数据仓表字段建立第一映射关系时,通过订阅通道将元数据与第一数据标准字段建立第二映射关系,并将元数据存入元数据表中;以及,用于获取对应于第一映射关系的第一数据仓表字段在数据仓库中的第一存储位置;根据第一存储位置将元数据存入元数据表的第二存储位置。

6、第二方面,本申请实施例提供了一种用于如前述的元数据的治理平台系统的方法,应用于治理平台系统,方法包括:

7、数据标准定义模块定义第一数据标准字段的属性信息;

8、标准化处理模块根据属性信息创建第一数据标准字段,并为第一数据标准字段创建唯一的标识符;

9、标准化处理模块判断标准码表中是否存在与第一数据标准字段的属性信息相同的第二数据标准字段;若否,则标准化处理模块为第一数据标准字段创建订阅通道,订阅通道用于支持第一数据标准字段分别与数据仓库的第一数据仓表字段建立第一映射关系;

10、当第一数据标准字段与第一数据仓表字段建立第一映射关系时,元数据处理模块通过订阅通道将元数据与第一数据标准字段建立第二映射关系,并将元数据存入元数据表中;

11、元数据处理模块获取对应于第一映射关系的第一数据仓表字段在数据仓库中的第一存储位置;元数据处理模块根据第一存储位置将元数据存入元数据表的第二存储位置。

12、第三方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中所述的元数据的治理平台系统。

13、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

14、本申请实施例与现有技术相比存在的有益效果是:本申请元数据的治理平台系统包括数据标准定义模块,用于定义第一数据标准字段的属性信息;标准化处理模块,用于根据属性信息创建第一数据标准字段,并为第一数据标准字段创建唯一的标识符;以及,用于判断标准码表中是否存在与第一数据标准字段的属性信息相同的第二数据标准字段;若否,则为第一数据标准字段创建订阅通道,订阅通道用于支持第一数据标准字段分别与数据仓库的第一数据仓表字段建立第一映射关系;元数据处理模块,用于在第一数据标准字段与第一数据仓表字段建立第一映射关系时,通过订阅通道将元数据与第一数据标准字段建立第二映射关系,并将元数据存入元数据表中;以及,用于获取对应于第一映射关系的第一数据仓表字段在数据仓库中的第一存储位置;根据第一存储位置将元数据存入元数据表的第二存储位置。本申请通过在数据仓库的数据建表环节,根据已发布的数据标准来规范字段属性的设置,并达到控制元数据的效果,保证数据的一致性和规范性,本申请具有实用性和易用性。

本文档来自技高网...

【技术保护点】

1.一种元数据的治理平台系统,其特征在于,包括:

2.如权利要求1所述的元数据的治理平台系统,其特征在于,所述标准化处理模块还包括权限控制子模块,所述权限控制子模块用于对所述标准化处理模块进行创建、修改、删除所述第一数据标准字段进行权限设置。

3.如权利要求2所述的元数据的治理平台系统,其特征在于,所述权限控制子模块用于判断当前系统账号是否为授权账号;若是,则将所述权限控制子模块用于对所述标准化处理模块进行创建、修改的权限设置为开启;

4.如权利要求1所述的元数据的治理平台系统,其特征在于,所述元数据处理模块包括监听子模块,所述监听子模块用于监听所述第一数据标准字段是否与所述第一数据仓表字段建立所述第一映射关系。

5.如权利要求1所述的元数据的治理平台系统,其特征在于,所述属性信息包括属性类型、与所述属性类型对应的属性值范围。

6.如权利要求5所述的元数据的治理平台系统,其特征在于,所述属性类型包括字段名称、数据类型、长度、约束条件中的一个或多个。

7.如权利要求1所述的元数据的治理平台系统,其特征在于,所述元数据处理模块还包括分级子模块,所述分级子模块用于根据所述第一数据仓表字段在所述数据仓库中的第一存储位置为所述元数据配置预设等级;

8.如权利要求1所述的元数据的治理平台系统,其特征在于,所述元数据表存储在分布式存储系统中,所述分布式存储系统包括三个以上节点,所有节点均能够互相通信,其中,第一节点为leader节点,剩余节点为follower节点;所述leader节点用于存入所述元数据,所述follower节点用于复制所述lead节点中存储的数据;

9.一种用于如权利要求1所述的元数据的治理平台系统的方法,其特征在于,应用于治理平台系统,所述方法包括:

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求9所述的方法。

...

【技术特征摘要】

1.一种元数据的治理平台系统,其特征在于,包括:

2.如权利要求1所述的元数据的治理平台系统,其特征在于,所述标准化处理模块还包括权限控制子模块,所述权限控制子模块用于对所述标准化处理模块进行创建、修改、删除所述第一数据标准字段进行权限设置。

3.如权利要求2所述的元数据的治理平台系统,其特征在于,所述权限控制子模块用于判断当前系统账号是否为授权账号;若是,则将所述权限控制子模块用于对所述标准化处理模块进行创建、修改的权限设置为开启;

4.如权利要求1所述的元数据的治理平台系统,其特征在于,所述元数据处理模块包括监听子模块,所述监听子模块用于监听所述第一数据标准字段是否与所述第一数据仓表字段建立所述第一映射关系。

5.如权利要求1所述的元数据的治理平台系统,其特征在于,所述属性信息包括属性类型、与所述属性类型对应的属性值范围。

6.如权利要求5所述的元数据的治理平台系统,其特征在于,所述属性类...

【专利技术属性】
技术研发人员:孙平逸夫周文明
申请(专利权)人:四川开物信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1