大数据治理中基于元数据实现数据标准与数据质量关联处理的方法技术

本发明专利技术涉及一种大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，包括(1)采集元数据；(2)导入企业数据标准；(3)将元数据按照数据标准进行归类，并以数据标准编号为关键字段进行存储；(4)根据数据标准制定数据质量标准；(5)根据数据质量标准编写质量规则；(6)根据质量规则检核元数据。采用了本发明专利技术的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，打破了企业在数据治理中业务需求与技术需求上的壁垒，可以根据数据标准要求给出整改意见，真正做到了以业务为目标，以技术为手段，实现了在企业大数据治理中的完整闭环，对企业提高数据质量、规范数据定义，保证数据资产的有效管理具有重要意义，具有很好的推广应用价值。

Data Standard and Data Quality Association Processing Based on Metadata in Big Data Governance

【技术实现步骤摘要】
大数据治理中基于元数据实现数据标准与数据质量关联处理的方法
本专利技术涉及计算机软件领域，尤其涉及大数据治理领域，具体是指一种大数据治理中基于元数据实现数据标准与数据质量关联处理的方法。
技术介绍
随着大数据技术的快速发展，越来越多的企业开始关注自身的数据问题，开始在企业数据管理和数据规划中使用一定手段进行数据管控，如采用元数据系统来管理企业元数据，或采用数据质量系统来识别企业的问题数据，提高数据质量，或聘请咨询公司帮助企业梳理数据标准。这些手段在一定程度上可以帮助企业提升数据质量，实现数据治理的效果，而随着企业信息化建设步伐加快，企业面临越来越多的数据问题，仅从一个视角去管理数据，已无法满足企业对数据治理的需求。因此，这就需要打通元数据、数据标准、数据质量三者的维度壁垒，通过数据标准制定质量规则，通过质量规则检核元数据，通过元数据找到对应的数据标准，让数据问题有据可查、有法可依，从而提高数据质量、规范数据定义，保证数据资产的有效管理，构建良性闭环的数据管控体系。现有大数据治理相关技术如下：(1)数据治理中的数据血缘关系可视化图形系统(申请号：201711383801.0)，其提供一种数据治理中的数据血缘关系可视化图形系统，包括信息节点，还包含以下模块：数据流转线路；是指所述数据流转的路径；抽取策略节点、清洗规则节点、转换规则节点、加载规则节点和处理规则节点中至少一种节点所述抽取策略节点用于说明数据是如何抽取的；所述清洗规则节点用于表示所述数据流转过程中所述数据的筛选标准；所述转换规则节点用于表示所述数据流转过程中所述数据的变化标准；所述加载规则节点用于说明数据是如何入库的；所述处理规则节点用于表示所述数据归档或销毁。该申请通过不同层级的血缘关系，可以很清楚的了解数据的迁徙流转，为数据价值的评估、数据的提供了依据。(2)一种数据标准处理方法、装置及其存储介质(申请号：201811356788.4)其提供了一种数据标准处理方法、装置及其存储介质，涉及大数据处理
所述数据标准处理方法包括：从存储生产源数据的业务数据库采集元数据；从所述元数据中抽象出N个数据标准，所述N个数据标准至少包括标准名称，N为正整数；选择所述N个数据标准中的M个构成数据标准集，M为小于N的正整数；基于所述数据标准集生成校验结果表。该数据标准处理方法基于元数据的数据标准构成数据标准集，提高了数据标准的相关性。通过上述数据治理中的数据血缘关系可视化图形系统的技术，通过采集数据流转线路：抽取策略节点、清洗规则节点、转换规则节点、加载规则节点和处理规则节点中至少一种节点的方式可以实现元数据的血缘关系，了解数据的迁徙流转，为数据价值的评估、数据的提供依据。但缺乏与数据标准的关联，无法建立元数据与数据标准的快速溯源，更无法依靠元数据发现企业的问题数据，因此无法实现企业大数据治理的良性闭环。通过上述一种数据标准处理方法、装置及其存储介质的技术：从存储生产源数据的业务数据库采集元数据；从所述元数据中抽象出N个数据标准，所述N个数据标准至少包括标准名称，N为正整数；选择所述N个数据标准中的M个构成数据标准集，M为小于N的正整数；基于所述数据标准集生成校验结果表。其数据标准的来源是元数据，而元数据来源于各业务系统的数据库，因此，需要事先确保各业务系统数据库是完全按照企业标准建设的，否则一旦元数据的正确性出现偏差，由此提炼出的数据标准将变得毫无意义，对应的数据质量也将缺乏真实性、可用性。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种数据质量高、真实性高、可用性好的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法。为了实现上述目的，本专利技术的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法如下：该大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，其主要特点是，所述的方法包括以下步骤：(1)采集元数据；(2)导入企业数据标准；(3)将元数据按照数据标准进行归类，并以数据标准编号为关键字段进行存储；(4)根据数据标准制定数据质量标准；(5)根据数据质量标准编写质量规则；(6)根据质量规则检核元数据。较佳地，所述的步骤(1)具体包括以下步骤：(1.1)获取数据源配置，通过元数据适配器扫描数据源中的数据库信息；(1.2)对数据进行转换，将数据写入元数据系统。较佳地，所述的步骤(1.1)中的数据库信息包括数据库的组织及结构、表名、字段名、视图、关系、主键和外键。较佳地，所述的步骤(2)具体包括以下步骤：(2.1)将企业数据标准整理至元数据可识别的文件模版中；(2.2)以元数据采集的方式将数据标准导入至元数据系统；(2.3)将数据标准作为独立的元数据进行管理。较佳地，所述的步骤(3)中的数据标准适用多个元数据，单个元数据只对应单条数据标准。较佳地，所述的步骤(4)具体包括以下步骤：(4.1)将数据质量标准导入元数据系统，作为独立的元数据进行管理。较佳地，所述的步骤(4)中的数据标准对应多条数据质量标准，单条数据质量标准只对应单条数据标准。较佳地，所述的步骤(5)中的数据质量标准对应多条质量规则，单条质量规则只来自于单条数据质量标准。较佳地，所述的步骤(5)中的质量规则包括检测范围、检测属性和检测规则。较佳地，所述的步骤(6)具体包括以下步骤：(6.1)执行质量规则，并收集在执行过程中产生的问题数据；(6.2)根据数据的字段名和所属表名查出对应的元数据，获取元数据对应的数据标准；(6.3)将检核信息整理并形成数据质量报告。采用了本专利技术的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，由于通过元数据、数据标准、数据质量三者的关联，打破了企业在数据治理中业务需求与技术需求上的壁垒，通过数据标准制定数据质量，数据质量检核元数据，达到了对数据质量管控师出有名的目的，同时，在发现企业问题数据时能提供出该问题对应的业务依据，另外，还可以根据数据标准要求给出整改意见，真正做到了以业务为目标，以技术为手段，实现了在企业大数据治理中的完整闭环，对企业提高数据质量、规范数据定义，保证数据资产的有效管理具有重要意义，具有很好的推广应用价值。附图说明图1为本专利技术的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法的流程示意图。图2为本专利技术的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法的元数据、数据标准、质量标准、质量规则的关系图。图3为本专利技术的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法的实施例的所用数据资产平台各模块的功能架构图。图4为本专利技术的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法的质量规则检核流程图。具体实施方式为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。本专利技术的该大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，其中包括以下步骤：(1)采集元数据；(1.1)获取数据源配置，通过元数据适配器扫描数据源中的数据库信息；(1.2)对数据进行转换，将数据写入元数据系统；(2)导入企业数据标准；(2.1)将企业数据标准整理至元数据可识别的文件模版中；(2.2)以元数据采集的方式将数据标准导入至元数据系统；(2.3)将数据标准作为本文档来自技高网...

【技术保护点】
1.一种大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，其特征在于，所述的方法包括以下步骤：(1)采集元数据；(2)导入企业数据标准；(3)将元数据按照数据标准进行归类，并以数据标准编号为关键字段进行存储；(4)根据数据标准制定数据质量标准；(5)根据数据质量标准编写质量规则；(6)根据质量规则检核元数据。

【技术特征摘要】
1.一种大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，其特征在于，所述的方法包括以下步骤：(1)采集元数据；(2)导入企业数据标准；(3)将元数据按照数据标准进行归类，并以数据标准编号为关键字段进行存储；(4)根据数据标准制定数据质量标准；(5)根据数据质量标准编写质量规则；(6)根据质量规则检核元数据。2.根据权利要求1所述的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，其特征在于，所述的步骤(1)具体包括以下步骤：(1.1)获取数据源配置，通过元数据适配器扫描数据源中的数据库信息；(1.2)对数据进行转换，将数据写入元数据系统。3.根据权利要求2所述的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，其特征在于，所述的步骤(1.1)中的数据库信息包括数据库的组织及结构、表名、字段名、视图、关系、主键和外键。4.根据权利要求1所述的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法，其特征在于，所述的步骤(2)具体包括以下步骤：(2.1)将企业数据标准整理至元数据可识别的文件模版中；(2.2)以元数据采集的方式将数据标准导入至元数据系统；(2.3)将数据标准作为独立的元数据进行管理。5.根据权利要求1所述的大数据治理中基于元数据实现数据标准与数据质量关联处理的...

【专利技术属性】
技术研发人员：滑少鹏，王克强，
申请(专利权)人：普元信息技术股份有限公司，
类型：发明
国别省市：上海,31