【技术实现步骤摘要】
本专利技术涉及业务数据治理，尤其是一种业务驱动数据治理的方法和系统。
技术介绍
1、现有技术中，对于数据治理方法采用线下咨询机构指导梳理和线上数据治理工具相结合的方式来实现。wherehows和dataworks数据地图为常用的线上数据治理工具。
2、wherehows定位于元数据仓库（a metadata warehouse）。它从不同的源系统中采集元数据，并进行标准化和建模，从而作为元数据仓库完成血缘分析。
3、dataworks数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。dataworks数据地图包括maxcompute数据和其他类型的元数据。用户可以直接在数据地图进行maxcompute表元数据管理的相关操作，还可以通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。在数据发现页面通过元数据采集器将其他数据源中的元数据采集至dataworks数据地图，采集完成后，用户可以在数据地图搜索并查看各数据源的元数据信息。除maxcompute以外，目前数据地图支持的其他数据源类型有：e-mapreduce、hologres、cdh hive、cdh kudu、cdh hbase、analyticdb for mysql 2.0、analyticdb for mysql 3.0、analyticdb for postgresql、oss、ots、postgresql、
4、区别于一般的数据处理平台，wherehows和dataworks数据地图仅获取、处理元数据，而不涉及对业务数据的处理。
5、虽然wherehows和dataworks数据地图都是元数据治理的工具和方法，但在业务数据治理方面存在以下缺点：
6、1）业务数据视角的管理工具缺失：这两种数据治理工具都是从元数据的角度展开，缺少全业务流程管理的工具，无法展示企业的全业务流程容貌，各个业务节点状态以及对应的数据流程无法查看、追溯。
7、2）业务数据调研落地效果差：企业大部分的业务数据调研工作集中在线下，实施方式仍然需要依靠个人经验与能力，缺少统一的方法论及规范化流程，同时也缺少调研传递机制，对于调研成果难以衡量。
8、3）业务数据建模难度高：这两种工具更加偏向于通用的元数据建模，没有面向业务属性的数据建模适配方案，一般人员在建模时很难直接开展，脱离实际的业务需求很难设计出贴合业务管理标准、最简单最小化的数据模型。
9、4）业务关联度差：这两种工具的重点是以库表和库表字段来构建元数据模型，但是没有连接数据模型上游的业务流程和业务字段等属性，无法定义业务元数据模型、业务元数据质量以及业务元数据安全管理模型，无法在本工具中进行实际的业务数据开发工作，导致数据模型的业务属性的呈现，在实际项目过程中业务需求传递-->业务模型涉及--->业务数据开发会造成差异，影响最终业务数据资产的易用性和可信度。导致业务元数据质量管理、业务数据安全管理薄弱。
技术实现思路
1、本专利技术所要解决的技术问题在于，提供一种业务驱动数据治理的方法和系统，能够实现业务层面的数据治理，增强了数据治理的业务属性和业务价值呈现。
2、为解决上述技术问题，本专利技术提供一种业务驱动数据治理的方法，包括如下步骤：
3、步骤1、使用业务流程构建工具，梳理业务流程，并将梳理好的业务流程excel文件导入到业务数据地图管理平台中；
4、步骤2、使用文件校验和算法校验业务流程excel文件完整性；
5、步骤3、保存业务流程excel文件到hdfs；
6、步骤4、使用apache poi依次读取业务流程excel文件workbook->sheet->line->cell数据，校验数据是否满足工作表约束、行约束、列约束、单元格约束；
7、步骤5、使用apache poi逐行解析业务流程excel文件，在内存中生成模型元数据定义信息；当解析行数达到预设阈值后，批量提交至业务数据地图管理平台，业务数据地图管理平台基于模型定义生成相应的业务数据模型；对于业务流程表模型和oneid表模型，基于平台已构建模型配置，增量式地融合每次新增的内容，而对于业务元数据、业务数据质量和业务数据安全的数据治理类模型，根据预先配置的覆盖/追加策略，对已存在的模型进行更新；重复此步骤，直到业务数据地图被解析完成；
8、步骤6、配置业务流程表模型，业务数据地图中填写的模型已全部导入业务数据地图管理平台，且配置完成，之后一键式生成所有模型对应的物理数据；
9、步骤7、业务数据地图模型建设生成业务流程表并接入数据后，系统使用业务流程加业务数据融合分析的数据治理手段，实现业务数据全景地图展示。
10、优选的，步骤1中，业务流程包括落地业务数据地图版本、实体关系、业务责任矩阵、业务数据责任矩阵。
11、优选的，步骤2中，使用文件校验和算法校验业务流程文件完整性，校验过程包括校验文件命名规范、文件格式规范、数据规范、数据唯一性、行列填写要求。
12、优选的，步骤4中，校验数据的校验过程包括校验文件命名规范、文件格式规范 、数据规范、数据唯一性、行列填写要求。
13、优选的，步骤2和步骤4中，校验过程具体包括如下步骤：
14、a、导入文件，对文件格式进行提取；
15、b、识别文件拓展名，比较系统预制的文件格式；
16、c、workbook校验通过后，导入excel中sheet列名和数量，sheet校验通过后，导入excel中的line，line校验通过后，导入excel中的cell，校验通过后结束；否则返回到步骤a，重复执行。
17、优选的，步骤5中，业务数据模型包含业务流程表模型及数据层模型。
18、优选的，步骤5中，覆盖策略导入时清空原内容，生成新的模型，追加策略在原内容上继续添加新的内容。
19、优选的，步骤7中，系统使用业务流程加业务数据融合分析的数据治理手段，对于已接入数据的业务流程表，根据质量规则模型进行数据质量分析改善，根据数据标准对数据进行标准化处理，根据数据安全对数据进行分类分级，相应的脱敏、加密处理，完成接入原始数据的治理形成企业高质量可用数据资源。
20、相应的，一种业务驱动数据治理的系统，包括：业务数据地图构建模块，数据基础能力模块，业务数据地图落地模块和建设成果总览模块；业务数据地图构建模块通过在线构建或线下excel文件导入方式生成业务数据模型，数据基础能力模块提供系统基础功能，业务数据地图构建模块生成的业务数据模型是业务数据地图落地模块的前提与输入，建设成果总览模块提供预览与显示功能。
本文档来自技高网...
【技术保护点】
1.一种业务驱动数据治理的方法，其特征在于，包括如下步骤：
2.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤1中，业务流程包括落地业务数据地图版本、实体关系、业务责任矩阵、业务数据责任矩阵。
3.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤2中，使用文件校验和算法校验业务流程文件完整性，校验过程包括校验文件命名规范、文件格式规范、数据规范、数据唯一性、行列填写要求。
4.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤4中，校验数据的校验过程包括校验文件命名规范、文件格式规范、数据规范、数据唯一性、行列填写要求。
5.如权利要求3或4所述的业务驱动数据治理的方法，其特征在于，步骤2和步骤4中，校验过程具体包括如下步骤：
6.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤5中，业务数据模型包含业务流程表模型及数据层模型。
7.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤5中，覆盖策略导入时清空原内容，生成新的模型，追加策略在原内容上继续添加新的内容
8.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤7中，系统使用业务流程加业务数据融合分析的数据治理手段，对于已接入数据的业务流程表，根据质量规则模型进行数据质量分析改善，根据数据标准对数据进行标准化处理，根据数据安全对数据进行分类分级，相应的脱敏、加密处理，完成接入原始数据的治理形成企业高质量可用数据资源。
9.一种实施如权利要求1所述的业务驱动数据治理方法的系统，其特征在于，包括：业务数据地图构建模块，数据基础能力模块，业务数据地图落地模块和建设成果总览模块；业务数据地图构建模块通过在线构建或线下excel文件导入方式生成业务数据模型，数据基础能力模块提供系统基础功能，业务数据地图构建模块生成的业务数据模型是业务数据地图落地模块的前提与输入，建设成果总览模块提供预览与显示功能。
10.如权利要求9所述的系统，其特征在于，系统基础功能包括数据集成能力，数据处理能力，数据运维服务能力。
...【技术特征摘要】
1.一种业务驱动数据治理的方法，其特征在于，包括如下步骤：
2.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤1中，业务流程包括落地业务数据地图版本、实体关系、业务责任矩阵、业务数据责任矩阵。
3.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤2中，使用文件校验和算法校验业务流程文件完整性，校验过程包括校验文件命名规范、文件格式规范、数据规范、数据唯一性、行列填写要求。
4.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤4中，校验数据的校验过程包括校验文件命名规范、文件格式规范、数据规范、数据唯一性、行列填写要求。
5.如权利要求3或4所述的业务驱动数据治理的方法，其特征在于，步骤2和步骤4中，校验过程具体包括如下步骤：
6.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤5中，业务数据模型包含业务流程表模型及数据层模型。
7.如权利要求1所述的业务驱动数据治理的方法，其特征在于，步骤5中，覆...
【专利技术属性】
技术研发人员：卢云川，顾欢欢，刘涛，卫强，吴苹，石杰，
申请(专利权)人：南京中新赛克科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。