本发明专利技术实施例提供一种业务场景下数据治理方法及装置，所述方法包括：提取数据库中的原始数据，并获取原始数据对应的业务场景，根据业务场景的类型对原始数据进行分类，得到各个类型的业务数据；对业务场景中的各个业务节点进行梳理，构建业务场景对应的业务流，并根据业务流确定对应的数据流；获取业务场景的数据要求，根据数据要求对数据流中的业务数据进行数据治理；得到数据治理后的业务流中的治理业务数据，并将业务流中的治理业务数据进行汇总，形成业务体系的拓扑关系。采用本方法能够在进行多个业务场景下的多种数据治理时，在保证各项数据一致性的前提下，也保证了数据治理的效率。的效率。的效率。
【技术实现步骤摘要】
业务场景下数据治理方法及装置
[0001]本专利技术涉及数据治理
，尤其涉及一种业务场景下数据治理方法及装置。
技术介绍
[0002]随着信息技术的迅速发展，数据规模逐渐扩大。与此同时，劣质数据也随之而来，极大地降低了数据挖掘的质量，对信息社会造成了严重的困扰。劣质数据大量存在于很多领域和机构，国外权威机构的统计表明：美国的企业信息系统中，1%~30%的数据具有各种错误和误差；13.6%~81%的关键数据不完整或陈旧情况存在于美国的医疗信息系统中。根据Gartner的调查结果：在全球财富1000强的企业中，超过25%的企业信息系统中存在错误数据。大多数组织不考虑数据质量对大数据平台建设、分析应用等方面的重要影响而盲目投入，缺乏对大数据资源的整体规划和综合治理，最终导致一些项目实施的终止和失败。项目的失败和数据量的激增，使得数据治理的重要性逐步得到工业界和学术界的共识但是，目前现有技术中对于数据治理的研究，都需要人工参与的方式进行检查和更改数据，耗时耗力且效率低下，并且因为数据源的多样性，人工介入的方式越来越无法满足对多样性数据的治理需求。
技术实现思路
[0003]针对现有技术中存在的问题，本专利技术实施例提供一种业务场景下数据治理方法及装置。
[0004]本专利技术实施例提供一种业务场景下数据治理方法，包括：提取数据库中的原始数据，并获取所述原始数据对应的业务场景，根据业务场景的类型对所述原始数据进行分类，得到各个类型的业务数据；对所述业务场景中的各个业务节点进行梳理，构建所述业务场景对应的业务流，并根据所述业务流确定对应的数据流；获取所述业务场景的数据要求，根据所述数据要求对所述数据流中的业务数据进行数据治理，所述数据治理包括根据所述数据要求对所述业务数据进行数据梳理、数据筛选、数据清洗；得到数据治理后的业务流中的治理业务数据，并将业务流中的治理业务数据进行汇总，形成业务体系的拓扑关系。
[0005]在其中一个实施例中，所述方法还包括：根据所述数据流中的数据流向，对各个业务节点的流向关系和关联关系进行数据梳理；检测所述业务数据中的数值异常和来源异常的异常数据，根据所述异常数据对所述数据梳理后的业务数据进行数据筛选；获取预设的数据标准和质量规范，根据所述数据标准和质量规范对所述数据筛选后的业务数据进行数据清洗。
在其中一个实施例中，所述方法还包括：获取业务场景中业务数据的定义、标注、管理规范。
[0006]在其中一个实施例中，所述方法还包括：根据所述业务场景获取对应的业务部门系统，并获取所述业务部门系统中的历史数据；根据所述历史数据进行数据分析，确定所述数据要求。
[0007]在其中一个实施例中，所述方法还包括：识别所述业务节点中的关键数据，并对所述关键数据进行标注；在所述数据治理中，根据所述标注对所述数据流中的关键数据进行检测，并根据检测结果对所述数据治理的结果的一致性进行分析。
[0008]在其中一个实施例中，所述方法还包括：对业务流中的治理业务数据进行所述数据要求的统一，根据统一的数据要求得到所述治理业务数据间的拓扑关系。
[0009]本专利技术实施例提供一种业务场景下数据治理装置，包括：提取模块，用于提取数据库中的原始数据，并获取所述原始数据对应的业务场景，根据业务场景的类型对所述原始数据进行分类，得到各个类型的业务数据；梳理模块，用于对所述业务场景中的各个业务节点进行梳理，构建所述业务场景对应的业务流，并根据所述业务流确定对应的数据流；获取模块，用于获取所述业务场景的数据要求，根据所述数据要求对所述数据流中的业务数据进行数据治理，所述数据治理包括根据所述数据要求对所述业务数据进行数据梳理、数据筛选、数据清洗；汇总模块，用于得到数据治理后的业务流中的治理业务数据，并将业务流中的治理业务数据进行汇总，形成业务体系的拓扑关系。
[0010]在其中一个实施例中，所述装置还包括：数据梳理模块，用于根据所述数据流中的数据流向，对各个业务节点的流向关系和关联关系进行数据梳理；数据筛选模块，用于检测所述业务数据中的数值异常和来源异常的异常数据，根据所述异常数据对所述数据梳理后的业务数据进行数据筛选；数据清洗模块，用于获取预设的数据标准和质量规范，根据所述数据标准和质量规范对所述数据筛选后的业务数据进行数据清洗。本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述业务场景下数据治理方法的步骤。
[0011]本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述业务场景下数据治理方法的步骤。
[0012]本专利技术实施例提供的业务场景下数据治理方法及装置，提取数据库中的原始数据，并获取原始数据对应的业务场景，根据业务场景的类型对原始数据进行分类，得到各个类型的业务数据；对业务场景中的各个业务节点进行梳理，构建业务场景对应的业务流，并根据业务流确定对应的数据流；获取业务场景的数据要求，根据数据要求对所述数据流中
的业务数据进行数据治理，所述数据治理包括根据所述数据要求对业务数据进行数据梳理、数据筛选、数据清洗；得到数据治理后的业务流中的治理业务数据，并将业务流中的治理业务数据进行汇总，形成业务体系的拓扑关系。这样能够在进行多个业务场景下的多种数据治理时，在保证各项数据一致性的前提下，也保证了数据治理的效率。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术实施例中业务场景下数据治理方法的流程图；图2为本专利技术实施例中业务场景下数据治理装置的结构图；图3为本专利技术实施例中电子设备结构示意图。
具体实施方式
[0015]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]图1为本专利技术实施例提供的业务场景下数据治理方法的流程示意图，如图1所示，本专利技术实施例提供了一种业务场景下数据治理方法，包括：步骤S101，提取数据库中的原始数据，并获取所述原始数据对应的业务场景，根据业务场景的类型对所述原始数据进行分类，得到各个类型的业务数据。
[0017]具体地，提取数据库中的原始数据，并根据业务场景的类型对原始数据进行分类，得到各个业务场景对应的业务数据，比如以一个烟草数据治理研究为例，采集技术中心研发系统在运行过程中而产生、采集、加工、使用的数据，然后，从十三个业务系统中整理出原始数据，然后根据业务系统本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种业务场景下数据治理方法，其特征在于，包括：提取数据库中的原始数据，并获取所述原始数据对应的业务场景，根据业务场景的类型对所述原始数据进行分类，得到各个类型的业务数据；对所述业务场景中的各个业务节点进行梳理，构建所述业务场景对应的业务流，并根据所述业务流确定对应的数据流；获取所述业务场景的数据要求，根据所述数据要求对所述数据流中的业务数据进行数据治理，所述数据治理包括根据所述数据要求对所述业务数据进行数据梳理、数据筛选、数据清洗；得到数据治理后的业务流中的治理业务数据，并将业务流中的治理业务数据进行汇总，形成业务体系的拓扑关系。2.根据权利要求1所述的业务场景下数据治理方法，其特征在于，所述根据数据要求对所述数据流中的业务数据进行数据治理，包括：根据所述数据流中的数据流向，对各个业务节点的流向关系和关联关系进行数据梳理；检测所述业务数据中的数值异常和来源异常的异常数据，根据所述异常数据对所述数据梳理后的业务数据进行数据筛选；获取预设的数据标准和质量规范，根据所述数据标准和质量规范对所述数据筛选后的业务数据进行数据清洗。3.根据权利要求1所述的业务场景下数据治理方法，其特征在于，所述获取所述业务场景对应的数据要求，包括：获取业务场景中业务数据的定义、标注、管理规范。4.根据权利要求1所述的业务场景下数据治理方法，其特征在于，所述获取所述业务场景的数据要求，包括：根据所述业务场景获取对应的业务部门系统，并获取所述业务部门系统中的历史数据；根据所述历史数据进行数据分析，确定所述数据要求。5.根据权利要求1所述的业务场景下数据治理方法，其特征在于，所述方法还包括：识别所述业务节点中的关键数据，并对所述关键数据进行标注；在所述数据治理中，根据所述标注对所述数据流中的关键数据进行检测，并根据检测结果对所述数据治理的结果的一致性进行分析。6.根据权利要求1所述的...
【专利技术属性】
技术研发人员：罗林，曾仲大，贺莉苹，陈爱明，牛文巍，李明，窦一博，
申请(专利权)人：大连达硕信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。