一种电网结构化数据集市的获取方法及系统技术方案

本发明专利技术提供了一种电网结构化数据集市的获取方法及系统，其中本发明专利技术提供的获取方法包括以业务描述方式发布数据需求并基于已建设好的数据目录获取数据结果集；将数据结果集与数据需求进行比较，获取遗漏数据集；基于遗漏数据集检查数据目录，确定遗漏数据集中数据对象的状态；根据遗漏数据集中数据对象的状态更新数据目录；利用更新后的数据目录重新获取数据结果集；根据重新获取的数据结果集发布数据集。本发明专利技术通过获取遗漏数据集筛选出不符合数据需求的数据对象，并进一步根据这些数据对象的状态更新数据目录，确保数据目录中数据对象的正确和完整性。避免了业务人员在利用封装好的数据时，无法对不符合业务规范的数据进行有效运用的问题。效运用的问题。效运用的问题。

【技术实现步骤摘要】
一种电网结构化数据集市的获取方法及系统


[0001]本专利技术属于大数据
，具体涉及一种电网结构化数据集市的获取方法及系统。

技术介绍

[0002]随着大数据的发展，数据中台随之兴起，这就要求数据平台的功能越来越多、越来复杂，同时使用大数据平台的人员日益增多，导致对数据的管理面临巨大挑战。目前市场上大部分针对可视化、数据存储、数据抽取等方面形成了各种产品，但在数据使用过程，都是技术人员使用各种工具连接数据库去抽取、整合、分析数据。对业务人员来说，只能在封装好的数据上进行查看，而大多数的数据描述并不符合业务规范，难以运用。

技术实现思路

[0003]有鉴于此，本专利技术旨在解决业务人员在利用大数据平台的过程中，只能在封装好的数据上进行查看，无法对不符合业务规范的数据进行有效运用的问题。
[0004]为了解决上述技术问题，本专利技术提供以下技术方案：
[0005]第一方面，本专利技术提供了一种电网结构化数据集市的获取方法，包括如下步骤：
[0006]以业务描述方式发布数据需求并基于已建设好的数据目录获取数据结果集；
[0007]将数据结果集与数据需求进行比较，获取遗漏数据集；
[0008]基于遗漏数据集检查数据目录，确定遗漏数据集中数据对象的状态；
[0009]根据遗漏数据集中数据对象的状态更新数据目录；
[0010]利用更新后的数据目录重新获取数据结果集，直至数据结果集满足数据需求；
[0011]根据重新获取的数据结果集发布数据集。<br/>[0012]进一步地，数据目录的建设过程具体包括：
[0013]从所有源数据库中抽取数据对象；
[0014]利用在源数据库中抽取到的数据对象建立若干个对应的数据库表；
[0015]将若干个数据库表合并构成数据整合表并根据数据整合表中数据对象的关联关系建立数据目录，关联关系由各个所述数据对象的描述确定。
[0016]进一步地，基于已建设好的数据目录获取数据结果集具体包括：
[0017]从已建设好的数据目录中勾选所需的数据对象的相应字段；
[0018]依据勾选好的字段拼接生成对应的数据结果集。
[0019]进一步地，遗漏数据集中数据对象的状态具体包括：
[0020]遗漏数据集中数据对象的描述错误和数据对象在数据目录中不存在。
[0021]进一步地，当遗漏数据集中数据对象的状态为数据对象的描述错误时，根据遗漏数据集中数据对象的状态更新数据目录具体为：
[0022]修改数据对象的描述，当修改后的数据对象满足数据需求时，根据修改后的数据对象的描述重新生成关联关系并更新数据目录。
[0023]进一步地，当遗漏数据集中数据对象的状态为数据对象在数据目录中不存在时，根据遗漏数据集中数据对象的状态更新数据目录具体为：
[0024]将以业务描述方式发布的数据需求转换为以数据描述表达的数据需求；
[0025]根据遗漏数据集和以数据描述表达的数据需求从源数据库中抽取遗漏的数据对象，并根据遗漏的数据对象更新数据目录。
[0026]第二方面，本专利技术提供了一种电网结构化数据集市的获取系统，包括：
[0027]数据获取单元，用于以业务描述方式发布数据需求并基于已建设好的数据目录获取数据结果集；还用于利用更新后的数据目录重新获取数据结果集，直至数据结果集符合数据需求；
[0028]数据比较单元，用于将数据结果集与数据需求进行比较，获取遗漏数据集；
[0029]数据对象检查单元，用于基于遗漏数据集检查数据目录，确定遗漏数据集中数据对象的状态；
[0030]数据目录更新单元，用于根据遗漏数据集中数据对象的状态更新数据目录；
[0031]数据集发布单元，用于根据重新获取的数据结果集发布数据集。
[0032]进一步地，还包括：数据目录构建单元；
[0033]数据目录构建单元用于从所有源数据库中抽取数据对象；利用在源数据库中抽取到的数据对象建立若干个对应的数据库表；将若干个数据库表合并构成数据整合表并根据数据整合表中数据对象的关联关系建立数据目录，关联关系由各个所述数据对象的描述确定。
[0034]进一步地，还包括：数据结果集获取单元；
[0035]数据结果集获取单元用于从已建设好的数据目录中勾选所需的数据对象的相应字段；依据勾选好的字段拼接生成对应的数据结果集。
[0036]进一步地，数据目录更新单元具体包括：数据对象修改单元和数据对象补充单元；
[0037]数据对象修改单元用于修改数据对象的描述，当修改后的数据对象满足数据需求时，根据修改后的数据对象的描述重新生成关联关系并更新数据目录。
[0038]数据对象补充单元用于将以业务描述方式发布的数据需求转换为以数据描述表达的数据需求；根据遗漏数据集和以数据描述表达的数据需求从源数据库中抽取遗漏的数据对象，并根据遗漏的数据对象更新数据目录。
[0039]综上，本专利技术提供了一种电网结构化数据集市的获取方法及系统，其中本专利技术提供的获取方法包括以业务描述方式发布数据需求并基于已建设好的数据目录获取数据结果集；将数据结果集与数据需求进行比较，获取遗漏数据集；基于遗漏数据集检查数据目录，确定遗漏数据集中数据对象的状态；根据遗漏数据集中数据对象的状态更新数据目录；利用更新后的数据目录重新获取数据结果集，直至其满足数据需求；根据重新获取的数据结果集发布数据集。本专利技术通过获取遗漏数据集筛选出不符合数据需求的数据对象，并进一步根据这些数据对象的状态更新数据目录，确保数据目录中数据对象的正确和完整性。避免了业务人员在利用封装好的数据时，无法对不符合业务规范的数据进行有效运用的问题。
附图说明
[0040]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0041]图1为本专利技术实施例提供的一种电网结构化数据集市的获取方法的流程示意图；
[0042]图2为本专利技术实施例提供的一种电网结构化数据集市的获取方法的流程简图。
具体实施方式
[0043]为使得本专利技术的目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0044]数据集市是指为了满足业务部门某个特定主题形成的数据集，存储着为特定用户预先准备好和计算好的数据。数据集市的数据来源于单个或多个系统的数据库表(即ODS层)，打破数据孤岛，通过清洗和转换后，按既定的原则进行拆分、合并、去冗余，形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网结构化数据集市的获取方法，其特征在于，包括如下步骤：以业务描述方式发布数据需求并基于已建设好的数据目录获取数据结果集；将所述数据结果集与所述数据需求进行比较，获取遗漏数据集；基于所述遗漏数据集检查所述数据目录，确定所述遗漏数据集中数据对象的状态；根据遗漏数据集中数据对象的状态更新所述数据目录；利用更新后的所述数据目录重新获取所述数据结果集，直至所述数据结果集符合所述数据需求；根据重新获取的所述数据结果集发布数据集。2.根据权利要求1所述的电网结构化数据集市的获取方法，其特征在于，所述数据目录的建设过程具体包括：从所有源数据库中抽取数据对象；利用在所述源数据库中抽取到的数据对象建立若干个对应的数据库表；将若干个所述数据库表合并构成数据整合表并根据所述数据整合表中数据对象的关联关系建立数据目录，所述关联关系由各个所述数据对象的描述确定。3.根据权利要求2所述的电网结构化数据集市的获取方法，其特征在于，基于已建设好的数据目录获取数据结果集具体包括：从已建设好的数据目录中勾选所需的数据对象的相应字段；依据勾选好的字段拼接生成对应的数据结果集。4.根据权利要求3所述的电网结构化数据集市的获取方法，其特征在于，所述遗漏数据集中数据对象的状态具体包括：所述遗漏数据集中数据对象的描述错误以及数据对象在所述数据目录中不存在。5.根据权利要求4所述的电网结构化数据集市的获取方法，其特征在于，当所述遗漏数据集中数据对象的状态为数据对象的描述错误时，所述根据遗漏数据集中数据对象的状态更新所述数据目录具体为：修改所述数据对象的描述，当修改后的所述数据对象满足所述数据需求时，根据修改后的所述数据对象的描述重新生成所述关联关系并更新所述数据目录。6.根据权利要求4所述的电网结构化数据集市的获取方法，其特征在于，当所述遗漏数据集中数据对象的状态为数据对象在所述数据目录中不存在时，所述根据遗漏数据集中数据对象的状态更新所述数据目录具体为：将所述以业务描述方式发布的数据需求转换为以数据描述表达的数据需求；根据所述遗漏数据集...

【专利技术属性】
技术研发人员：张茵翠，黄达文，梁维铿，林亮，陈益哲，李昊鹏，翟学经，袁国治，彭家颖，廖海强，
申请(专利权)人：广东电网有限责任公司肇庆供电局，
类型：发明
国别省市：