烟草数据中元数据的获取方法及装置制造方法及图纸

技术编号:29938460 阅读:19 留言:0更新日期:2021-09-04 19:19
本发明专利技术实施例提供一种烟草数据中元数据的获取方法及装置,所述方法包括:提取数据库中的原始数据,并获取所述原始数据对应的业务类型,根据业务类型对所述原始数据进行分类,得到各个类型的业务数据;获取所述业务数据的数据属性,将所述各个类型的业务数据的数据属性之间进行对比,根据对比结果确定所述数据属性的标准要求;根据所述标准要求构建对应的数据标准化模型,并根据所述数据标准化模型对所述业务数据进行标准化,得到对应的元数据。采用本方法能够在进行多个业务场景下的元数据获取时,即保证了元数据的一致性的前提下,也提高了元数据获取的效率。提高了元数据获取的效率。提高了元数据获取的效率。

【技术实现步骤摘要】
烟草数据中元数据的获取方法及装置


[0001]本专利技术涉及数据治理
,尤其涉及一种烟草数据中元数据的获取方法及装置。

技术介绍

[0002]在元数据最初应用在图书馆的图书管理中,随着不同应用领域对元数据的需求不断增加,元数据开始逐步应用于网络资源、文献资料、人文科学、社会科学、政府信息、地理空间信息和科学研究等诸多领域。元数据在信息资源组织、互操作和共享中的作用日益凸显。正是由于元数据的广泛使用,研究者根据不同应用需求提出了多种概念和定义,元数据标准如保存元数据框架对于数据仓储的发现、检索、获取和科研群体标准的转变非常必要。
[0003]当前对于元数据的获取过程,都需要人工参与的方式进行元数据标准的确定,耗时耗力且效率低下,并且因为数据源的多样性,人工介入的方式越来越无法满足对多样性元数据的需求。

技术实现思路

[0004]针对现有技术中存在的问题,本专利技术实施例提供一种烟草数据中元数据的获取方法及装置。
[0005]本专利技术实施例提供一种烟草数据中元数据的获取方法,包括:提取数据库中的原始数据,并获取所述原始数据对应的业务类型,根据业务类型对所述原始数据进行分类,得到各个类型的业务数据;获取所述业务数据的数据属性,将所述各个类型的业务数据的数据属性之间进行对比,根据对比结果确定所述数据属性的标准要求;根据所述标准要求构建对应的数据标准化模型,并根据所述数据标准化模型对所述业务数据进行标准化,得到对应的元数据。
[0006]在其中一个实施例中,所述方法还包括:对各个类型的业务数据定义相同的预设结构标准,并根据所述预设结构标准对所述各个类型的业务数据进行转化;获取预设的异构数据的相互映射算法,通过所述相互映射算法对转化后的各个类型的业务数据进行结构差异消除,得到各个类型的业务数据间的关联关系,并根据所述关联关系确定对比结果。
[0007]在其中一个实施例中,所述方法还包括:检测所述对比结果中的重复数据,对所述重复数据进行修改,并检测修改后的对比结果中的数据属性类型;当所述数据属性类型为数值属性,根据所述对比结果计算所述数值属性对应标准数据范围,根据所述标准数据范围确定所述数据属性的标准要求;当所述数据属性类型为非数值属性,根据所述对比结果计算所述非数值属性对应
属性要求,根据所述属性要求确定所述数据属性的标准要求。
[0008]在其中一个实施例中,所述方法还包括:根据元数据标准化之后的属性,将所述元数据按照属性的预设排列顺序进行归档保存。
[0009]在其中一个实施例中,所述数据属性,包括:数据时间、质量要求、存储介质、存储模式、数据量、数据来源、责任单位、更新周期、数据获取方式。
[0010]在其中一个实施例中,所述方法还包括:检测提取所述原始数据后,是否存在重复数据;当存在重复数据时,对所述重复数据进行合并。
[0011]本专利技术实施例提供一种烟草数据中元数据的获取装置,包括:提取模块,用于提取数据库中的原始数据,并获取所述原始数据对应的业务类型,根据业务类型对所述原始数据进行分类,得到各个类型的业务数据;获取模块,用于获取所述业务数据的数据属性,将所述各个类型的业务数据的数据属性之间进行对比,根据对比结果确定所述数据属性的标准要求;标准化模块,用于根据所述标准要求构建对应的数据标准化模型,并根据所述数据标准化模型对所述业务数据进行标准化,得到对应的元数据。
[0012]在其中一个实施例中,所述装置还包括:转化模块,用于对各个类型的业务数据定义相同的预设结构标准,并根据所述预设结构标准对所述各个类型的业务数据进行转化;第二获取模块,用于获取预设的异构数据的相互映射算法,通过所述相互映射算法对转化后的各个类型的业务数据进行结构差异消除,得到各个类型的业务数据间的关联关系,并根据所述关联关系确定对比结果。
[0013]本专利技术实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述烟草数据中元数据的获取方法的步骤。
[0014]本专利技术实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述烟草数据中元数据的获取方法的步骤。
[0015]本专利技术实施例提供的烟草数据中元数据的获取方法及装置,提取数据库中的原始数据,并获取所述原始数据对应的业务类型,根据业务类型对所述原始数据进行分类,得到各个类型的业务数据;获取所述业务数据的数据属性,将所述各个类型的业务数据的数据属性之间进行对比,根据对比结果确定所述数据属性的标准要求;根据所述标准要求构建对应的数据标准化模型,并根据所述数据标准化模型对所述业务数据进行标准化,得到对应的元数据。这样能够在进行多个业务场景下的元数据获取时,即保证了元数据的一致性的前提下,也提高了元数据获取的效率。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术
的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术实施例中烟草数据中元数据的获取方法的流程图;图2为本专利技术实施例中烟草数据中元数据的获取装置的结构图;图3为本专利技术实施例中电子设备结构示意图。
具体实施方式
[0018]为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0019]图1为本专利技术实施例提供的烟草数据中元数据的获取方法的流程示意图,如图1所示,本专利技术实施例提供了一种烟草数据中元数据的获取方法,包括:步骤S101,提取数据库中的原始数据,并获取所述原始数据对应的业务类型,根据业务类型对所述原始数据进行分类,得到各个类型的业务数据。
[0020]具体地,提取业务数据库中的各项业务的原始数据,并根据业务场景的类型对原始数据进行分类,得到各个业务场景对应的业务数据,比如以烟草业务数据为例,采集技术中心研发系统在运行过程中而产生、采集、加工、使用的数据,然后,从十三个业务系统中整理出原始数据,然后根据业务系统的业务场景,对原始数据进行分类,得到各个类型的业务系统对应的业务数据。
[0021]另外,在获取各项业务的原始数据后,检测各项数据间是否存在重复数据,当存在重复数据时,对重复数据进行合并。
[0022]步骤S102,获取所述业务数据的数据属性,将所述各个类型的业务数据的数据属性之间进行对比,根据对比结果确定所述数据属性的标准要求。
[0023]具体地,获取业务数据的数据属性,其中,业务数据的数据属性可以包括数据(获取)时间本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种烟草数据中元数据的获取方法,其特征在于,包括:提取数据库中的原始数据,并获取所述原始数据对应的业务类型,根据业务类型对所述原始数据进行分类,得到各个类型的业务数据;获取所述业务数据的数据属性,将所述各个类型的业务数据的数据属性之间进行对比,根据对比结果确定所述数据属性的标准要求;根据所述标准要求构建对应的数据标准化模型,并根据所述数据标准化模型对所述业务数据进行标准化,得到对应的元数据。2.根据权利要求1所述的烟草数据中元数据的获取方法,其特征在于,所述将所述各个类型的业务数据的数据属性之间进行对比,包括:对各个类型的业务数据定义相同的预设结构标准,并根据所述预设结构标准对所述各个类型的业务数据进行转化;获取预设的异构数据的相互映射算法,通过所述相互映射算法对转化后的各个类型的业务数据进行结构差异消除,得到各个类型的业务数据间的关联关系,并根据所述关联关系确定对比结果。3.根据权利要求1所述的烟草数据中元数据的获取方法,其特征在于,所述根据对比结果确定所述数据属性的标准要求,包括:检测所述对比结果中的重复数据,对所述重复数据进行修改,并检测修改后的对比结果中的数据属性类型;当所述数据属性类型为数值属性,根据所述对比结果计算所述数值属性对应标准数据范围,根据所述标准数据范围确定所述数据属性的标准要求;当所述数据属性类型为非数值属性,根据所述对比结果计算所述非数值属性对应属性要求,根据所述属性要求确定所述数据属性的标准要求。4.根据权利要求1所述的烟草数据中元数据的获取方法,其特征在于,所述得到对应的元数据之后,还包括:根据元数据标准化之后的属性,将所述元数据按照属性的预设排列顺序进行归档保存。5.根据权利要求1所述的烟草数据中元数据的获取方法,其特征在于,所述数据...

【专利技术属性】
技术研发人员:张海涛曾仲大贺莉苹陈爱明牛文巍李明窦一博
申请(专利权)人:大连达硕信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1