数据系统的数据导入方法和装置制造方法及图纸

本发明专利技术公开了一种数据系统的数据导入方法和装置。其中，该数据导入方法包括：获取导入数据的第一数据系统的第一维度属性和第一指标属性；接收第二数据系统的待导入数据；获取各个维度键值对与各个第一维度属性的第一对应关系，和各个指标键值对与第一指标属性的第二对应关系；按照第一对应关系将维度键值对中的维度值导入第一数据系统的维度表，并获取维度表的主键；按照第二对应关系和维度表的主键将指标键值对中的指标值导入指标表。通过本发明专利技术，解决了现有技术中OLAP数据仓库的维护成本和开发成本高的问题，降低了OLAP数据仓库与第三方数据进行数据交换的难度，进而实现了降低OLAP数据仓库的维护成本和开发成本的效果。

【技术实现步骤摘要】
数据系统的数据导入方法和装置
本专利技术涉及数据处理领域，具体而言，涉及一种数据系统的数据导入方法和装置。
技术介绍
随着信息化程度的高度发展，社会已经进入大数据时代。OLAP数据仓库可提供大规模数据的高性能查询和多维度切片与钻入，是一种成熟的主流数据分析方案，被各公司、企业、政府机关及社会团体广泛采用。 其中，OLAP为Online Analytical Processing,即联机分析处理,是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。 一般来说，OLAP数据仓库系统的设计都是为解决特定领域的问题所制定，未考虑与其他系统的融合和集成。然而，随着数据系统的数量变得越来越多，数据系统相互之间的数据交换需求也越来越迫切，由于系统设计的原因，OLAP数据仓库集成第三方数据的技术难度日益凸显，OLAP数据仓库与第三方数据进行数据交换时难度大。 典型的OLAP数据仓库往往包含一系列既有的维度和事实的定义，数据模式相对固定。当第三方数据的系统为异构系统时，OLAP数据仓库与第三方数据的数据实体的定义和属性各不相同是最突出的问题。现有技术中，解决该问题的方法是由OLAP数据仓库端提供面向特定某一种第三方数据的强类型API，由第三方数据直接进行推送，OLAP数据仓库在接收到第三方数据后，手动编写转换逻辑，将第三方数据转换为OLAP数据仓库所能接受的实体和维度信息。 其中,API为 Applicat1n Programming Interface,即应用程序编程接口，是一些预先定义的函数，目的是提供应用程序与开发人员给予某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。 在现有技术中，通过面向第三方数据的强类型API实现OLAP数据仓库与第三方数据的系统的数据对接，在面对不同种类的第三方数据时，需要分别针对不同类型的数据定义分别手动开发对接API和转换逻辑，导致OLAP数据仓库的维护成本和开发成本都很高。 针对现有技术中OLAP数据仓库的维护成本和开发成本高的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种数据系统的数据导入方法和装置，以解决现有技术中OLAP数据仓库的维护成本和开发成本高的问题。 为了实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据系统的数据导入方法。 根据本专利技术的数据系统的数据导入方法包括:获取导入数据的第一数据系统的第一维度属性和第一指标属性；接收第二数据系统的待导入数据，其中，待导入数据中携带有多个维度键值对和多个指标键值对；获取各个维度键值对与各个第一维度属性的第一对应关系，和各个指标键值对与第一指标属性的第二对应关系；按照第一对应关系将维度键值对中的维度值导入第一数据系统的维度表，并获取维度表的主键；按照第二对应关系和维度表的主键将指标键值对中的指标值导入指标表。 进一步地，获取各个维度键值对与各个第一维度属性的第一对应关系，和各个指标键值对与第一指标属性的第二对应关系包括:计算各个第一维度属性的字符串与各个维度键值对中第二维度属性的字符串的第一距离；创建第三维度属性与第一维度属性的第一对应关系，其中，第三维度属性为第二维度属性中第一距离最小的维度属性；计算各个第一指标属性的字符串与各个指标键值对中第二指标属性的字符串的第二距离；创建第三指标属性与第一指标属性的第二对应关系，其中，第三指标属性为第二指标属性中第二距离最小的指标属性。 进一步地，按照第一对应关系将维度键值对中的维度值导入第一数据系统的维度表，并获取维度表的主键包括:读取与第二维度属性具有第一对应关系的第一维度属性的维度表；查询维度表中是否存在维度值；若维度表中不存在维度值，将维度值插入维度表；获取维度表的主键。 进一步地，按照第二对应关系和维度表的主键将指标键值对中的指标值导入指标表包括:读取与第二指标属性具有第二对应关系的第一指标属性的指标表；将指标值插入指标表中对应王键的位直。 进一步地，在按照第二对应关系和维度表的主键将指标键值对中的指标值导入指标表之后，数据导入方法还包括:重新生成第一数据系统。 为了实现上述目的，根据本专利技术实施例的另一方面，提供了一种数据系统的数据导入装置。 根据本专利技术的数据系统的数据导入装置包括:第一获取模块，用于获取导入数据的第一数据系统的第一维度属性和第一指标属性；接收模块，用于接收第二数据系统的待导入数据，其中，待导入数据中携带有多个维度键值对和多个指标键值对；第二获取模块，用于获取各个维度键值对与各个第一维度属性的第一对应关系，和各个指标键值对与第一指标属性的第二对应关系；第一导入模块，用于按照第一对应关系将维度键值对中的维度值导入第一数据系统的维度表，并获取维度表的主键；第二导入模块，用于按照第二对应关系和维度表的王键将指标键值对中的指标值导入指标表。 进一步地，第一获取模块包括:第一计算模块，用于计算各个第一维度属性的字符串与各个维度键值对中第二维度属性的字符串的第一距离；第一创建模块，用于创建第三维度属性与第一维度属性的第一对应关系，其中，第三维度属性为第二维度属性中第一距离最小的维度属性；第二计算模块，用于计算各个第一指标属性的字符串与各个指标键值对中第二指标属性的字符串的第二距离；第二创建模块，用于创建第三指标属性与第一指标属性的第二对应关系，其中，第三指标属性为第二指标属性中第二距离最小的指标属性。 进一步地，第一导入模块包括:第一读取模块，用于读取与第二维度属性具有第一对应关系的第一维度属性的维度表；查询模块，用于查询维度表中是否存在维度值；第一插入模块，用于在维度表中不存在维度值的情况下，将维度值插入维度表；第三获取模块，用于获取维度表的主键。 进一步地，第二导入模块包括:第二读取模块，用于读取与第二指标属性具有第二对应关系的弟一指标属性的指标表；弟_■插入|旲块，用于将指标值插入指标表中对应王键的位置。 进一步地，数据导入装置还包括:生成模块，用于在按照第二对应关系和维度表的主键将指标键值对中的指标值导入指标表之后，重新生成第一数据系统。 采用本专利技术实施例，在获取第一数据系统的第一维度属性和第一指标属性之后，接收第二数据系统的待导入数据，并获取待导入数据的维度键值对与第一维度属性的第一对应关系以及待导入数据的指标键值对与第一指标属性的第二对应关系，然后按照第一对应关系将待导入数据的维度值导入第一数据系统的维度表并获取维度表的主键，按照第二对应关系和维度表的主键将待导入数据的指标值导入第一数据系统的指标表。在上述实施例中，在将待导入数据导入第一数据系统时，通过获取第一数据系统与第二数据系统的维度之间的第一对应关系和指标之间的第二对应关系，并按照第一对应关系和第二对应关系将待导入数据导入第一数据系统，无需手动开发数据对接专用的API和手动编写转换逻辑，降低了第一数据系统的维护成本和开发成本。通过本专利技术实施例，解决了现有技术中OLAP数据仓库的维护成本和开发成本高的问题，降低了 OLAP数据仓库与第三方数据进行数据交换的难度，进而实现了降低OLAP数据仓库的维护成本和开发成本的效果。 【附图说明】 构成本申请本文档来自技高网...

【技术保护点】
一种数据系统的数据导入方法，其特征在于，包括：获取导入数据的第一数据系统的第一维度属性和第一指标属性；接收第二数据系统的待导入数据，其中，所述待导入数据中携带有多个维度键值对和多个指标键值对；获取各个所述维度键值对与各个所述第一维度属性的第一对应关系，和各个所述指标键值对与所述第一指标属性的第二对应关系；按照所述第一对应关系将所述维度键值对中的维度值导入所述第一数据系统的维度表，并获取所述维度表的主键；按照所述第二对应关系和所述维度表的主键将所述指标键值对中的指标值导入指标表。

【技术特征摘要】
1.一种数据系统的数据导入方法，其特征在于，包括: 获取导入数据的第一数据系统的第一维度属性和第一指标属性； 接收第二数据系统的待导入数据，其中，所述待导入数据中携带有多个维度键值对和多个指标键值对； 获取各个所述维度键值对与各个所述第一维度属性的第一对应关系，和各个所述指标键值对与所述第一指标属性的第二对应关系； 按照所述第一对应关系将所述维度键值对中的维度值导入所述第一数据系统的维度表，并获取所述维度表的主键； 按照所述第二对应关系和所述维度表的主键将所述指标键值对中的指标值导入指标表。2.根据权利要求1所述的数据导入方法，其特征在于，获取各个所述维度键值对与各个所述第一维度属性的第一对应关系，和各个所述指标键值对与所述第一指标属性的第二对应关系包括: 计算各个所述第一维度属性的字符串与各个所述维度键值对中第二维度属性的字符串的第一距离；创建第三维度属性与所述第一维度属性的所述第一对应关系，其中，所述第三维度属性为所述第二维度属性中所述第一距离最小的维度属性； 计算各个所述第一指标属性的字符串与各个所述指标键值对中第二指标属性的字符串的第二距离；创建第三指标属性与所述第一指标属性的所述第二对应关系，其中，所述第三指标属性为所述第二指标属性中所述第二距离最小的指标属性。3.根据权利要求2所述的数据导入方法，其特征在于，按照所述第一对应关系将所述维度键值对中的维度值导入所述第一数据系统的维度表，并获取所述维度表的主键包括: 读取与所述第二维度属性具有所述第一对应关系的所述第一维度属性的所述维度表; 查询所述维度表中是否存在所述维度值； 若所述维度表中不存在所述维度值，将所述维度值插入所述维度表； 获取所述维度表的主键。4.根据权利要求3所述的数据导入方法，其特征在于，按照所述第二对应关系和所述维度表的王键将所述指标键值对中的指标值导入指标表包括: 读取与所述第二指标属性具有所述第二对应关系的所述第一指标属性的所述指标表; 将所述指标值插入所述指标表中对应所述主键的位置。5.根据权利要求1至4中任意一项所述的数据导入方法，其特征在于，在按照所述第二对应关系和所述维度表的主键将所述指标键值对中的指标值导入指标表之后，所述数据导入方法还包括: 重新生成所述第一数据系统。6.一种数据系统的数据导...

【专利技术属性】
技术研发人员：何恺铎，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11