一种基于混合模型的并行OLAP构建装置及构建方法制造方法及图纸

本发明专利技术提供了一种基于混合模型的并行OLAP构建装置及构建方法，该构建装置包括：模型预制作模块、核心操作模块、日志模块和并行OLAP查询模块。与现有技术比较本发明专利技术的有益效果在于：本发明专利技术提供的一种基于混合模型的并行OLAP构建装置及其构建方法能够对不同的数据源，自动构建相应的混合模型，构建出的混合模型综合了雪花模型和星型模型的优点，解决了传统的雪花模型难以实现并行查询的问题，在存储空间消耗增大不多的前提下，大幅降低了并行OLAP多维分析查询的成本，保证了OLAP的高效执行。另外，使用本发明专利技术提供的装置和方法，只需依照预先编写好的脚本执行，能够为使用人员节省学习成本以及操作时间成本。

【技术实现步骤摘要】

本专利技术涉及计算机
，具体涉及一种基于混合模型的并行OLAP构建装置及构建方法。
技术介绍
OLAP(Online Analytical Processing)即联机分析处理，OLAP 系统是数据仓库的核心应用。决策者可以通过OLAP系统对数据进行钻取、切片和切块、以及旋转等多维分析操作，得到直观、易懂的形式查询结果以支持决策。目前OLAP系统按照其存储器的数据存储格式可以分为三种类型，即关系OLAP(Relat1nalOLAP，简称R0LAP)、多维OLAP (Multidimens1nalOLAP,简称 M0LAP)和混合型 OLAP (HybridOLAP,简称 H0LAP)。传统的ROLAP主要按照星型模型或雪花模型对数据进行组织。星型模型是一种非正规化的结构，多维数据集的每一个维度都直接与事实表相连接，所以数据有一定的冗余且不能很好地体现出维的层次结构。雪花模型是在星形模型基础上对数据进行规范化后得到的，它对维表进一步层次化，将原有带层次属性的维表扩展为小的事实表，形成一些局部的层次区域，这些被分解的表连接到主维度表，展现出维的层次结构，同时解决了星型模型数据冗余的问题。尽管雪花模型解决了星形模型在维层次结构建模上和数据冗余的缺陷，但却失去了星型模型能进行高效并行查询的特点。如何在减少存储代价的同时获得高效并行查询及多维分析操作的能力的问题依然没有得到有效解决。鉴于上述缺陷，本专利技术创作者经过长时间的研究和试验，最终获得了本专利技术。
技术实现思路
为实现上述目的，本专利技术一种基于混合模型的并行OLAP构建装置及构建方法。本专利技术的技术方案为:一方面提供了一种基于混合模型的并行OLAP构建装置，该构建装置包括:模型预制作模块、核心操作模块、日志模块和并行OLAP查询模块；所述模型预制作模块，用于接收和存储从数据仓库或者关系型数据库中提取的数据源，根据数据源建立雪花模型，并将雪花模型具有的所有信息输出到所述核心操作模块中，以及将建立雪花模型的操作过程中的所有操作信息输出到所述日志模块中；所述核心操作模块，用于接收所述模型预制作模块输出的雪花模型具有的所有信息，更新雪花模型后得到更新后的雪花模型，并根据更新后的雪花模型具有的所有信息，建立表间连接索引，得到最终的混合模型，以及将更新雪花模型的所有操作信息和建立表间连接索引的所有操作信息输出到所述日志模块中，同时将混合模型具有的所有信息输出到所述并行OLAP查询模块中；所述日志模块，用于接收所述模型预制作模块、核心操作模块和并行OLAP查询模块输出的所有操作信息，并对操作信息进行过滤处理，得到过滤后的操作信息，将过滤后的操作信息全部输出到所述并行OLAP查询模块中；所述并行OLAP查询模块，用于接收所述核心操作模块输出的混合模型具有的所有信息和所述日志模块输出的过滤后的操作信息，并对混合模型具有的所有信息进行多维分析查询操作，以及将对混合模型具有的所有信息进行多维分析查询的所有操作信息输出到所述日志模块中。进一步，所述模型预制作模块包括:第一接收单元、存储单元、雪花模型建立单元、第一输出单元和第二输出单元；所述第一接收单元，用于接收从数据仓库或者关系型数据库中提取的数据源；所述存储单元，用于存储所述数据源；所述雪花模型建立单元，用于根据所述数据源建立对应的雪花模型；所述第一输出单元，用于把所述雪花模型具有的所有信息输出到所述核心操作模块中；所述第二输出单元，用于将所述雪花模型建立单元建立所述雪花模型的操作过程中的所有操作信息输出到所述日志模块中。进一步，所述核心操作模块包括:第二接收单元、更新单元、第三输出单元、第四输出单元和混合模型建立单元；所述第二接收单元，用于接收所述第一输出单元输出的雪花模型具有的所有信息；所述更新单元，用于把雪花模型中维层次非最高的维度表的键信息全部添加到中央事实表中，得到更新后的雪花模型；所述第三输出单元，用于把更新后的雪花模型具有的所有信息输出到所述混合模型建立单元中；所述第四输出单元，用于将所述更新单元更新雪花模型的所有操作信息输出到所述日志模块中；所述混合模型建立单元，用于建立混合模型。进一步，所述混合模型建立单元包括:第三接收单元、建立索引单元、第五输出单元和第六输出单元；所述第三接收单元，用于接收所述第三输出单元输出的更新后的雪花模型具有的所有信息；所述建立索引单元，用于根据中央事实表中添加的键信息，按维层次从高到底，依次建立中央事实表到各维层次的维度表的表间连接索引，得到最终的混合模型；所述第五输出单元，用于将所述建立索引单元建立表间连接索引的所有操作信息输出到日志模块中；所述第六输出单元，用于将所述混合模型具有的所有信息输出到所述并行OLAP查询模块中。进一步，所述日志模块包括:第四接收单元、过滤单元和第七输出单元；所述第四接收单元，用于接收来自所述模型预制作模块、核心操作模块和并行OLAP查询模块输出的所有操作信息；所述过滤单元，用于将操作信息中无关的和错误的操作信息进行过滤处理，得到过滤后的操作信息；所述第七输出单元，用于将过滤后的操作信息全部输出到所述并行OLAP查询模块中。进一步，所述并行OLAP查询模块包括:第五接收单元、并行处理单元和第八输出单元；所述第五接收单元，用于接收来自所述核心操作模块中第六输出单元输出的混合模型具有的所有信息和所述日志模块中第七输出单元输出的过滤后的操作信息；所述并行处理单元，用于通过并行的方法对混合模型具有的所有信息进行多维分析查询操作；所述第八输出单元，用于将所述并行处理单元对混合模型具有的所有信息进行多维分析查询的所有操作信息输出到所述日志模块中；所述多维分析查询操作包括对数据钻取、切片和切块、以及旋转等多维分析查询操作。又一方面提供了一种基于混合模型的并行OLAP构建方法，该方法包括以下步骤:步骤S1:—模型预制作模块接收和存储从数据仓库或者关系型数据库中提取的数据源，根据数据源建立雪花模型，并将雪花模型具有的所有信息输出到一核心操作模块中，以及将建立雪花模型的操作过程中的所有操作信息输出到一日志模块中；步骤S2: —核心操作模块接收所述模型预制作模块输出的雪花模型具有的所有信息，更新雪花模型后得到更新后的雪花模型，并根据更新后的雪花模型具有的所有信息，建立表间连接索引，得到最终的混合模型，以及将更新雪花模型的所有操作信息和建立表间连接索引的所有操作信息输出到所述日志模块中，同时将混合模型具有的所有信息输出到一并行OLAP查询模块中；步骤S3:—日志模块接收所述模型预制作模块、核心操作模块和并行OLAP查询模块输出的所有操作信息，并对操作信息进行过滤处理，得到过滤后的操作信息，将过滤后的操作信息全部输出到所述并行OLAP查询模块中；步骤S4:—并行OLAP查询模块接收所述核心操作模块输出的混合模型具有的所有信息和所述日志模块输出的过滤后的操作信息，并对混合模型具有的所有信息进行多维分析查询操作，以及将对混合模型具有的所有信息进行多维分析查询的所有操作信息输出到所述日志模块中。进一步，所述步骤SI具体包括以下步骤:步骤Sll:—第一接收单元接收从数据仓库或者关系型数据库中提取的数据源；步骤S12:—存储单元存储所述数据源；步骤S13:—雪花模型建本文档来自技高网...

【技术保护点】
一种基于混合模型的并行OLAP构建装置，其特征在于，该构建装置包括：模型预制作模块、核心操作模块、日志模块和并行OLAP查询模块；所述模型预制作模块，用于接收和存储从数据仓库或者关系型数据库中提取的数据源，根据数据源建立雪花模型，并将雪花模型具有的所有信息输出到所述核心操作模块中，以及将建立雪花模型的操作过程中的所有操作信息输出到所述日志模块中；所述核心操作模块，用于接收所述模型预制作模块输出的雪花模型具有的所有信息，更新雪花模型后得到更新后的雪花模型，并根据更新后的雪花模型具有的所有信息，建立表间连接索引，得到最终的混合模型，以及将更新雪花模型的所有操作信息和建立表间连接索引的所有操作信息输出到所述日志模块中，同时将混合模型具有的所有信息输出到所述并行OLAP查询模块中；所述日志模块，用于接收所述模型预制作模块、核心操作模块和并行OLAP查询模块输出的所有操作信息，并对操作信息进行过滤处理，得到过滤后的操作信息，将过滤后的操作信息全部输出到所述并行OLAP查询模块中；所述并行OLAP查询模块，用于接收所述核心操作模块输出的混合模型具有的所有信息和所述日志模块输出的过滤后的操作信息，并对混合模型具有的所有信息进行多维分析查询操作，以及将对混合模型具有的所有信息进行多维分析查询的所有操作信息输出到所述日志模块中。...

【技术特征摘要】

【专利技术属性】
技术研发人员：邹立斌，李青海，简宋全，侯大勇，许飞月，
申请(专利权)人：广州精点计算机科技有限公司，
类型：发明
国别省市：广东;44