一种大容量数据分析方法和装置制造方法及图纸

本发明专利技术提供了一种大容量数据分析方法和装置，选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在Server对象的MDStores集合上调用AddNew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在Database.MDStores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在Server对象的MDStores集合上设置OlapMode属性，选择多维数据集的存储方式；通过向Process方法指定一个可选参数来选择多维数据集的处理方式。

A Method and Device for Large Capacity Data Analysis

The invention provides a large-capacity data analysis method and device, which chooses the wizard of data source, the provider of analysis service, the location of analysis server, as well as multidimensional database and multidimensional data set; calls AddNew method on the set of MDStores of Server object to create analysis service database, and adds a connection string to it. The related attributes in the analysis service database specify a new data source; create a multidimensional data set on the database.MDStores collection, create fact tables, dimension tables, define the data columns of measurement, and set the granularity of dimensions according to business requirements; set OlapMode attributes on the MDStores collection of Server objects, and select The storage mode of cube; the processing mode of cube is selected by specifying an optional parameter to Process method.

【技术实现步骤摘要】
一种大容量数据分析方法和装置
本专利技术涉及数据分析
，更具体地，涉及一种大容量数据分析方法和装置。
技术介绍
实现多维数据分析是数据仓库系统需要具备的一个主要功能,它接受用户的多维数据查询请求,生成多维数据集，联机分析处理(On_LineAnalyticalProcessing，OLAP)是数据仓库技术的一个重要组成部分。OLAP技术是通过OLAP服务器，将数据仓库的数据抽取和转换为多维数据结构,以反映用户所能理解的企业的真实的“维”,然后通过多维分析工具对信息的多个角度、多个侧面,进行快速、一致和交互的存取，从而使分析人员、经理和管理人员能够对数据进行深入的分析和观察。其中，数据抽取和转换工具将数据按照一定的要求，导入到多维数据仓库中，数据仓库的使用者通过前端访问和分析工具，对多维数据分析产生的数据集按照一定的方式进行显示输出。而多维数据分析，则根据前端工具输入的数据查询请求获取数据，并生成一定格式的数据集。一般使用开源建模工具MechanicalAPDL和ANSYSWorkbench，但是过于复杂的操作流程影响了用户的体验，降低了使用效率。由于数据层的限制，应用层在实现数据的查询功能时，对中小规模的数据能够做到即时的响应，但是对数据库中存储的海量数据和大数据平台中存储的数据，难以保证查询的实时性。其次，OLAP查询引擎一般使用Mondrian，它用MDX语言实现查询，只支持从关系型数据库中读取数据，但是对大数据平台缺少对接接口而且支持的聚合函数有限。此外，OLAP查询引擎不具有对数据的深度分析和数据挖掘能力。
技术实现思路
本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种大容量数据分析方法和装置。根据本专利技术的一个方面，提一种大容量数据分析方法，包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在Server对象的MDStores集合上调用AddNew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在Database.MDStores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在Server对象的MDStores集合上设置OlapMode属性，选择多维数据集的存储方式；通过向Process方法指定一个可选参数来选择多维数据集的处理方式。作为优选的，所述多维数据集的存储方式包括多维OLAP、关系OLAP和混合OLAP。作为优选的，设定维度的粒度具体包括：在多维数据集中创建度量，指定度量在源数据库中的位置、类型和大小，并指出度量的聚合方式。一种大容量数据分析设备，包括：多个处理器、多个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述大容量数据分析方法。一种大容量数据分析设备，包括：多个处理器；以及与所述处理器通信连接的多个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述大容量数据分析方法。一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述大容量数据分析方法。本专利技术提出的一种大容量数据分析方法和装置，在DSO、ADOMD及MDX(多维数据表达式)等技术的基础上，构造了一个多维数据分析器.本文描述的实现方式能被嵌入到其他的应用程序中，以实现整个数据仓库应用的集成，减少非专业用户使用管理工具的复杂性。附图说明图1为本专利技术的大容量数据分析方法示意图；图2为本专利技术的大容量数据分析装置示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。如图1所示，图中示出了一种大容量数据分析方法，包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在Server对象的MDStores集合上调用AddNew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在Database.MDStores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在Server对象的MDStores集合上设置OlapMode属性，选择多维数据集的存储方式；多维数据集的存储方式包括多维OLAP(OlapmodeMolapIndex)、关系OLAP(OlapmodeRolap)和混合OLAP(OlapmodeHybridIndex)。通过向Process方法指定一个可选参数来选择多维数据集的处理方式。MicrosoftSQLServer2000及以上版本都提供了相关的数据仓库开发技术，使得用户可以根据需要开发自己的应用程序，多维表达式MDX(Multi-dimensionalExpress)支持对多维数据集的操作。ADOMD是ADO的扩展，它允许基于COM的应用程序通过用于OLAP的OLEDB接口实现对多维数据源的操作。包括在OLAP数据库中对多维数据集层次结构的只读访问；查询处理和数据检索功能.DSO(DecisionSupportObject，决策支持对象)提供了对OLAP数据库的管理能力。本实施例中，在分析服务器和数据透视表服务的基础上，对多维数据集当中的数据进行多维分析，由用户自己选择数据源的向导；可以由用户自己选择分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集。同时系统也将本地多维数据集列表显示，用户可直接选择一个多维数据集作为多维数据分析的数据源。在多维分析模块中，通过ADOMD对象模型和PivotTableService提供的服务，访问多维数据集。列表显示出多维数据集的所有维度和度量值。由用户自己选择数据显示的维度和度量值，根据用户选择的维度和度量值，构造MDX查询语句进行多维查询分析，利用ADOMD对象模型的Cellset对象存储多维分析结果，最后显示多维数据，供用户查看数据。在Server对象的MDStores集合上调用AddNew方法创建分析服务数据库.语法形式如下：dsoServer.MDStores.AddNew数据库名调用DataSources集合的AddNew方法，添加包括连接字符串在内的相关属性,为分析数据库指定一个新的数据源。在Database.MDStores集合上创建多维数据集：创建一个多维数据集名:SetdsoCube＝dsoDb.MDStores.AddNew；设置多维数据集的数据源:dsoCube.DataSources.AddNewdsoDb.DataSources(数据源名).Name；指定事实表:dsoCube.SourceTable＝事实表名在多维数据集中增加维度:dsoCube.Dimensions.AddNew维度名；在多维数据集中创建度量,首先需要指定度量；在源数据库中的位置、类型和大小；其次，需要指出度量怎样被聚合。本实施例公开一种大容量数本文档来自技高网...

【技术保护点】
1.一种大容量数据分析方法，其特征在于，包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在Server对象的MDStores集合上调用AddNew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在Database.MDStores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在Server对象的MDStores集合上设置OlapMode属性，选择多维数据集的存储方式；通过向Process方法指定一个可选参数来选择多维数据集的处理方式。

【技术特征摘要】
1.一种大容量数据分析方法，其特征在于，包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在Server对象的MDStores集合上调用AddNew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在Database.MDStores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在Server对象的MDStores集合上设置OlapMode属性，选择多维数据集的存储方式；通过向Process方法指定一个可选参数来选择多维数据集的处理方式。2.根据权利要求1所述的大容量数据分析方法，其特征在于，所述多维数据集的存储方式包括多维OLAP、关系OLAP和混合OLAP。3.根据权利要求1所述的大容量数据分析方法，其特征在于，设定维度的粒度具体包括：...

【专利技术属性】
技术研发人员：李水冰，李异峰，程美红，
申请(专利权)人：湖北德普电气股份有限公司，
类型：发明
国别省市：湖北,42