一种快速处理数据的商业智能分析方法技术

本发明专利技术公开了一种快速处理数据的商业智能分析方法，包括以下步骤：S1，通过数据源层存储各类关键数据来源信息；S2，在数据源层上的数据通过采集层进行整合，然后传递给存储层；S3，存储层将数据源中的数据进行整合和处理之后传送给计算层；S4，通过计算层中的实时计算模块、离线计算模块和并行计算模块来计算存储层的数据；S5，上述步骤4中计算层计算出来的数据传递给模型层进行处理，模型层处理之后通过接口层上传给业务层，通过业务层可以对模型层处理后的数据进行报表、查询、挖掘、提取和数据可视化应用。本发明专利技术设计合理，实现了数据之间的交互和自由组合，同时也实现了数据的二次挖掘，且能够实现快速处理大数据量的功能。

【技术实现步骤摘要】

本专利技术涉及商业智能分析
，尤其涉及。
技术介绍
商业智能(Business Intelligence，以下简称BI)系统，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。BI系统建立的关键是从许多来自不同组织运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取(Extract1n)、转换(Transformat1n)和装载(Load)，即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、0LAP工具等对其进行分析和处理(此时信息变为辅助决策的知识)，最后将知识呈现给管理者，为管理者决策过程提供支持。现有的基于BI系统商业智能分析方法通常从业务流程出发收集数据，为描述业务进展状态而自下而上的设立指标并进行商业智能分析，该种方法存在主要问题为:只能提供数据展示，不能进行数据交互和自由组合，不能进行数据的二次挖掘，尤其是不能够满足现在大量数据的快速处理。
技术实现思路
针对现有技术中的不足，本专利技术提供了，其实现了数据之间的交互和自由组合，同时也实现了数据的二次挖掘和快速处理大数据量的功能。为了实现上述目的，本专利技术所采取的技术方案是: ，包括以下步骤: S1，通过数据源层存储各类关键数据来源信息； S2，在数据源层上的数据通过采集层进行整合，采集层中设置有数据采集工具模块、数据清洗工具模块和数据处理工具模块，数据源层上的数据依次通过采集层上的数据采集工具模块、数据清洗工具模块和数据处理工具模块处理之后传递给存储层，采集层能够将处理的数据形成统一的接口数据视图，并根据业务需求划分成不同的主题数据，同时也有利于采集层减少数据抽取过程对于数据源层系统的影响； S3，存储层将数据源中的流数据进行收集整合，然后将流数据进行分布式队列，接下来进行流数据预处理，且存储层将数据源中的事实数据、维度数据和度量数据分别进行收集整合，然后将事实数据、维度数据和度量数据均进行分布式存储Hadoop提供的分布式文件系统HDFS中，接下来进行批量数据预处理，然后传送给计算层； S4，通过计算层中的实时计算模块、离线计算模块和并行计算模块来计算存储层的数据，并行计算模块通过MapReduce实现多节点和多任务的并发处理，大大提高计算能力，减少数据加工的时间； S5，模型层中通过以数据和算法为对象建立数据模型和算法模型，上述步骤4中计算层计算出来的数据依次传输给数据模型和算法模型进行处理，然后经过算法模型处理的数据通过模型层中的数据分析框架模块和数据挖掘框架模块进行处理之后通过接口层上传给业务层，通过业务层可以对模型层处理后的数据进行报表、查询、挖掘、提取和数据可视化应用，所述接口层中包括技术协议(Http/Socket)和数据协议(SML/JS0M)两种形式，支持传统的接口方式和数据格式。本专利技术的有益效果:本专利技术提供快速处理数据的商业智能分析方法，有效解决了现有BI系统存在的只能提供数据展示，不能进行数据交互和自由组合，不能进行数据的二次挖掘，尤其是不能够满足现在大量数据的快速处理的不足，具有能够快速处理大量数据、数据之间的交互和自由组合，有利于让业务人员也可以自主分析，提高了工作效率，非常适用于当今社会中的企业管理分析系统，为企业管理分析人员的管理决策提供有力的支持。【附图说明】图1为本专利技术的流程示意图。【具体实施方式】如图1所示，，包括以下步骤: S1，通过数据源层存储各类关键数据来源信息，将数据源层进行简单划分为结构化数据库、非结构化数据和其他形式，然后将数据简单归纳到对应的结构化数据库、非结构化数据和其他形式中； S2，在数据源层上的数据通过采集层进行整合，采集层中设置有数据采集工具模块、数据清洗工具模块和数据处理工具模块，数据源层上的数据依次通过采集层上的数据采集工具模块、数据清洗工具模块和数据处理工具模块处理之后传递给存储层，采集层能够将处理的数据形成统一的接口数据视图，并根据业务需求划分成不同的主题数据，同时也有利于采集层减少数据抽取过程对于数据源层系统的影响； S3，存储层将数据源中的流数据进行收集整合，然后将流数据进行分布式队列，接下来进行流数据预处理，且存储层将数据源中的事实数据、维度数据和度量数据分别进行收集整合，然后将事实数据、维度数据和度量数据均进行分布式存储Hadoop提供的分布式文件系统HDFS中，接下来进行批量数据预处理，然后传送给计算层； S4，通过计算层中的实时计算模块、离线计算模块和并行计算模块来计算存储层的数据，并行计算模块通过MapReduce实现多节点和多任务的并发处理，大大提高计算能力，减少数据加工的时间； S5，模型层中通过以数据和算法为对象建立数据模型和算法模型，上述步骤4中计算层计算出来的数据依次传输给数据模型和算法模型进行处理，然后经过算法模型处理的数据通过模型层中的数据分析框架模块和数据挖掘框架模块进行处理之后通过接口层上传给业务层，通过业务层可以对模型层处理后的数据进行报表、查询、挖掘、提取和数据可视化应用，所述接口层中包括技术协议(Http/Socket)和数据协议(SML/JS0M)两种形式，支持传统的接口方式和数据格式。本专利技术具有支持更多的分析和数据类型，支持上千个计算机节点和PB级海量数据的分布式存储与并行计算，可以对大数据量数据进行分析，同时可以简化比较复杂的分析，满足商业智能应用的大数据商业智能分析方法，这样就可以在短时间内处理大量数据，完成大量数据的计算和存储，本专利技术是一个集数据管理、分析、统计、监控、预警、预测为一体的多功能平台，采用敏捷BI系统的新型技术架构，本专利技术可以支持分布式计算、内存计算、列存储、库内计算等大数据技术，利用数据挖掘、智能分析、多维分析和云计算等数据处理技术，大大提升了 BI系统的性能，本专利技术对大数据进行高速捕获和实时的分析，将复杂的数据信息通过分析计算后展现出各种有价值的信息，以获取核心业务和战略决策所需的关键信息，为企业管理者提供专业的商业智能解决方案，协助企业管理者及时调整策略，从而提升企业经营管理和战略决策水平，增强企业的可持续竞争性，最终创造巨大的商业价值。本专利技术的有益效果:本专利技术提供快速处理数据的商业智能分析方法，有效解决了现有BI系统存在的只能提供数据展示，不能进行数据交互和自由组合，不能进行数据的二次挖掘，尤其是不能够满足现在大量数据的快速处理的不足，具有能够快速处理大量数据、数据之间的交互和自由组合，有利于让业务人员也可以自主分析，提高了工作效率，非常适用于当今社会中的企业管理分析系统，为企业管理分析人员的管理决策提供有力的支持。【主权项】1.，其特征在于，包括以下步骤: S1，通过数据源层存储各类关键数据来源信息； S2，在数据源层上的数据通过采集层进行整合，然后传递给存储层； S3，存储层将数据源中的流数据进行收集整合，然后将流数据进行分布式队列，接下来进行流数据预处理，且存储层将数据源中的事实数据、维度数据和度量数据分别进行收集整合，然后将事实数据、维度数据和度量数据均进行分布式存储Had本文档来自技高网...

【技术保护点】
一种快速处理数据的商业智能分析方法，其特征在于，包括以下步骤：S1，通过数据源层存储各类关键数据来源信息；S2，在数据源层上的数据通过采集层进行整合，然后传递给存储层；S3，存储层将数据源中的流数据进行收集整合，然后将流数据进行分布式队列，接下来进行流数据预处理，且存储层将数据源中的事实数据、维度数据和度量数据分别进行收集整合，然后将事实数据、维度数据和度量数据均进行分布式存储Hadoop提供的分布式文件系统HDFS中，接下来进行批量数据预处理，然后传送给计算层；S4，通过计算层中的实时计算模块、离线计算模块和并行计算模块来计算存储层的数据；S5，模型层中通过以数据和算法为对象建立数据模型和算法模型，上述步骤4中计算层计算出来的数据依次传输给数据模型和算法模型进行处理，然后经过算法模型处理的数据通过模型层中的数据分析框架模块和数据挖掘框架模块进行处理之后通过接口层上传给业务层，通过业务层可以对模型层处理后的数据进行报表、查询、挖掘、提取和数据可视化应用。

【技术特征摘要】

【专利技术属性】
技术研发人员：战国科，王真震，陈杰辉，
申请(专利权)人：杭州华量软件有限公司，
类型：发明
国别省市：浙江;33