一种基于图计算的实时联机数据分析处理方法技术

本发明专利技术公开了一种基于图计算的实时联机数据分析处理方法，包括OLTP业务系统，所述OLTP业务系统中包含界面层、应用层及数据库层，所述数据库层由业务数据库组成，所述业务数据库中包含业务数据，所述业务数据包括维度数据及与维度数据对应的事实数据，其特征在于，所述处理方法包括如下步骤：S1、数据梳理；S2、建立图数据库；S3、部署业务数据变化感知组件；S4、建立GOLAP事务处理引擎及GOLAP分析引擎；S5、变化业务数据处理；S6、建立Key‑value数据库；S7、Key‑value数据库数据输入。本发明专利技术采用上述结构，能够应对提高OLAP在线分析系统的响应时间，节约存储空间，保证数据分析的实时性。

A real time online data analysis and processing method based on graph computing

【技术实现步骤摘要】
一种基于图计算的实时联机数据分析处理方法
本专利技术涉及数据处理
，具体是一种基于图计算的实时联机数据分析处理方法。
技术介绍
联机分析处理(OLAP)系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业的经营状况，了解对象的需求，制定正确的方案。OLAP按照物理模型可以分为ROLAP、MOLAP和HOLAP三种类型。ROLAP(RelationalOLAP，即：关系型OLAP)将多维的逻辑模型存储在关系数据库中；MOLAP(Multi-dimensionalOLAP，即：多维OLAP)在组织数据时，将数据存储在多维数组中；HOLAP(HybridOLAP，即：混合型OLAP)混合了ROLAP和MOLAP的方法，它允许模型设计者决定哪些数据存储在MOLAP中，哪些数据存储在ROLAP中。现有的OLAP系统存在如下问题：1、实时性问题，为了不影响业务系统的正常运行，现有的OLAP系统需要通过一定的数据同步策略来把业务系统中的数据同步到数据仓库中以供OLAP系统进行分析处理，常用的同步策略有定时同步和定量同步两种，这两种方式都会引起数据延时性问题，分析者看到的分析结果是一天前的数据(按天同步)或几小时前的数据(按日志量同步)；2、性能问题，ROLAP系统在用户提交分析请求后，进行大量的表连接和聚合操作之后，才把分析结果返回给用户，这些连接和聚合操作会引发大量的CPU和IO开销，导致延迟过大，从而降低用户的体验度；3、数据稀疏性问题，MOLAP中使用多维数组来存储所有的维度数据，当初使化时，会建立一个全维度的数组，当事务发生时，统计出相关指标并保存在相应的数据单元中，而其它单元仍然需要初使化，这就导致这个大而全的多维数组中，存在大量的稀疏数据，尤其是当维度过大时容易引起维度爆炸问题。
技术实现思路
为了解决上述背景中的问题，本专利技术提供了一种基于图计算的实时联机数据分析处理方法。本专利技术解决上述问题所采用的技术方案是：一种基于图计算的实时联机数据分析处理方法，包括如下步骤：S1、维度获取，梳理业务数据库中的业务数据得到维度分类；S2、建立图数据库，根据步骤S1中的维度分类建立图数据库并初始化图数据库中各维度的关系；S3、数据监控，对业务数据进行监控得到实时数据；S4、数据输入，将步骤S3中的实时数据输入到图数据库相应的节点上；S5、预计算，对节点上实时数据的相关值进行相应的预计算得到计算值；S6、数据存储，存储步骤S5得到的计算值及与计算值相对应的维度。本专利技术通过对业务数据进行监控得到与新事务有关的实时数据，该实时数据包括维度信息和事实信息，通过维度信息与图数据库的维度一一对应可以将事实数据添加到图数据库的相应节点上；由于只存储了真实发生的事务及其关联的维度，对于未产生的事务及没有关联的维度，则不存储，因此解决了MOLAP中的数据稀疏性问题，节省了存储开销；通过对业务数据进行实时监控使得写入图数据库中的信息都是实时信息，在后期查询时保证分析人员看到的展示结果都是实时的，随着业务数据变化而实时变化的；另外本专利技术采用预计算的方式，当事务发生时，通过按图索骥的方式找出和该事务关联的所有维度，进行逐级计算并保存计算结果，当用户提交分析请求时，只需要取出预计算好的结果可视化展示给用户即可，从而保证了分析的高性能和快速响应。进一步地，作为优选技术方案，所述步骤S3与步骤S4之间还包括步骤S31、数据中转，实时数据由数据池进行数据中转；步骤S3得到的实时数据进入数据池，步骤S4从数据池中获取实时数据并输入到图数据库相应的节点上。数据池可以对系统进行优化，步骤S3得到实时数据的速度与步骤S4数据输入的速度可能不匹配，若步骤S3的速度快于步骤S4的速度则步骤S3需要等待，反之步骤S4需要等待，在一段时间内则可能出现互相等待的情形；采用数据池进行数据中转，步骤S3得到的实时数据进入数据池，步骤S4从数据池中获取数据，可以起到缓冲作用。进一步地，作为优选技术方案，所述步骤S5包括对单维度的数据值进行计算及组合维度的数据值进行计算。进一步地，作为优选技术方案，在对组合维度的数据值进行计算时首先根据公式d组合＝(d1+1)×(d2+1)×...×(dn+1)计算组合维度的数量,其中d组合表示组合维度的数量，d1、d2、...dn表示各维度的层数；然后把每一种组合维度当成单一维度计算维度值。进一步地，作为优选技术方案，还包括步骤S7、数据查询，用户提交数据分析请求，根据请求中的维度在步骤S6的存储结果中寻找相应的计算值。通过该步骤可以根据用户请求将计算结果展示给用户。本专利技术相比于现有技术，具有以下有益效果:1、提高系统的响应时间及性能。使用预计算的方式对数据进行计算，当事务发生时，通过按图索骥的方式找出和该事务关联的所有维度，进行逐级计算并保存计算结果，当用户提交分析请求时，只需要取出预计算好的结果即可，从而保证了分析的高性能和快速响应。2、解决数据稀疏性问题及节约存储空间。本方法只存储真实发生的事务及其关联的维度，对于未产生的事务及没有关联的维度则不存储，因此解决了MOLAP中的数据稀疏性问题，节省了存储开销。3、实时分析。通过实时监控业务数据的新增和变化保证分析人员看到的展示结果都是实时的，随着业务数据变化而实时变化的。附图说明图1为本专利技术的流程图；图2为业务数据变化感知组件的两种部署方式；图3为GOLAP事务处理引擎的流程图；图4为经步骤S1与S2处理后的结果示意图；图5为新事务数据处理结果示意图；图6为GOLAP分析引擎处理数据的结果示意图；图7为本专利技术进一步细化后的流程图。具体实施方式下面结合实施例及附图，对本专利技术作进一步的详细说明，但本专利技术的实施方式不限于此。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖向”、“纵向”、“侧向”、“水平”、“内”、“外”、“前”、“后”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“开有”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。本文档来自技高网...

【技术保护点】
1.一种基于图计算的实时联机数据分析处理方法，其特征在于，包括如下步骤：/nS1、维度获取，梳理业务数据库中的业务数据得到维度分类；/nS2、建立图数据库，根据步骤S1中的维度分类建立图数据库并初始化图数据库中各维度的关系；/nS3、数据监控，对业务数据进行监控得到实时数据；/nS4、数据输入，将步骤S3中的实时数据输入到图数据库相应的节点上；/nS5、预计算，对节点上实时数据的相关值进行相应的预计算得到计算值；/nS6、数据存储，存储步骤S5得到的计算值及与计算值相对应的维度。/n

【技术特征摘要】
1.一种基于图计算的实时联机数据分析处理方法，其特征在于，包括如下步骤：
S1、维度获取，梳理业务数据库中的业务数据得到维度分类；
S2、建立图数据库，根据步骤S1中的维度分类建立图数据库并初始化图数据库中各维度的关系；
S3、数据监控，对业务数据进行监控得到实时数据；
S4、数据输入，将步骤S3中的实时数据输入到图数据库相应的节点上；
S5、预计算，对节点上实时数据的相关值进行相应的预计算得到计算值；
S6、数据存储，存储步骤S5得到的计算值及与计算值相对应的维度。


2.根据权利要求1所述的一种基于图计算的实时联机数据分析处理方法，其特征在于，所述步骤S3与步骤S4之间还包括步骤S31、数据中转，实时数据由数据池进行数据中转；步骤S3得到的实时数据进入数据池，步骤S4从数据池中获取实...

【专利技术属性】
技术研发人员：冷友方，张喜来，田波，
申请(专利权)人：成都双链科技有限责任公司，
类型：发明
国别省市：四川;51