数据仓库系统技术方案

本实用新型专利技术提供了一种数据仓库系统，包括：基础数据仓库；多个与该基础数据仓库处于同一物理数据库的应用数据集市。本实用新型专利技术通过将基础数据仓库和多个应用数据集市集成到一个物理数据仓库，使得应用数据集市数据的获取和加工处理在同一数据库内可方便实现，减少数据存储的冗余性、节约存储、降低成本；同时，在同一物理数据库中可实现数据的互操作，避免了不在同一个数据库中因数据操作的复杂性而带来的应用开发的复杂性，有效降低应用开发成本、并缩短周期、提高开发效率；此外，在同一个数据库中操作可以充分保证性能，以及便于采用相同的数据标准和数据管理体系进行统一管理以提高整体数据质量。（*该技术在2019年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及一种数据仓库系统。
技术介绍
目前，运营商大多以数据仓库为核心，将企业内部的各个生产平台数据集中到数 据仓库系统中。通过统计分析、数据挖掘等手段，为市场经营服务、为领导决策提供分析支 撑的系统。由此可见，数据仓库的性能、稳定性、安全性和高效性，极大程度上决定着经营分 析系统的整体运行状况。此外，数据仓库作为一个企业的核心数据平台，需要保持大量的历 史数据。随着时间的推移，数据仓库的数据量会不断的增长，对硬件空间和硬件处理能力的 要求也不断的增加。无论从发展的角度、成本的角度考虑，还是从最佳实践的角度来考虑， 规划一个能够满足3-5年的初始容量，然后配备一个自由扩展、随需应变的数据仓库平台 都是最合理的解决方案。经营分析系统存放的基础数据大多为客户资料、用户资料、话单、业务受理等 用户相关数据，以及客服平台、网管平台、彩铃平台及数据业务管理平台(Data Service Management Platform，简称DSMP)等数据，在数据仓库基础数据之上建立多个数据集市应 用，即基础数据仓库和多个应用数据集市是在同一个数据仓库中，而地市数据集市数据库 是物理独立的数据库。现有的经应分析系统技术存在如下不足(1)基础数据和应用数据的存放及计算均共享同一硬件平台，资源争抢严重，导致 新增应用和原应用计算时占用资源重合程度不确定，造成原有应用响应时间的不确定性， 系统运行不稳定、工作效率低。(2)如果将数据仓库按不同的应用拆分为多个物理独立的话，将造成基础数据的 大量冗余，导致增加存储成本。
技术实现思路
本专利技术的第一目的是提出一种成本低、效率高的数据仓库系统。为实现上述第一目的，本专利技术提供了一种数据仓库系统，包括基础数据仓库；多 个与该基础数据仓库处于同一物理数据库的应用数据集市。优选地，基础数据仓库及多个应用数据集市分别位于物理数据库中的分区中。本专利技术各个实施例中，通过将基础数据仓库和多个应用数据集市集成到一个物理 数据仓库，使得应用数据集市数据的获取和加工处理在同一数据库内可方便实现，减少数 据存储的冗余性、节约存储、降低成本；同时，在同一物理数据库中可实现数据的互操作，避 免了不在同一个数据库中因数据操作的复杂性而带来的应用开发的复杂性，有效降低应用 开发成本、并缩短周期、提高开发效率；此外，在同一个数据库中操作可以充分保证性能，以 及便于采用相同的数据标准和数据管理体系进行统一管理以提高整体数据质量。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实 施例一并用于解释本专利技术，并不构成对本专利技术的限制。在附图中图1为本专利技术的数据仓库系统的实施例一示意图；图2为本专利技术的数据仓库系统的实施例二结构图；图3为本专利技术的数据仓库系统的实施例三结构图；图4为本专利技术的数据仓库系统的实施例四结构示意图；图5为本专利技术的数据仓库系统的实施例五结构示意图。附图标记说明12-基础数据仓库 14-应用数据集市 P550、P570、P595-服务器22-获取层24-数据层26-应用层28-访问层DS4800、DS8300-存储系统磁盘阵列具体实施方式系统实施例图1为本专利技术的数据仓库系统的实施例一示意图。如图1所示，本实施例中数据 仓库系统包括基础数据仓库12 ；多个与该基础数据仓库处于同一物理数据仓库的应用数 据集市(以下也称为应用数据集市数据库)，如应用数据集市14。具体操作时，该基础数据仓库12可以包括管理服务器(如2台P570服务器)、数 据仓库服务器(如2台P595服务器)。每一应用数据集市可以包括数据集市服务器(如2 台P570服务器以及1台P550服务器)。该基础数据仓库12还可以包括交换机(如M48 交换机)、磁带库以及存储系统磁盘阵列(如DS4800、DS8300)等。应用数据集市14还可 以包括存储系统磁盘阵列(如EMC CX3-80)等。本领域技术人员可以理解，本专利技术数据仓库系统主要在于将基础数据仓库12与 多个应用数据集市形成一个物理数据库，数据仓库系统具体包括的内容不局限于上述管理 服务器、数据仓库服务器以及数据集市服务器，当然也不局限于上述各种服务器的数量。上述基础数据仓库12与应用数据集市14共同构成一个数据仓库集群环境，对外 是一个数据仓库(简称DB2)物理数据库，通过数据仓库系统提供的数据访问权限控制机制， 充分保证数据安全。上述管理服务器、数据仓库服务器以及数据集市服务器可以通过非共享 体系架构(Share Nothing)的多分区数据库技术实现。多分区数据库技术的特征如下a. 一个物理数据库被分成多个分区，每个分区可以看成是一个逻辑的数据库分 区；b.每个数据库分区运行在各自的节点上，拥有独立的资源，如中央处理单元 (Central Processing Unit，简称CPU)，内存，磁盘，引擎，核心进程，锁机制等；c.其中一个数据库分区(被称为“协调节点”)负责协调所有逻辑数据库分区之 间的通信工作；d.所有数据库分区对协调节点传递的应用进行并发处理，然后通过快速通信机制 将处理结果返回。有上述描述可知，数据库分区组是一个或多个逻辑数据库分区的集合，一个数据库分区可以属于多个数据库分区组，每个数据库分区组可以跨一个或多个数据库分区。通 常情况下，数据库分区组的划分依据是数据库分区的不同功能，一个多分区数据库可以拥 有多个数据库分区组。如，管理服务器可以位于DB2分区0，主要用于客户端连接以及管理 DB2分布式计算环境中的工作负荷协调；数据仓库服务器可以对应DB2分区1到64，主要用 于构成数据仓库分区组；数据集市服务器可以对应DB2分区65到72，主要用于构成数据集 市分区组1。具体操作时，数据仓库分区组中服务器可扩展，以满足更多仓库数据存储和查询 访问需求；同样，数据集市分区组服务器也可扩展，满足数据集市更多数据存储和查询访问 需求，如，若新增数据集市服务器DM server n (对应DB2分区73到n)构成数据集市分区 组n。当增加新的数据集市应用的时候，首先将新扩容的服务器加入DB2集群，然后在其上 添加新的数据集市分区组，最后将新的数据集市可构建在该分区组之上。在DB2数据库环 境中，数据库表空间必须创建在一个指定的数据库分区组上，而且每个表空间只能属于一 个数据库分区组。数据库分区组可以动态的调整所占用的逻辑数据库分区的数量，从而调 整每个功能模块所占用的硬件资源。本实施例中，通过将基础数据仓库12和多个应用数据集市集成到一个物理数据 仓库，减少数据存储的冗余性、节约存储、降低成本；同时避免了不在同一个数据库中因数 据操作的复杂性而带来的应用开发的复杂性，有效降低应用开发成本、并缩短周期、提高 开发效率；此外，在同一个数据库中操作可以充分保证性能，以及提高整体数据质量；优选 地，基础数据仓库和应用数据集市数据库采用各分区组实现，每个分区组使用自己独享的 硬件服务器和存储，相互之间没有资源使用的冲突，可以充分保证各分区组的性能相互不 受影响，避免了某个分区组由于应用程序不优化造成的数据仓库和所有数据集市全面性能 下降问题的出现，而且在存储容量或处理能力不能满足需求，均可在分区组中增加硬件处 理资源进行扩容，以及在某分区组资源不足本文档来自技高网...

【技术保护点】
一种数据仓库系统，其特征在于，包括：　　基础数据仓库；　　多个与所述基础数据仓库处于同一物理数据库的应用数据集市。

【技术特征摘要】

【专利技术属性】
技术研发人员：霍绍博，任智广，王海通，易剑光，
申请(专利权)人：中国移动通信集团河北有限公司，
类型：实用新型
国别省市：13[中国|河北]