一种基于企业级大数据平台支撑上层应用的系统架构技术方案

本发明专利技术公开了一种基于企业级大数据平台支撑上层应用的系统架构，属于大数据处理领域，本发明专利技术要解决的技术问题为软件系统的建设在企业内部以及企业外部之间的信息割裂以及数据重复。技术方案为：该系统架构包括数据中心平台、数据分析平台和系统管理平台，数据中心平台包括分布式数据处理子系统、大数据平台、数据仓库、数据共享子系统、数据质量子系统、元数据子系统和任务调度子系统；数据分析平台包括数据分析专题门户和数据可视化分析子系统；系统管理平台包括认证鉴权、配置管理和日志管理。

【技术实现步骤摘要】

本专利技术涉及大数据处理领域，具体地说是一种基于企业级大数据平台支撑上层应用的系统架构。
技术介绍
随着计算机网络的飞速发展和信息化的推进，数据的采集、存储和传播日益增加。企业内部以及企业外部之间信息的交流日益强烈，但企业内部各个部门，企业与企业之间的信息平台的数据源往往彼此独立，存在异构现象。当前烟囱式软件系统的建设在企业内部以及企业外部之间均普遍存在信息割裂、数据重复等问题，造成数据管理分散、信息孤岛严重等问题，数据无法在不同系统之间交叉共享，从而导致系统功能重复建设，数据管理困难，资源浪费。如附图1所示的业务分析，数据中心如何能够主动或被动的进行信息获取，如何能够整合各种数据源，对各类数据进行关联挖掘分析，实现大数据关联应用，从而为各种业务需求应用场景提供数据支撑，给企业带来多样化的业务分析手段。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种基于企业级大数据平台支撑上层应用的系统架构，来解决软件系统的建设在企业内部以及企业外部之间的信息割裂以及数据重复的问题。本专利技术解决其技术问题所采用的技术方案是：一种基于企业级大数据平台支撑上层应用的系统架构，该系统架构包括数据中心平台、数据分析平台和系统管理平台，数据中心平台包括分布式数据处理子系统、大数据平台、数据仓库、数据共享子系统、数据质量子系统、元数据子系统和任务调度子系统；数据分析平台包括数据分析专题门户和数据可视化分析子系统；系统管理平台包括认证鉴权、配置管理和日志管理。其中，该系统架构基于X86架构。作为优选，所述数据中心平台以基础设施层和应用层实现，数据分析平台以数据层和服务层实现，系统管理平台以数据层实现。其中，该系统架构基于云计算以及互联网模式的系统架构，实现基础设施层（IaaS）、数据层（DaaS）、服务层（PaaS）以及应用层（SaaS）的解耦分离，同时各层均具有封装的服务能力，营造开放共享的系统生态环境。服务层提供各种开发和分发应用的解决方案，比如虚拟服务器和操作系统。作为优选，所述基础设施层采用x86分布式计算和存储资源，提供场外服务器、存储和网络硬件，用于实现易管理、易扩展、高可靠以及高吞吐的特性；数据层用于提供安全可靠的数据开放平台，通过数据统一建模、统一存储和统一共享实现快速的数据聚合能力；服务层用于提供与业务无关的基础服务；应用层用于快速响应业务需求和应用开发，成为多种应用的集中管理和开放平台。作为优选，所述数据中心平台、数据分析平台和系统管理平台均采用标准接口，便于升级替换。更优地，所述数据中心平台采用Hadoop、MPP以及RDB技术，实现数据关联分析和挖掘，进而实现企业内部以及企业之间的数据共享，避免数据孤岛的现象。更优地，所述系统架构的工作过程包括如下步骤：（1）、数据中心平台完成原始数据的接入及汇总处理；（2）、数据分析平台根据业务需要从数据中心平台查询并呈现汇总后的数据；（3）、系统管理平台对整个企业级大数据平台进行日志以及配置的日常管理。本专利技术的一种基于企业级大数据平台支撑上层应用的系统架构和现有技术相比，具有以下有益效果：1、本专利技术采用云计算、大数据技术解决了当前烟囱式的软件系统建设存在的信息割裂、数据重复等突出问题，通过整合各种数据源，对各类数据进行关联挖掘分析，从而为各种业务需求应用场景提供数据支撑，给企业带来了多样化的业务分析手段；2、本专利技术实现了数据开放共享，打破厂商垄断数据的局面，形成开放的生态格局，数据主本统一，避免数据的重复存放，减少资源浪费，形成应用和数据分离的体系架构，底层共享的数据统一支撑上层各种应用，从而给企业转型和创新带来可靠的数据分析手段；3、本专利技术基于企业级大数据平台采用大数据处理技术的系统架构通过整合各种数据资源，同时采用Hadoop、MPP以及RDB技术，进行各种数据的关联分析和挖掘，根据业务需求支撑各种类型的专题分析，提高了企业信息获取、问题分析和定位等能力，给业务经营带来极大的帮助。故本专利技术具有设计合理、结构简单、使用方便、一物多用等特点，因而，具有很好的推广使用价值。附图说明下面结合附图对本专利技术进一步说明。附图1为
技术介绍
中的业务分析图；附图2为一种基于企业级大数据平台支撑上层应用的系统架构按照分层划分的结构框图；附图3为一种基于企业级大数据平台支撑上层应用的系统架构按照模块化划分的结构框图；附图4为附图3的技术架构图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。如附图3所示，本专利技术的一种基于企业级大数据平台支撑上层应用的系统架构，该系统架构按照模块化划分包括数据中心平台、数据分析平台和系统管理平台，数据中心平台包括分布式数据处理子系统、大数据平台、数据仓库、数据共享子系统、数据质量子系统、元数据子系统和任务调度子系统；数据分析平台包括数据分析专题门户和数据可视化分析子系统；系统管理平台包括认证鉴权、配置管理和日志管理。数据中心平台、数据分析平台和系统管理平台均采用标准接口，便于升级替换。数据中心平台采用Hadoop、MPP以及RDB技术，实现数据关联分析和挖掘，进而实现企业内部以及企业之间的数据共享，避免数据孤岛现象。该系统架构的工作过程包括如下步骤：（1）、数据中心平台完成原始数据的接入及汇总处理；（2）、数据分析平台根据业务需要从数据中心平台查询并呈现汇总后的数据；（3）、系统管理平台对整个企业级大数据平台进行日志以及配置的日常管理。如附图2所示，系统架构按照分层划分分为基础设施层（IaaS）、数据层（DaaS）、服务层（PaaS）以及应用层（SaaS）；基础设施层（IaaS）采用x86分布式计算和存储资源，提供场外服务器、存储和网络硬件，用于实现易管理、易扩展、高可靠以及高吞吐的特性；数据层（DaaS）用于提供安全可靠的数据开放平台，通过数据统一建模、统一存储和统一共享实现快速的数据聚合能力；服务层（PaaS）用于提供与业务无关的基础服务；应用层（SaaS）用于快速响应业务需求和应用开发，成为多种应用的集中管理和开放平台。数据中心平台以基础设施层（IaaS）和应用层（SaaS）实现，数据分析平台以数据层（DaaS）和服务层（PaaS）实现，系统管理平台以数据层（DaaS）实现。如附图4所示，该系统架构进行数据关联分析和挖掘的工作过程如下：首先，各类系统原始数据（即数据源）被采集到数据中心平台的Hadoop集群的HDFS，经过Hadoop的关联分析和计算生成明细数据，其中一份被送入Hbase集群存放用于应用查询，另一份通过各种业务规则汇总生成基础数据并存入MPP数据库或RDB用于支撑前台应用专题分析和其他日常分析；然后，系统使用者从前台应用或数据服务模块中获取数据中心汇总生成的分析数据，并根据数据分析平台分析后的数据指导业务发展；最后，系统管理员通过系统管理平台对企业级大数据平台进行日常维护管理。通过上面具体实施方式，所述
本文档来自技高网...

【技术保护点】
一种基于企业级大数据平台支撑上层应用的系统架构，其特征在于：该系统架构包括数据中心平台、数据分析平台和系统管理平台，数据中心平台包括分布式数据处理子系统、大数据平台、数据仓库、数据共享子系统、数据质量子系统、元数据子系统和任务调度子系统；数据分析平台包括数据分析专题门户和数据可视化分析子系统；系统管理平台包括认证鉴权、配置管理和日志管理。

【技术特征摘要】
1.一种基于企业级大数据平台支撑上层应用的系统架构，其特征在于：该系统架构包括数据中心平台、数据分析平台和系统管理平台，数据中心平台包括分布式数据处理子系统、大数据平台、数据仓库、数据共享子系统、数据质量子系统、元数据子系统和任务调度子系统；数据分析平台包括数据分析专题门户和数据可视化分析子系统；系统管理平台包括认证鉴权、配置管理和日志管理。
2.根据权利要求1所述的一种基于企业级大数据平台支撑上层应用的系统架构，其特征在于：所述数据中心平台以基础设施层和应用层实现，数据分析平台以数据层和服务层实现，系统管理平台以数据层实现。
3.根据权利要求1或2所述的一种基于企业级大数据平台支撑上层应用的系统架构，其特征在于：所述基础设施层采用x86分布式计算和存储资源，提供场外服务器、存储和网络硬件，用于实现易管理、易扩展、高可靠以及高吞吐的特性；数据层用于提供安全可靠的数据开放平台，通过数据统一建模、统一存储和...

【专利技术属性】
技术研发人员：崔延元，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：山东;37