一种大数据管理系统技术方案

本发明专利技术公开了一种大数据管理系统，包括：大数据应用端，数据服务提供模块，归总访问接口模块，分布式并行/纵向调度模块，网格运算查询分析执行引擎，智能挖掘数据模块和离散式分布数据存储端。优点在于，应用云计算巨量大数据的时候，可以实现时分立体调度的横向并行和纵向的网格式分布结构，提高了数据管理的应用，并实现数据的立体化分布。增加智能挖掘数据模块还可以提高数据搜索和运算的效率。

【技术实现步骤摘要】

本专利技术涉及一种大数据管理系统，尤其涉及一种基于云计算技术的大数据管理系统。
技术介绍
随着互联网、移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。IDC公司发布的数字宇宙研究报告称，全球信息总量每两年就会增长一倍，2011年全球被创建和被复制的数据总量为1.8ZB。IDC认为，到2020年全球所有IT部门拥有服务器的总量将会多出10倍，所管理的数据将会比现在多出50倍。预计到2020年，全球将总共拥有35ZB的数据量。数据量的飞速增长预示着我们现在已经进入了一个大数据的时代。然而，当前不仅仅是数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度。大数据给传统的数据管理系统带来了如下技术挑战:1)传统的数据管理系统一般只能处理TB级别的数据量，然而，大数据往往PB级别甚至EB级别，并行数据库大多支持有限扩展，一般可扩至数百节点的规模，尚未有数千节点规模的应用案例，传统数据管理系统无法处理大数据的高扩展性和海量需求；2)大数据涵盖了各种类型的数据，包括结构化、半结构化和非结构化数据，不同类型数据的分析不尽相同，传统数据管理处理往往只针对某一种类型数据和管理比较单一 ；3)传统数据管理系统处理能力的提高依赖于CPU/内存/存储/网络的更新升级，而大数据的处理模式是一种基于“scale-out”的模式，它的性能提高依赖于连续的往分布式系统上增加低价的计算和存储节点；4)传统的数据管理系统是以处理器为中心，而大数据环境下，需要采取以数据为中心的管理系统，减少数据移动带来的开销，传统的数据管理系统，已经不能适应大数据的需求。总之，相比传统的关系数据库，大数据具有数据量巨大、结构复杂、类型众多等特点，这对大数据的存储、处理与分析提出了新的挑战，而且，大数据问题最近才被人们意识至IJ，现有的管理系统不能很好地实现大数据的有效管理。
技术实现思路
本专利技术目的在于提供一种基于云计算技术的大数据管理系统。本专利技术所述的一种大数据管理系统，其特征在于，包括:大数据应用端，用于实现用户对大数据的应用层，提供应用接入；数据服务提供模块，用于实现用户进行云计算服务的提供层，提供服务接入；归总访问接口模块，用于实现云计算服务的统一接入；分布式并行/纵向调度模块，用于实现并行与纵向的时分立体调度，形成网格运算前端；网格运算查询分析执行引擎，用于对实行时分立体调度的网格式分布进行引导运算;智能挖掘数据模块，用于根据用户预设的需要，采用特征启发式数据挖掘；离散式分布数据存储端，用于存储大数据。所述的分布式并行/纵向调度模块，包括横向并行Hadoop结构单元和纵向HBase结构单元。所述的离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。所述的离散式分布数据存储端，包括MPP关系数据库和Hadoop结构数据库。本专利技术优点在于，应用云计算巨量大数据的时候，可以实现时分立体调度的横向并行和纵向的网格式分布结构，提高了数据管理的应用，并实现数据的立体化分布。增加智能挖掘数据模块还可以提高数据搜索和运算的效率。【附图说明】图1是本专利技术实施例一的大数据管理系统结构示意图。图2是本专利技术实施例二的大数据管理系统结构示意图。【具体实施方式】实施例一如图1所示，本专利技术的基于云计算的大数据管理系统，包括了:用于实现用户对大数据的应用层，提供应用接入的大数据应用端；用于实现用户进行云计算服务的提供层，提供服务接入的数据服务提供模块；用于实现云计算服务的统一接入的归总访问接口模块；用于实现并行与纵向的时分立体调度，形成网格运算前端的分布式并行/纵向调度模块；用于对实行时分立体调度的网格式分布进行引导运算的网格运算查询分析执行引擎；用于根据用户预设的需要，采用特征启发式数据挖掘的智能挖掘数据模块；和用于存储大数据的离散式分布数据存储端。为了更好实现横向并行与纵向分布的时分立体调度，所述的分布式并行/纵向调度模块，包括横向并行Hadoop结构单元和纵向HBase结构单元。对于大数据的存储端可以有多种结构方式，所述的离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。实施例二相对实施例一的不同点在于，所述的离散式分布数据存储端采用不同的结构方式，包括MPP关系数据库和Hadoop结构数据库。通过上述两个实施例可以使应用云计算巨量大数据的时候，可以实现时分立体调度的横向并行和纵向的网格式分布结构，提高了数据管理的应用，并实现数据的立体化分布。增加智能挖掘数据模块还可以提高数据搜索和运算的效率。采用了将基于云计算的网格化大数据挖掘系统设计为包括:用于提供网络通信接口，方便各模块层通信使用的网络层模块；用于数据、资料信息分布式存储的云存储模块；用于高效分布式计算数据，将云存储架构基于网格化的设计，模块化组件，将功能细分化及数据立体化的网格计算模块；用于基于用户的要求从大数据中通过启发式功能挖掘出香港信息的智能挖掘模块。因此有效解决了现有的数据管理和运算效率低下，准确率不足的问题，进而实现了有效地基于云计算的大数据管理。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本专利技术权利要求的保护范围之内。【主权项】1.一种大数据管理系统，其特征在于，包括: 大数据应用端，用于实现用户对大数据的应用层，提供应用接入； 数据服务提供模块，用于实现用户进行云计算服务的提供层，提供服务接入； 归总访问接口模块，用于实现云计算服务的统一接入； 分布式并行/纵向调度模块，用于实现并行与纵向的时分立体调度，形成网格运算前端; 网格运算查询分析执行引擎，用于对实行时分立体调度的网格式分布进行引导运算； 智能挖掘数据模块，用于根据用户预设的需要，采用特征启发式数据挖掘； 离散式分布数据存储端，用于存储大数据。2.根据权利要求1所述的大数据管理系统，其特征在于，所述的分布式并行/纵向调度模块，包括横向并行Hadoop结构单元和纵向HBase结构单元。3.根据权利要求1所述的大数据管理系统，其特征在于，所述的离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。4.根据权利要求1所述的大数据管理系统，其特征在于，所述的离散式分布数据存储端，包括MPP关系数据库和Hadoop结构数据库。【专利摘要】本专利技术公开了一种大数据管理系统，包括：大数据应用端，数据服务提供模块，归总访问接口模块，分布式并行/纵向调度模块，网格运算查询分析执行引擎，智能挖掘数据模块和离散式分布数据存储端。优点在于，应用云计算巨量大数据的时候，可以实现时分立体调度的横向并行和纵向的网格式分布结构，提高了数据管理的应用，并实现数据的立体化分布。增加智能挖掘数据模块还可以提高数据搜索和运算的效率。【IPC分类】G06F17/30【公开号】CN105243164【申请号】CN201510744790【专利技术人】袁进波 【申请人】广州市优普计算机有限公司【公开日】2016年1月13日【申请日】2015年11月3日本文档来自技高网...

【技术保护点】
一种大数据管理系统，其特征在于，包括：大数据应用端，用于实现用户对大数据的应用层，提供应用接入；数据服务提供模块，用于实现用户进行云计算服务的提供层，提供服务接入；归总访问接口模块，用于实现云计算服务的统一接入；分布式并行/纵向调度模块，用于实现并行与纵向的时分立体调度，形成网格运算前端；网格运算查询分析执行引擎，用于对实行时分立体调度的网格式分布进行引导运算；智能挖掘数据模块，用于根据用户预设的需要，采用特征启发式数据挖掘；离散式分布数据存储端，用于存储大数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：袁进波，
申请(专利权)人：广州市优普计算机有限公司，
类型：发明
国别省市：广东;44