一种大规模数据并行处理系统技术方案

本发明专利技术公开了一种大规模数据并行处理系统，包括：查询请求终端，所述查询请求终端与SQL主引擎连接，所述SQL主引擎连接有若干SQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，所述大数据库与数据推送模块连接，所述大数据库根目录下建立有若干个用于分别存储专一数据类型的子数据库，所述数据推送模块与大数据采集终端连接，用于对采集到的数据信息进行数据类型识别。本发明专利技术通过SQL从引擎处理单一数据类型的子数据库，并将数据处理结果向上级SQL主引擎进行汇总，并由SQL主引擎将结果整合后发送至查询请求终端进行显示，输出查询结果，对数据处理效率高，能够以多种设备为载体，操作方便。

A large scale parallel data processing system

【技术实现步骤摘要】
一种大规模数据并行处理系统
本专利技术属于大数据处理
，具体涉及一种大规模数据并行处理系统。
技术介绍
数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。随着互联网技术的发展，数据量也在飞速提升，面对海量数据，传统的数据处理模式已经无法满足现有的生产需求。因此，如何从大数据中快速获取人们需要的信息成为大数据处理中的重要任务。
技术实现思路
本专利技术的目的在于提供一种大规模数据并行处理系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种大规模数据并行处理系统，包括：查询请求终端，所述查询请求终端与SQL主引擎连接，所述查询请求终端用于发出大数据处理指令，并将查询请求进行解析后发送至SQL主引擎以及接收SQL主引擎的请求处理结果并进行结果输出；SQL主引擎，所述SQL主引擎连接有若干SQL从引擎，所述SQL主引擎接收查询请求后，将查询请求向负责查询管理专一数据类型子数据库的SQL从引擎进行分发以及接收SQL从引擎的处理结果；SQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，在SQL从引擎接收到查询请求时，从子数据库中调取相关处理结果；r>大数据库，所述大数据库与数据推送模块连接，所述大数据库根目录下建立有若干个用于分别存储专一数据类型的子数据库；数据推送模块，所述数据推送模块与大数据采集终端连接，用于对采集到的数据信息进行数据类型识别，并将数据按照类型分别推送至大数据库中保存；大数据采集终端，所述大数据采集终端将采集到的数据信息发送至数据推送模块进行识别分类。优选的，所述数据推送模块中还设有若干数据分类子模块，每个数据分类子模块随机接收大数据采集终端发出的数据，所述数据分类子模块可对数据类型进行识别并将数据发送至大数据库中用于保存指定数据类型的子数据库中进行存储。优选的，所述SQL主引擎和SQL从引擎还包括HBase表。优选的，所述查询请求终端包括计算机、智能手机，所述查询请求终端通过云服务器与SQL主引擎连接。本专利技术的技术效果和优点：本专利技术通过SQL从引擎处理单一数据类型的子数据库，提高数据查询管理效率，并将数据处理结果向上级SQL主引擎进行汇总，并由SQL主引擎将结果整合后发送至查询请求终端进行显示，输出查询结果，对数据处理效率高，能够以多种设备为载体，操作方便。附图说明图1为本专利技术的系统结构示意图。具体实施方式下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，一种大规模数据并行处理系统，包括：查询请求终端，所述查询请求终端与SQL主引擎连接，所述查询请求终端用于发出大数据处理指令，并将查询请求进行解析后发送至SQL主引擎以及接收SQL主引擎的请求处理结果并进行结果输出，向查询请求终端输入查询指令时，首先对查询指令进行解析，判断查询指令为数据定义类型或数据操作类型的语句，根据查询指令的类别分别进行操作；SQL主引擎，所述SQL主引擎连接有若干SQL从引擎，所述SQL主引擎接收查询请求后，将查询请求向负责查询管理专一数据类型子数据库的SQL从引擎进行分发以及接收SQL从引擎的处理结果，SQL主引擎分别对下级每个SQL从引擎发出控制指令，使得SQL从引擎进行并列处理，提高数据处理效率，节约时间，SQL从引擎将数据处理结果向上级SQL主引擎进行汇总，并由SQL主引擎将结果整合后发送至查询请求终端进行显示，输出查询结果；SQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，在SQL从引擎接收到查询请求时，从子数据库中调取相关处理结果，采用SQL从引擎处理单一数据类型的子数据库，提高数据查询管理效率；大数据库，所述大数据库与数据推送模块连接，所述大数据库根目录下建立有若干个用于分别存储专一数据类型的子数据库，将同类型的数据保存管理在同一子数据库中，有利于提高数据查找精度；数据推送模块，所述数据推送模块与大数据采集终端连接，用于对采集到的数据信息进行数据类型识别，并将数据按照类型分别推送至大数据库中保存，通过预先对数据类型进行分类，对同一类型的数据集中存储管理，提高数据存储的整洁性，便于操作；大数据采集终端，所述大数据采集终端将采集到的数据信息发送至数据推送模块进行识别分类，大数据采集时，通过不同渠道同时进行采集并上传至数据推送模块进行集中处理。所述数据推送模块中还设有若干数据分类子模块，每个数据分类子模块随机接收大数据采集终端发出的数据，所述数据分类子模块可对数据类型进行识别并将数据发送至大数据库中用于保存指定数据类型的子数据库中进行存储。数据分类子模块用于识别数据类型，能够在收集数据时就对数据进行分类识别处理，数据分类子模块并行处理，提高对数据的分类效率，粗粒速度高。所述SQL主引擎和SQL从引擎还包括HBase表，其中SLQ表中非主键的列映射为HBase表中列族中的列，SLQ表中的主键列映射为HBase表中的行主键。所述查询请求终端包括计算机、智能手机，所述查询请求终端通过云服务器与SQL主引擎连接，能够以多种设备为载体，适应性广，实现自由化对数据进行处理操作。本专利技术通过SQL从引擎处理单一数据类型的子数据库，提高数据查询管理效率，并将数据处理结果向上级SQL主引擎进行汇总，并由SQL主引擎将结果整合后发送至查询请求终端进行显示，输出查询结果，对数据处理效率高，能够以多种设备为载体，操作方便。最后应说明的是：以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种大规模数据并行处理系统，其特征在于：包括：/n查询请求终端，所述查询请求终端与SQL主引擎连接，所述查询请求终端用于发出大数据处理指令，并将查询请求进行解析后发送至SQL主引擎以及接收SQL主引擎的请求处理结果并进行结果输出；/nSQL主引擎，所述SQL主引擎连接有若干SQL从引擎，所述SQL主引擎接收查询请求后，将查询请求向负责查询管理专一数据类型子数据库的SQL从引擎进行分发以及接收SQL从引擎的处理结果；/nSQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，在SQL从引擎接收到查询请求时，从子数据库中调取相关处理结果；/n大数据库，所述大数据库与数据推送模块连接，所述大数据库根目录下建立有若干个用于分别存储专一数据类型的子数据库；/n数据推送模块，所述数据推送模块与大数据采集终端连接，用于对采集到的数据信息进行数据类型识别，并将数据按照类型分别推送至大数据库中保存；/n大数据采集终端，所述大数据采集终端将采集到的数据信息发送至数据推送模块进行识别分类。/n

【技术特征摘要】
1.一种大规模数据并行处理系统，其特征在于：包括：
查询请求终端，所述查询请求终端与SQL主引擎连接，所述查询请求终端用于发出大数据处理指令，并将查询请求进行解析后发送至SQL主引擎以及接收SQL主引擎的请求处理结果并进行结果输出；
SQL主引擎，所述SQL主引擎连接有若干SQL从引擎，所述SQL主引擎接收查询请求后，将查询请求向负责查询管理专一数据类型子数据库的SQL从引擎进行分发以及接收SQL从引擎的处理结果；
SQL从引擎，所述SQL从引擎设置有若干个，且每个所述SQL从引擎分别对专一数据类型的子数据库进行存储和管理，在SQL从引擎接收到查询请求时，从子数据库中调取相关处理结果；
大数据库，所述大数据库与数据推送模块连接，所述大数据库根目录下建立有若干个用于分别存储专一数据类型的子数据库；
数据推送模块，所述数据推送模块与大数据采集终...

【专利技术属性】
技术研发人员：陆冰芳，谢菁，张希翔，韦宗慧，梁仲峰，
申请(专利权)人：广西电网有限责任公司，
类型：发明
国别省市：广西;45