一种数据处理设备、方法和计算机可读存储介质技术

本发明专利技术提供了一种数据处理设备、方法和计算机可读存储介质，确认已部署的数据仓库基础构架和海杜普数据库，接收客户端发送的创建修改表对应的第一控制命令，对第一控制命令进行解析，判断是否需要去重，生成判断结果，根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。通过本发明专利技术的实施，通过海杜普数据库的应用，以及在创建时判断是否需要去重，从而为数据仓库基础构架中的实体表的数据更新提供了便利，减小了维护成本。

A data processing device, method, and computer-readable storage medium

The invention provides a data processing apparatus, method and computer readable storage medium, confirm the deployment of data warehouse infrastructure and Hedup database, receiving control commands sent by the client to create the first table corresponding to the analysis of the first control command, determine whether there is a need to re generate, judge the results, according to the judgment result corresponding to the in the data warehouse infrastructure and / or sea trump database create table. The embodiment of the invention, through the application of Hedup database, and to determine whether the need to create and provide convenience to data warehouse infrastructure in the entity table data update, maintenance cost reduction.

【技术实现步骤摘要】
一种数据处理设备、方法和计算机可读存储介质
本专利技术涉及数据处理领域，更具体地说，涉及一种数据处理设备、方法和计算机可读存储介质。
技术介绍
大数据处理中，数据更新是最常见的一种数据处理，HIVE(数据仓库基础构架)作为处理数据的最为常用的组件，由于其支持SQL(结构化查询语言)或类SQL而得到广泛的应用。然而，由于HIVE本身处理数据的单一，不支持对数据的去重操作，也就无法进行数据的更新，导致单纯应用HIVE的数据库不发有效的完成复杂结构化数据的更新操作，处理流程复杂，维护成本高。
技术实现思路
本专利技术要解决的技术问题在于如何解决现有技术中应用HIVE组件的数据处理不支持去重操作，从而导致对数据的更新复杂，维护成本高的问题；针对该技术问题，提供一种数据处理设备，其特征在于，所述数据处理设备包括处理器、存储器以及通信总线：所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行所述存储器中存储的数据处理程序，以实现：确认已部署的数据仓库基础构架和海杜普数据库；接收客户端发送的创建修改表对应的第一控制命令；对所述第一控制命令进行解析，判断是否需要去重，生成判断结果；根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。可选的，所述对第一控制命令进行解析，判断是否包含预设字段，生成判断结果包括：解析所述第一控制命令中，是否包含NOREPEAT字段；所述判断结果包括是或否；所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表包括：若判断结果为是，则在所述数据仓库基础构架中创建实体表与对应的映射表，以及在所述海杜普数据库中创建对应的索引表；如判断结果为否，则直接在所述数据仓库基础构架中创建实体表。可选的，所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表之后，所述处理器还用于执行所述数据处理程序，以实现：接收客户端发送的添加和/或修改数据对应的第二控制命令；在所述索引表中，查找是否存在与所述第二控制命令对应的表的名称；若是，则将待添加和/或修改的数据进行去重处理后，写入所述实体表中。可选的，所述将待添加和/或修改的数据进行去重处理后，写入所述实体表中包括：将所述待添加和/或修改的数据通过所述映射表保存至所述索引表中；在所述索引表中，通过所述待添加和/或修改的数据对对应的表进行更新；将更新后的所述索引表的内容重写入所述实体表中。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现：确认已部署的数据仓库基础构架和海杜普数据库；接收客户端发送的创建修改表对应的第一控制命令；对所述第一控制命令进行解析，判断是否需要去重，生成判断结果；根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。本专利技术还提供一种基于分布式系统基础架构的数据处理方法，包括：确认已部署的数据仓库基础构架和海杜普数据库；接收客户端发送的创建修改表对应的第一控制命令；对所述第一控制命令进行解析，判断是否需要去重，生成判断结果；根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。可选的，所述对第一控制命令进行解析，判断是否包含预设字段，生成判断结果包括：解析所述第一控制命令中，是否包含NOREPEAT字段；所述判断结果包括是或否；所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表包括：若判断结果为是，则在所述数据仓库基础构架中创建实体表与对应的映射表，以及在所述海杜普数据库中创建对应的索引表；如判断结果为否，则直接在所述数据仓库基础构架中创建实体表。可选的，在所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表之后，还包括：接收客户端发送的添加和/或修改数据对应的第二控制命令；在所述索引表中，查找是否存在与所述第二控制命令对应的表的名称；若是，则将待添加和/或修改的数据进行去重处理后，写入所述实体表中。可选的，所述将待添加和/或修改的数据进行去重处理后，写入所述实体表中包括：将所述待添加和/或修改的数据通过所述映射表保存至所述索引表中；在所述索引表中，通过所述待添加和/或修改的数据对对应的表进行更新；将更新后的所述索引表的内容重写入所述实体表中。可选的，在所述接收客户端发送的创建修改表对应的第一控制命令之前，还包括：接收所述客户端发送的密钥，并通过所述密钥对所述客户端进行鉴权；鉴权通过后，允许所述客户端发送命令。有益效果本专利技术提供了一种数据处理设备、方法和计算机可读存储介质，确认已部署的数据仓库基础构架和海杜普数据库，接收客户端发送的创建修改表对应的第一控制命令，对第一控制命令进行解析，判断是否需要去重，生成判断结果，根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。通过本专利技术的实施，通过海杜普数据库的应用，以及在创建时判断是否需要去重，从而为数据仓库基础构架中的实体表的数据更新提供了便利，减小了维护成本。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1为本专利技术第一实施例提供的数据处理装置的组成示意图；图2为本专利技术第一实施例提供的各单元交互关系示意图；图3为本专利技术第二实施例提供的数据处理方法流程图；图4为本专利技术第三实施例提供的数据处理设备组成示意图。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。第一实施例参照图1，图1为本专利技术第一实施例提供的基于Hadoop(分布式系统基础架构)数据处理装置组成示意图。本实施例中的数据处理装置，包括：确认模块101，用于确认已部署的HIVE(数据仓库基础构架)和HBASE(海杜普数据库)；接收模块102，用于接收客户端发送的创建修改表对应的第一控制命令；解析模块103，用于对第一控制命令进行解析，判断是否需要去重，生成判断结果；处理模块104，用于根据判断结果对应的在HIVE和/或HBASE中创建表。本实施例涉及服务端、客户端、以及HIVE组件，HBASE组件等等单元，其中各单元之间的交互所用的方式不尽相同，请参考图2，图2示出了本实施例的各个单元之间的交互关系。Hadoop，即分布式系统基础架构，他可以使得用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。而HIVE和HBASE都是Hadoop的一种应用子项目，其中：HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce(映射归约)任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。其缺陷，在于无法区分相同的表和数据，换言之，无法对指定的表进行更新操作。HBASE是一个分布式的、面向列的开源数据库，其可以非常简易的对数据进行更新。不同于HIVE，HBASE并不适用于SQL语句查询。在本实施例中，确认模块101用于确认已部署的HIVE和HBASE。这两个数据库可以整合为一个组件，一般部署在服务器上。该组件分别包括服务端和客户端。服务端主要完成与HBASE，HIVE本文档来自技高网...

【技术保护点】
一种数据处理设备，其特征在于，所述数据处理设备包括处理器、存储器以及通信总线：所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行所述存储器中存储的数据处理程序，以实现：确认已部署的数据仓库基础构架和海杜普数据库；接收客户端发送的创建修改表对应的第一控制命令；对所述第一控制命令进行解析，判断是否需要去重，生成判断结果；根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。

【技术特征摘要】
1.一种数据处理设备，其特征在于，所述数据处理设备包括处理器、存储器以及通信总线：所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行所述存储器中存储的数据处理程序，以实现：确认已部署的数据仓库基础构架和海杜普数据库；接收客户端发送的创建修改表对应的第一控制命令；对所述第一控制命令进行解析，判断是否需要去重，生成判断结果；根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。2.如权利要求1所述的数据处理设备，其特征在于，所述对第一控制命令进行解析，判断是否包含预设字段，生成判断结果包括：解析所述第一控制命令中，是否包含NOREPEAT字段；所述判断结果包括是或否；所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表包括：若判断结果为是，则在所述数据仓库基础构架中创建实体表与对应的映射表，以及在所述海杜普数据库中创建对应的索引表；如判断结果为否，则直接在所述数据仓库基础构架中创建实体表。3.如权利要求2所述的数据处理设备，其特征在于，所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表之后，所述处理器还用于执行所述数据处理程序，以实现：接收客户端发送的添加和/或修改数据对应的第二控制命令；在所述索引表中，查找是否存在与所述第二控制命令对应的表的名称；若是，则将待添加和/或修改的数据进行去重处理后，写入所述实体表中。4.如权利要求3所述的数据处理设备，其特征在于，所述将待添加和/或修改的数据进行去重处理后，写入所述实体表中包括：将所述待添加和/或修改的数据通过所述映射表保存至所述索引表中；在所述索引表中，通过所述待添加和/或修改的数据对对应的表进行更新；将更新后的所述索引表的内容重写入所述实体表中。5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现：确认已部署的数据仓库基础构架和海杜普数据库；接收客户端...

【专利技术属性】
技术研发人员：齐伟，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东,44