基于Hbase的数据存储方法、获取方法、装置、设备和介质制造方法及图纸

本申请涉及一种基于Hbase的数据存储方法、获取方法、装置、设备和存储介质。该方法包括：从时序数据点的信息中提取所述时序数据点对应的归属维度信息；将所述归属维度信息关联到所述时序数据点的点位标识，并将得到的维度点位关联信息存储到ElasticSearch搜索服务器中；将所述时序数据点的信息中除所述归属维度信息以外的其它信息存储到Hbase数据库中。该方法实现了时序数据点的信息中的维度数据与非维度数据在存储上的解耦，在维度数据发生变化时，无需对已存储的非维度数据进行二次处理，且将维度数据存储到ElasticSearch搜索服务器中，有效缓解了Hbase数据库的存储压力。有效缓解了Hbase数据库的存储压力。有效缓解了Hbase数据库的存储压力。

【技术实现步骤摘要】
基于Hbase的数据存储方法、获取方法、装置、设备和介质


[0001]本申请涉及数据库
，特别是涉及一种基于Hbase的数据存储方法、获取方法、装置、设备和存储介质。

技术介绍

[0002]随着信息技术的不断发展，数据开始爆炸性增长，在此背景下分布式存储体系应运而生。其中，Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，Hbase作为列式存储数据库，为数据存储提供了高效的写入性能和灵活的存储方式。
[0003]针对时序数据，在综合监控的业务场景中，存在基于维度数据进行数据检索的需求。因此，对于本领域技术人员来说，针对该场景，亟需提出一种针对时序数据的存储方案。

技术实现思路

[0004]本申请提供一种基于Hbase的数据存储方法、获取方法、装置、设备和存储介质，能够满足基于维度数据进行数据检索的场景，更广泛的满足了实际业务需求。
[0005]第一方面，本申请提供一种基于Hbase的数据存储方法，包括：
[0006]从时序数据点的信息中提取所述时序数据点对应的归属维度信息；
[0007]将所述归属维度信息关联到所述时序数据点的点位标识，并将得到的维度点位关联信息存储到ElasticSearch搜索服务器中；
[0008]将所述时序数据点的信息中除所述归属维度信息以外的其它信息存储到Hbase数据库中。
[0009]第二方面，本申请提供一种基于Hbase的数据获取方法，包括：
[0010]响应于接收到的数据查询请求，确定目标归属维度信息；
[0011]根据所述目标归属维度信息，向ElasticSearch搜索服务器发送检索指令，以指示所述ElasticSearch搜索服务器在预先存储的维度点位关联信息中，检索与所述目标归属维度信息匹配的目标点位标识；
[0012]接收所述ElasticSearch搜索服务器检索到的所述目标点位标识；
[0013]根据所述目标点位标识，从Hbase数据库中获取查询数据。
[0014]第三方面，本申请提供一种基于Hbase的数据存储装置，包括：
[0015]提取模块，用于从时序数据点的信息中提取所述时序数据点对应的归属维度信息；
[0016]第一存储模块，用于将所述归属维度信息关联到所述时序数据点的点位标识，并将得到的维度点位关联信息存储到ElasticSearch搜索服务器中；
[0017]第二存储模块，用于将所述时序数据点的信息中除所述归属维度信息以外的其它信息存储到Hbase数据库中。
[0018]第四方面，本申请提供一种基于Hbase的数据获取装置，包括：
[0019]确定模块，用于响应于接收到的数据查询请求，确定目标归属维度信息；
[0020]发送模块，用于根据所述目标归属维度信息，向ElasticSearch搜索服务器发送检索指令，以指示所述ElasticSearch搜索服务器在预先存储的维度点位关联信息中，检索与所述目标归属维度信息匹配的目标点位标识；
[0021]接收模块，用于接收所述ElasticSearch搜索服务器检索到的所述目标点位标识；
[0022]获取模块，用于根据所述目标点位标识，从Hbase数据库中获取查询数据。
[0023]第五方面，本申请提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面提供的基于Hbase的数据存储方法的步骤和本申请第二方面提供的基于Hbase的数据获取方法的步骤。
[0024]第六方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面提供的基于Hbase的数据存储方法的步骤和本申请第二方面提供的基于Hbase的数据获取方法的步骤。
[0025]本申请实施例提供的技术方案，能够将时序数据点对应的归属维度信息与时序数据点的点位标识关联，并将关联后的维度点位关联信息存储到ElasticSearch搜索服务器中，以及将时序数据点的信息中除归属维度信息以外的其它信息存储到Hbase数据库中，实现了时序数据点的信息中的维度数据与非维度数据在存储上的解耦。这样，当维度数据发生变化时，无需对已存储的非维度数据进行二次处理，避免了对Hbase数据库中的存储数据反复进行更新。并且，将维度数据存储到ElasticSearch搜索服务器中，有效减少了在Hbase数据库中存储的数据的大小，缓解了Hbase数据库的存储压力。
附图说明
[0026]图1为本申请实施例提供的基于Hbase的数据存储方法的一种流程示意图；
[0027]图2为本申请实施例提供的基于Hbase的数据获取方法的一种流程示意图；
[0028]图3为本申请实施例提供的基于Hbase的数据存储装置的一种结构示意图；
[0029]图4为本申请实施例提供的基于Hbase的数据获取装置的一种结构示意图；
[0030]图5为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
[0031]为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0032]为了更好地理解本申请实施例中技术方案，下面对Hbase数据库中的相关内容进行介绍。在Hbase的存储结构上，Hbase按照字典顺序进行排序，行键rowkey直接作为其中的一级索引，为其良好的读写性能提供了基础。Hbase优点有很多，比如半结构化或非结构化数据、高可用和海量数据以及很多的瞬间写入量、仅要求最终一致性等。
[0033]在综合监控的业务场景中，存在基于维度数据进行数据检索的需求。为了实现这个需求，在一些传统方式中，将维度数据整合在行键rowkey中，但是，该方式无法支持较多的维度，否则会导致行键rowkey过长，检索时需要扫描大量数据，进而导致数据检索速度较慢。为此，本申请实施例提供的技术方案，不仅能够支持较多的维度，而且能够提高数据检索速度。
[0034]接下来，具体介绍本申请提供的基于Hbase的数据存储方案，如图1所示，该方法可以包括：
[0035]S101、从时序数据点的信息中提取所述时序数据点对应的归属维度信息。
[0036]具体的，时序数据是指按照时间顺序记录的数据列，时序数据点是指时序数据列中的任意一个数据点。一个时序数据点可以包括多个信息，比如，时序数据点的点位标识、度量值、度量值的采集时间戳以及时序数据点对应的归属维度信息等等。其中，点位标识是用来唯一标识一个时序数据点的信息。度量值可以理解为随着采集时间戳变化的信息，比如度量值可以为温度传感器在某一时间点采集的环境温度。上述归属维度信息可以为不随采集时间戳变化的属性信息，比如该时序数据点归属于哪个设备，该时序数据点归属于哪个管理专业以及哪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Hbase的数据存储方法，其特征在于，包括：从时序数据点的信息中提取所述时序数据点对应的归属维度信息；将所述归属维度信息关联到所述时序数据点的点位标识，并将得到的维度点位关联信息存储到ElasticSearch搜索服务器中；将所述时序数据点的信息中除所述归属维度信息以外的其它信息存储到Hbase数据库中。2.根据权利要求1所述的方法，其特征在于，所述将所述时序数据点的信息中除所述归属维度信息以外的其它信息存储到Hbase数据库中，包括：基于所述时序数据点的信息中的点位标识和采集时间戳，生成所述时序数据点对应的行键；将所述行键与所述时序数据点的信息中除所述归属维度信息、所述点位标识以及所述采集时间戳之外的信息关联存储到Hbase数据库的全量数据表中。3.根据权利要求2所述的方法，其特征在于，还包括：通过Hive对所述全量数据表中的数据进行汇聚计算，并将汇聚后的数据存储到Hbase数据库的汇聚数据表中。4.根据权利要求3所述的方法，其特征在于，还包括：将所述全量数据表备份到外部存储设备中，并从Hbase数据库中删除所述全量数据表。5.一种基于Hbase的数据获取方法，其特征在于，包括：响应于接收到的数据查询请求，确定目标归属维度信息；根据所述目标归属维度信息，向ElasticSearch搜索服务器发送检索指令，以指示所述ElasticSearch搜索服务器在预先存储的维度点位关联信息中，检索与所述目标归属维度信息匹配的目标点位标识；接收所述ElasticSearch搜索服务器检索到的所述目标点位标识；根据所述目标点位标识，从Hbase数据库中获取查询数据。6.根据权利要求5...

【专利技术属性】
技术研发人员：杨浩帆，涂俊文，秦伟，
申请(专利权)人：广州华佳软件有限公司佳都科技集团股份有限公司广东华之源信息工程有限公司广州佳都城轨智慧运维服务有限公司，
类型：发明
国别省市：