UID编码方法、OpenTSDB和服务器技术

技术编号:37614499 阅读:9 留言:0更新日期:2023-05-18 12:06
一种基于Open TSDB的UID编码方法,Open TSDB解除一个节点与一个RS建立通信连接的关系,让一个可以与一个或多个RS建立通信连接,以及一个RS可以与一个或多个节点建立通信连接。当一个节点瞬间新增大量的时间线时,让多个RS协助一个节点生成UID,以提高单个节点的编码效率,节点不会出现写入瓶颈的问题。节点不会出现写入瓶颈的问题。节点不会出现写入瓶颈的问题。

【技术实现步骤摘要】
UID编码方法、OpenTSDB和服务器


[0001]本专利技术涉及Open TSDB
,尤其涉及一种UID编码方法、Open TSDB和服务器。

技术介绍

[0002]开放式时序数据库(open time series database,Open TSDB)是基于HBase的分布式、可扩展的时序数据库。Open TSDB主要应用于监控领域,用于收集、存储及查询大规模集群的监控指标数据,如中央处理器(central processing unit,CPU)的使用率、磁盘的使用率等。大规模集群的监控系统每间隔一段时间,会产生大量的监控指标数据。Open TSDB在保证查询有效的情况下,降低存储成本是非常重要的。

技术实现思路

[0003]为了解决上述的问题,本申请的实施例中提供了一种UID编码方法,在一个节点110瞬间新增大量的时间线时,让多个RS 210协助一个节点110生成UID,以提高单个节点110的编码效率,节点110不会出现写入瓶颈的问题。另外,本申请还提供了与基于Open TSDB的UID编码方法对应的创建UID表方法、Open TSDB和服务器。
[0004]为此,本申请的实施例中采用如下技术方案:
[0005]第一方面,本申请提供一种UID编码方法,所述Open TSDB包括TSDB和HBase,所述TSDB包括多个节点,所述HBase包括多个RS,一个节点与至少一个RS建立通信连接,所述方法包括:目标节点根据接收的字符串确定出目标RS,所述多个节点包括所述目标节点,所述多个RS包括所述目标RS;所述目标节点向所述HBase发送请求指令;所述HBase基于请求指令,控制所述目标RS与所述目标节点建立通信连接;所述目标节点向所述目标RS发送所述字符串;所述目标RS根据所述字符串生成UID。
[0006]在该实施方式中,Open TSDB解除一个节点与一个RS建立通信连接的关系,让一个可以与一个或多个RS建立通信连接,以及一个RS可以与一个或多个节点建立通信连接。当一个节点瞬间新增大量的时间线时,让多个RS协助一个节点生成UID,以提高单个节点的编码效率,节点不会出现写入瓶颈的问题。
[0007]在一种实施方式中,所述目标节点根据接收的字符串确定出目标RS,包括:所述目标节点将所述字符串输入hash值生成器,得到hash值;所述目标节点将所述hash值进行处理,并自身存储的各个RS的标识进行比对,确定出所述目标RS。
[0008]在一种实施方式中,所述目标RS根据所述字符串生成UID,包括:所述目标RS根据所述字符串,触发雪花算法生成所述字符串的UID。
[0009]在一种实施方式中,还包括:所述目标RS将所述字符串和所述UID写入UID表,以及向所述目标节点发送所述UID。
[0010]第二方面,本申请提供一种创建UID表方法,所述Open TSDB包括TSDB和HBase,所述方法包括:所述TSDB的节点向所述HBase发送查询请求,所述查询请求指示所述HBase查
询目标UID表,并获取所述目标UID表的创建时间;所述HBase基于所述查询请求,向所述TSDB的节点发送所述目标UID表的创建时间;所述TSDB的节点根据所述目标UID表的创建时间和当前时间,确定所述目标UID表的存在时间,以及响应于所述目标UID表的存在时间大于设定时间,向所述HBase发送构建第一UID表的信息;所述HBase基于所述第一UID表的信息,构建所述第一UID表,并将所述目标UID表的数据写入所述第一UID表。
[0011]在该实施方式中,Open TSDB利用缓存回写技术,将上一个周期的UID表缓存直接写入新周期的UID表,实现快速创建新UID表,以及旧UID表的老化,解决现有Open TSDB占用过多资源的问题。
[0012]在一种实施方式中,所述将所述目标UID表的数据写入所述第一UID表,包括:所述HBase根据所述目标UID表调取所述目标UID表对应的缓存容器;所述HBase将所述目标UID表对应的缓存容器存储的数据写入所述第一UID表。
[0013]在一种实施方式中,在所述向所述HBase发送构建第一UID表的信息之前,包括:所述TSDB的节点基于所述第一UID表的信息,构建所述第一UID表。
[0014]在一种实施方式中,还包括:所述HBase向所述TSDB的节点发送反馈信息;所述TSDB的节点基于反馈信息将所述第一UID表设置为工作状态。
[0015]第三方面,本申请提供一种Open TSDB,包括:TSDB和HBase,所述TSDB包括多个节点,所述HBase包括多个RS,一个节点与至少一个RS建立通信连接,所述多个节点包括所述目标节点,所述多个RS包括所述目标RS;所述目标节点,用于根据接收的字符串确定出所述目标RS,并向所述HBase发送请求指令;所述HBase,用于基于请求指令,控制所述目标RS与所述目标节点建立通信连接;所述目标节点,还用于向所述目标RS发送所述字符串;所述目标RS,还用于根据所述字符串生成UID。
[0016]在一种实施方式中,所述目标节点,具体用于将所述字符串输入hash值生成器,得到hash值;以及将所述hash值进行处理,并自身存储的各个RS的标识进行比对,确定出所述目标RS。
[0017]在一种实施方式中,所述目标RS,具体用于根据所述字符串,触发雪花算法生成所述字符串的UID。
[0018]在一种实施方式中,所述目标RS,还用于将所述字符串和所述UID写入UID表,以及向所述目标节点发送所述UID。
[0019]第四方面,本申请提供一种Open TSDB,包括:TSDB和HBase,所述TSDB的节点,用于向所述HBase发送查询请求,所述查询请求指示所述HBase查询目标UID表,并获取所述目标UID表的创建时间;所述HBase,用于基于所述查询请求,向所述TSDB的节点发送所述目标UID表的创建时间;所述TSDB的节点,还用于根据所述目标UID表的创建时间和当前时间,确定所述目标UID表的存在时间,以及响应于所述目标UID表的存在时间大于设定时间,向所述HBase发送构建第一UID表的信息;所述HBase,还用于基于所述第一UID表的信息,构建所述第一UID表,并将所述目标UID表的数据写入所述第一UID表。
[0020]在一种实施方式中,所述HBase,具体用于根据所述目标UID表调取所述目标UID表对应的缓存容器;以及将所述目标UID表对应的缓存容器存储的数据写入所述第一UID表。
[0021]在一种实施方式中,所述TSDB的节点,还用于基于所述第一UID表的信息,构建所述第一UID表。
[0022]在一种实施方式中,所述HBase,还用于向所述TSDB的节点发送反馈信息;所述TSDB的节点,还用于基于反馈信息将所述第一UID表设置为工作状态。
[0023]第五方面,本申请提供一种服务器,其特征在于,所述服务器本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种UID编码方法,其特征在于,所述Open TSDB包括TSDB和HBase,所述TSDB包括多个节点,所述HBase包括多个RS,一个节点与至少一个RS建立通信连接,所述方法包括:目标节点根据接收的字符串确定出目标RS,所述多个节点包括所述目标节点,所述多个RS包括所述目标RS;所述目标节点向所述HBase发送请求指令;所述HBase基于请求指令,控制所述目标RS与所述目标节点建立通信连接;所述目标节点向所述目标RS发送所述字符串;所述目标RS根据所述字符串生成UID。2.根据权利要求1所述的方法,其特征在于,所述目标节点根据接收的字符串确定出目标RS,包括:所述目标节点将所述字符串输入hash值生成器,得到hash值;所述目标节点将所述hash值进行处理,并自身存储的各个RS的标识进行比对,确定出所述目标RS。3.根据权利要求1所述的方法,其特征在于,所述目标RS根据所述字符串生成UID,包括:所述目标RS根据所述字符串,触发雪花算法生成所述字符串的UID。4.根据权利要求1

3任意一项所述的方法,其特征在于,还包括:所述目标RS将所述字符串和所述UID写入UID表,以及向所述目标节点发送所述UID。5.一种创建UID表方法,其特征在于,所述Open TSDB包括TSDB和HBase,所述方法包括:所述TSDB的节点向所述HBase发送查询请求,所述查询请求指示所述HBase查询目标UID表,并获取所述目标UID表的创建时间;所述HBase基于所述查询请求,向所述TSDB的节点发送所述目标UID表的创建时间;所述TSDB的节点根据所述目标UID表的创建时间和当前时间,确定所述目标UID表的存在时间,以及响应于所述目标UID表的存在时间大于设定时间,向所述HBase发送构建第一UID表的信息;所述HBase基于所述第一UID表的信息,构建所述第一UID表,并将所述目标UID表的数据写入所述第一UID表。6.根据权利要求5所述的方法,其特征在于,所述将所述目标UID表的数据写入所述第一UID表,包括:所述HBase根据所述目标UID表调取所述目标UID表对应的缓存容器;所述HBase将所述目标UID表对应的缓存容器存储的数据写入所述第一UID表。7.根据权利要求6所述的方法,其特征在于,在所述向所述HBase发送构建第一UID表的信息之前,包括:所述TSDB的节点基于所述第一UID表的信息,构建所述第一UID表。8.根据权利要求5

7任意一项所述的方法,其特征在于,还包括:所述HBase向所述TSDB的节点发送反馈信息;所述TSDB的节点基于反馈信息将所述第一UID表设置为工作状态。9.一种Open TSDB,其特征在于,包括:TSDB和HBase,所述TSDB包括多个节点,所述HBase包括多个RS,一个节点与至少一个RS建立通信连接,所述多个节点包括所述目标节
点...

【专利技术属性】
技术研发人员:陈培李泽敏郑熙映
申请(专利权)人:深圳华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1