一种基于OpenTsdb实时同步时序数据至Kafka的方法技术

本发明专利技术公开一种基于OpenTsdb实时同步时序数据至Kafka的方法，涉及OpenTsdb集群技术领域，由于物联网平台中数据快速存储和读取的时序数据库OpenTsdb集群支持大量时序数据实时写入和采样分析，但无法满足某些特定场景的实时分析应用，采用技术方案为：利用OpenTsdb自定义插件机制自定义opentsdb

【技术实现步骤摘要】
一种基于OpenTsdb实时同步时序数据至Kafka的方法


[0001]本专利技术涉及OpenTsdb集群
，具体的说是一种基于OpenTsdb实时同步时序数据至Kafka的方法。

技术介绍

[0002]物联网IoT(Internet of Things)体系分为感知层、传输层、应用层，随着物联网技术的发展，越来越多的物(设备或传感器等)相互连接起来，从而产生了海量的时序数据，在此背景下，诞生了满足海量数据快速存储的专业领域型数据库-时序数据库OpenTsdb。
[0003]时间序列数据是指是一段时间内某个特定指标量的一系列数值数据点，OpenTsdb将时序数据通过指标和标签以及时间戳来唯一标识一个指标量，这些指标数据具有不可变性。TSD是OpenTsdb的服务进程，它是基于HBase集群的无状态服务，它通过将指标和标签数据数字化映射的方式、指定时间间隔的相同标签的指标数据聚合的方式以及Snappy、Zlib等数据压缩技术提高数据I/O的效率。
[0004]物联网平台中，数据快速存储和读取的时序数据库OpenTsdb集群支持大量时序数据实时写入和采样分析，但是，却无法满足某些特定场景的实时分析应用(如监控平台的报警需求)。

技术实现思路

[0005]本专利技术针对目前技术发展的需求和不足之处，提供一种基于OpenTsdb实时同步时序数据至Kafka的方法，在不影响时序数据写入时序数据库性能的前提下，将时序数据和注释数据实时发布至分布式消息队列Kafka的相应主题，以便下游不同的订阅者订阅时序数据或注释数据，研发满足特定需求的应用，尤其是对实时性要求较高的应用场景。
[0006]本专利技术的一种基于OpenTsdb实时同步时序数据至Kafka的方法，解决上述技术问题采用的技术方案如下：
[0007]一种基于OpenTsdb实时同步时序数据至Kafka的方法，利用OpenTsdb自定义插件机制自定义opentsdb-rtpub-kafka插件,自定义的opentsdb-rtpub-kafka插件运行在每个TSD实例中，将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。
[0008]可选的，所涉及opentsdb-rtpub-kafka插件包括Kafka实时发布插件配置单元和kafka实时发布器；
[0009]Kafka实时发布插件配置单元继承自Config类，负责设置和解析自定义opentsdb-rtpub-kafka插件相应Kafka集群的地址、主题及其他配置参数；
[0010]kafka实时发布器继承自abstract RTPublisher抽象类，负责将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。
[0011]可选的，所涉及自定义的opentsdb-rtpub-kafka插件基于插件版本、插件初始化及停止插件方法来管理插件的生命周期。
[0012]进一步可选的，所涉及自定义的opentsdb-rtpub-kafka插件基于两个发布数据点
方法，支持将值为整型和浮点型的时序数据根据参数配置项定义的时间间隔和每个批次的最大消息数量实时发布至数据点参数项指定的主题中。
[0013]进一步可选的，所涉及自定义的opentsdb-rtpub-kafka插件基于发布注解方法，支持将注释数据根据参数配置项定义的时间间隔和每个批次的最大消息数量实时发布至注解参数项指定的主题中。
[0014]进一步可选的，所涉及自定义的opentsdb-rtpub-kafka插件基于收集状态方法，将发送到Kafka中相应主题的时序数据数量和注释数据数量通过收集器分别收集至数据点和注解两个监控指标中。
[0015]可选的，利用OpenTsdb自定义插件机制自定义opentsdb-rtpub-kafka插件时，在OpenTsdb的配置文件opentsdb.config中增加opentsdb-rtpub-kafka插件的相关配置项，增加的配置项包括发布插件路径、启用标识、插件全路径、kafka集群地址、数据点主题、注解主题。
[0016]进一步可选的，利用OpenTsdb自定义插件机制自定义opentsdb-rtpub-kafka插件后，需要将opentsdb-rtpub-kafka插件复制到时序数据库核心插件路径参数项指定的路径下，随后即可在TSD实例启动的同时启用opentsdb-rtpub-kafka插件；
[0017]启用opentsdb-rtpub-kafka插件后，即可异步且实时的将时序数据和注释数据发送至分布式消息队列Kafka的相应主题中。
[0018]本专利技术的一种基于OpenTsdb实时同步时序数据至Kafka的方法，与现有技术相比具有的有益效果是：
[0019]本专利技术在TSD实例启动的同时启用opentsdb-rtpub-kafka插件，opentsdb-rtpub-kafka插件在不影响时序数据写入时序数据库性能的前提下，可以将时序数据和注释数据实时发布至分布式消息队列Kafka的相应主题，以便下游不同的订阅者订阅时序数据或注释数据，研发满足特定需求的应用，尤其是对实时性要求较高的应用场景。
附图说明
[0020]附图1是本专利技术的方法流程示意图；
[0021]附图2是本专利技术中opentsdb-rtpub-kafka插件的类图。
具体实施方式
[0022]为使本专利技术的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本专利技术的技术方案进行清楚、完整的描述。
[0023]实施例一：
[0024]结合附图1，本实施例提出一种基于OpenTsdb实时同步时序数据至Kafka的方法，利用OpenTsdb自定义插件机制自定义opentsdb-rtpub-kafka插件,自定义的opentsdb-rtpub-kafka插件运行在每个TSD实例中，将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。
[0025]本实施例中，opentsdb-rtpub-kafka插件包括Kafka实时发布插件配置单元和kafka实时发布器。
[0026]结合附图2，Kafka实时发布插件配置单元Kafka RT PubPlugin Config继承自
Config类，负责设置和解析自定义opentsdb-rtpub-kafka插件相应Kafka集群的地址、主题及其他配置参数。
[0027]kafka实时发布器Kafka RT Publisher继承自abstract RTPublisher抽象类，负责将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。
[0028]本实施例中，利用OpenTsdb自定义插件机制自定义opentsdb-rtpub-kafka插件时，在OpenTsdb的配置文件opentsdb.config中增加opentsdb-rtpub-kafka插件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OpenTsdb实时同步时序数据至Kafka的方法，其特征在于,利用OpenTsdb自定义插件机制自定义opentsdb-rtpub-kafka插件,自定义的opentsdb-rtpub-kafka插件运行在每个TSD实例中，将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。2.根据权利要求1所述的一种基于OpenTsdb实时同步时序数据至Kafka的方法，其特征在于，自定义的opentsdb-rtpub-kafka插件包括Kafka实时发布插件配置单元和kafka实时发布器；Kafka实时发布插件配置单元继承自Config类，负责设置和解析自定义opentsdb-rtpub-kafka插件相应Kafka集群的地址、主题及其他配置参数；kafka实时发布器继承自abstract RTPublisher抽象类，负责将时序数据和注释数据实时发布至分布式消息队列Kafka中的相应主题。3.根据权利要求1所述的一种基于OpenTsdb实时同步时序数据至Kafka的方法，其特征在于，自定义的opentsdb-rtpub-kafka插件基于插件版本、插件初始化及停止插件方法来管理插件的生命周期。4.根据权利要求3所述的一种基于OpenTsdb实时同步时序数据至Kafka的方法，其特征在于，自定义的opentsdb-rtpub-kafka插件基于两个发布数据点方法，支持将值为整型和浮点型的时序数据根据参数配置项定义的时间间隔和每个批次的最大消息数量实时发布至数据点参数项指定的主题中。5.根据权利要求4所述的一种基于OpenTsdb实时同步时序数...

【专利技术属性】
技术研发人员：苑晓龙，孙思清，贾德星，刘牧，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：