【技术实现步骤摘要】
本专利技术涉及大数据
，尤其是一种基于HBase的海量传感器数据存储系统及方法。
技术介绍
随着科学技术的不断进步，诸如wifi，光敏传感器，温度传感器等的传感器也不断的走进我们的生活。因此，收集并分析传感器数据对监控和预测环境变化具有重要的意义。当传感器数量不断增加时，传感器数据规模也会相应的不断增大，这给海量传感器数据存储系统带来巨大的压力。上述传感器数据是典型的时序数据，具有并发程度高、时间序列化、数据总体规模大的特点。针对海量传感器数据的特点，使用基于Netty框架编写的数据缓存中间件集群接收传感器集群所发出的数据请求，Netty是一个基于事件驱动的异步通信框架。其在处理大规模时序数据存储的场景中表现良好。传统的关系型数据库在存储海量传感器数据时显现出性能差，可扩展性低，支撑容量有限的缺点，其性能已无法达到存储海量数据的要求。HBase是运行在Hadoop分布式系统架构上的NoSQL数据库，其基于分布式，面向列存储，表稀疏，支持高并发事务的特点非常适合存储海量传感器数据，因此，本系统采用HBase作为后端的存储介质。使用HBase存储大规模、高并发的数据已成为较为成熟的解决方案，但在使用HBase存储海量传感器数据时，由于HBase自身的机制和大规模传感器数据的特点，会产生数据存储延迟、存储热点问题和数据存储分散问题，此类问题在存储海量传感器数据时更为突出，严重影响分布式系统的性能。
技术实现思路
本专利技术的目的是：提供了一种基于HBase的海量传感器数据存储系统及方法，它针对大规模传感器数据，克服了数据存储延迟、存储热点问题和数据存储分散问...
【技术保护点】
一种基于HBase的海量传感器数据存储系统，其特征在于：它包括传感器集群，传感器集群与数据缓存中间件集群连接，数据缓存中间件集群与HBase分布式数据库集群连接。
【技术特征摘要】
1.一种基于HBase的海量传感器数据存储系统，其特征在于：它包括传感器集群，传感器集群与数据缓存中间件集群连接，数据缓存中间件集群与HBase分布式数据库集群连接。2.根据权利要去要求1所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的传感器集群用于收集海量传感器数据，并按照已定义的数据格式将数据发送至数据缓存中间件集群，传感器集群已定义的数据格式为JSON。3.根据权利要去要求2所述的基于HBase的海量传感器数据存储系统，其特征在于：所述传感器集群的数据发送功能的发送方式为HTTP方式。4.根据权利要去要求1所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的数据缓存中间件集群分由一个主节点和两个以上的从节点组成，主节点负责日志记录及流量监控，从节点负责接收传感器数据发出的数据请求，并在接受数据请求后向主节点发出报告。5.根据权利要去要求4所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的日志记录是，将传感器集群发出的HTTP请求进行记录形成日志，以便错误处理。6.根据权利要去要求4所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的流量监控是，对传感器集群提交的数据进行分析并记录其接收时...
【专利技术属性】
技术研发人员：黄瑞章，刘博伟，
申请(专利权)人：贵州大学，贵阳高新新普能源科技有限公司，
类型：发明
国别省市：贵州;52
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。