电网时序大数据存储方法技术

本发明专利技术公开了一种电网时序大数据存储方法，通过选择开源分布式列式数据库HBase作为存储层，结合电网业务中SG-CIM模型对业务逻辑上具有位置相关性的一批测点信息重新进行描述，通过设计一种合理的测点数据存储表的索引组织方式，利用HBase的分区和负载均衡功能，使得业务逻辑上具有位置相关性的一批测点的历史数据在物理存储上的位置是相邻的，从而使得对该批测点的历史数据进行查询时能够减少磁盘寻道时间，提高查询效率，为业务应用提供即时查询服务。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种，通过选择开源分布式列式数据库HBase作为存储层，结合电网业务中SG-CIM模型对业务逻辑上具有位置相关性的一批测点信息重新进行描述，通过设计一种合理的测点数据存储表的索引组织方式，利用HBase的分区和负载均衡功能，使得业务逻辑上具有位置相关性的一批测点的历史数据在物理存储上的位置是相邻的，从而使得对该批测点的历史数据进行查询时能够减少磁盘寻道时间，提高查询效率，为业务应用提供即时查询服务。【专利说明】
本专利技术涉及一种电网业务中对位置信息敏感的时间序列大数据存储、即时查询方法，属于大数据存储、分布式实时数据库领域。
技术介绍
随着智能化、信息化的不断发展，时序大数据管理系统作为大型流程工业企业生产信息化的重要基础数据平台，面临越来越多的挑战。以电力系统为例，一方面是超大规模数据处理的巨大压力。国家电网公司SG-ERP建设中海量历史/实时数据管理平台建设的不断深化，其数据规模越来越大，其中测点(数据采集点)规模预计将达到千万甚至上亿规模，数据存储容量到达PB字节以上。另一方面是高速实时数据处理。以WAMS系统为例，每秒需要处理的事务数可达到一千万，常规的关系数据库根本无法应对如此高速实时数据处理的挑战，对实时数据库的处理规模、处理速度提出了更高的要求。 传统实时数据库受制于其传统的软件体系架构，在数据规模、处理能力、并行计算、负载均衡、动态自治等方面已无法满足实际应用需求。在实时数据库领域，引入大数据处理技术来解决上述问题是当前研究时序大数据存储的主要方法。然而，在譬如电网事故反演、电网业务告警分析及输变电设备在线监测等业务场景中，用户关心的往往是一批测点的历史数据，而该批测点在业务逻辑上具有位置相关性，理想情况下这些具有位置相关性的一批测点的历史数据在物理存储上也应当保持位置相邻，这样在上述业务场景应用中进行查询时才能减少磁盘的寻道时间，提高查询速度，为业务应用提供即时查询服务。传统的实时数据库由于其架构设计、实现原理等原因，做不到业务逻辑上具有位置相关性的一批测点的历史数据在物理存储上也是位置相邻的。 经初步检索，暂未发现有与本
技术实现思路
相关的专利条目。
技术实现思路
为了解决上述问题，保证业务逻辑上具有位置相关性的一批测点的历史数据在物理存储上是位置相邻的，为电网业务应用中该批测点的查询需求提供即时查询服务，本专利技术提供了一种，其主要思想是:选择开源分布式列式数据库HBase作为存储层，结合电网业务中SG-C頂模型对业务逻辑上具有位置相关性的一批测点信息重新进行描述，通过设计一种测点数据存储表的索引组织方式，利用HBase的分区和负载均衡功能，使得业务逻辑上具有位置相关性的一批测点的历史数据在物理存储上的位置是相邻的。本专利技术具体包括如下步骤: (I)基于SG-CM模型的业务逻辑层测点描述 以SG-CM模型为基础对业务逻辑上具有位置相关性的一批测点重新进行描述，通过测量对象和测点之间的关联，形成测点的层次关系；在该描述中SG-CIM模型类似于一颗倒生长的树型结构，叶子节点为测点，非叶子节点之间的层次数由用户根据实际需要增加或减少；从该树的根节点到叶子节点的父节点所经过的路径用于描述测量对象；叶子节点用于表示该测量对象的测量项，测量对象和测量项的组合即相当于传统实时数据库中的测点；一条数据记录由测量对象标识、时间戳、测量值、标签构成，标签由一个或多个键值对描述。 (2)建立测点数据存储表的索引组织 选择开源分布式列式数据库HBase作为存储层，测点数据存储表的索引组织方式直接影响到查询性能。 批量查询测点数据存储表的索引模式设计为:测量对象标识+基准时间+标签，其中测量对象标识采用基于SG-CIM模型对逻辑业务上具有位置相关性的一批测点的重新描述；基准时间的选定，是根据待存储测量对象的数据采集频率来决定该基准时间是整小时/整天；列是以采集数据记录的时间戳相对于基准时间的偏移量。 断面查询测点数据存储表的索引模式设计为:时间戳+测量对象标识+标签，其中时间戳为采集到每条数据记录的时间戳。 由于HBase表的索引是按字典顺序排序，则采用本方案中的基于SG-CIM模型对业务逻辑上具有位置相关性的一批测点的描述，能够使得该批测点的数据记录在测点数据存储表中的索引的位置是相邻的。 由于HBase是以行的范围来对存储表进行切分为不同的reg1n来完成分区的，同时结合HBase自身以reg1n为单位的自动负载均衡，能够使得该批测点采集到的历史数据记录在实际物理存储位置上也是相邻的，这样对于该批测点的批量查询和断面查询时，能够减少磁盘的寻道时间，为业务应用提供即时查询服务。 进一步，步骤(I)中的标签仅能有一个描述该测量对象的测量项，但可以有多个非测量项的属性描述信息。 通过采用上述技术方案，本专利技术方法在电网时序大数据存储中可以保证业务逻辑上具有位置相关性的一批测点的历史数据在物理存储位置上也是相邻的，这样对该批测点的历史数据进行查询时能够减少磁盘寻道时间，提高查询效率，为业务应用提供即时查询服务。 【专利附图】【附图说明】 图1是本专利技术实施例基于SG-CIM模型对小区为业务逻辑单兀内的电表的描述不意图。 图2是本专利技术实施例测点数据存储表索引的排序方式及分区示意图。 【具体实施方式】 下面结合附图和实施例对本专利技术作进一步详细说明。 本实施例以对某小区的用电信息采集为例进行说明。假设小区名称为 Ivsejiayuan,该小区有A、B、C、......Y共25栋，每栋楼有1、2、3、4、5、6、7、8共8个单元，每单元有01、02、……、15个楼层，每个楼层有01、02、……、19、20个住户。假设一个居民住户有一块电表(测量对象)由正向有功电能量(direct1n = fd)、反向有功电能量(direct1n = bd)、正向有功尖电能量(direct1n = fd type = shark)、正向有功峰电能量(direct1n = fd type = peak)、正向有功平电能量(direct1n = fd type=shoulder)、正向有功谷电能量(direct1n = fd type = offpeak)、反向有功尖电能(direct1n = bd type = shark)、反向有功峰电會泛量(direct1n = bd type = peak)、反向有功平电能量(direct1n = bd type = shoulder)、反向有功谷电能量(direct1n =bd type = offpeak)共 10 个测量项。 (I)对测量对象名称重新进行描述 如图1所示，根据以SG-C頂模型对业务逻辑上具有位置相关性的一批测点重新进行描述，在该用电信息釆集例子中指的是该小区内的所有的电表，在业务逻辑上同属于该小区，结合业务逻辑对该小区内的所有电表进行重新描述，建立测量对象及测量项之间的层次关系，如某户居民家的电表标识为:小区.楼宇.单元.电表编号，测量项是电表的正向有功电能量。根据本方案的描述，对小区内的电表(测量对象)可以描述为如下形式: lvsejiayuan.A.unitl.0101 本文档来自技高网...

【技术保护点】
一种电网时序大数据存储方法，其特征在于，包括如下步骤：(1)基于SG‑CIM模型的业务逻辑层测点描述以SG‑CIM模型为基础对业务逻辑上具有位置相关性的一批测点重新进行描述，通过测量对象和测点之间的关联，形成测点的层次关系；在该描述中，SG‑CIM模型为树型结构，其中叶子节点为测点，非叶子节点之间的层次数由用户根据实际需要增加或减少；从该树的根节点到叶子节点的父节点所经过的路径用于描述测量对象；叶子节点用于表示该测量对象的测量项；一条数据记录由测量对象标识、时间戳、测量值、标签构成，其中标签由键值对描述；(2)建立测点数据存储表的索引组织选择开源分布式列式数据库HBase作为存储层；批量查询测点数据存储表的索引模式设计为：测量对象标识+基准时间+标签，其中测量对象标识采用基于SG‑CIM模型对逻辑业务上具有位置相关性的一批测点的重新描述；基准时间的选定，是根据待存储测量对象的数据采集频率来决定该基准时间是整小时/整天；列是以采集数据记录的时间戳相对于基准时间的偏移量；断面查询测点数据存储表的索引模式设计为：时间戳+测量对象标识+标签，其中时间戳为采集到每条数据记录的时间戳。

【技术特征摘要】

【专利技术属性】
技术研发人员：王远，袁军，刘琛，胡健，张珂珩，
申请(专利权)人：江苏瑞中数据股份有限公司，
类型：发明
国别省市：江苏;32