智能楼宇中海量能耗信息的压缩方法技术

一种智能楼宇中海量能耗信息的压缩方法，步骤如下：１）先对楼宇中个监测端的数据进行采集，对于采集得到的数据的记录点每条记录为一个三元组（ｔａｇｉｄ，ｔｉｍｅ，ｄａｔａ）；２）当某记录点的时态属性值发生改变时，对应的新数据存入一级缓存中，然后直接返回下一个任务，这些新数据由后台数据存储线程存入文件；３）设立二级缓存；４）设置历史数据压缩区，并在该压缩区中对缓存区中的数据进行压缩后再将其转存到磁盘文件；５）采用文件队列的形式来组织数据文件，当一个文件存满后，才启用文件队列中下一个文件；６）当压缩完成后，把压缩后的数据存入存储器中，供所需用户端调用。

【技术实现步骤摘要】

本专利技术涉及建筑能耗监控
，具体是一种智能楼宇中海量能耗信息的压缩 和解压缩方法
技术介绍
智能楼宇能耗信息在线实时监测是利用电子测控技术实现对智能楼宇内的水、 电、暖等能源消耗情况进行分量式监测，电能分项数据采集；并应用无线传感网络技术，实 现对建筑物室内温湿度、C02、甲醛含量等环境定时采集监测；通过建立数据中心，构建省市 多级能耗监管系统。该能耗监管系统能够对能耗数据进行分析统计，获得准确建筑真实的 能耗数据，便于政府部门进一步强化监督管理，确保建筑全面执行建筑节能强制性标准，建 立和完善能效测评、用能标准、能耗统计、能源审计、能效公示、用能定额、节能服务等各项 制度，促进既有高耗能国家机关办公建筑和大型公共建筑节能运行和改造，可有效控制楼 宇内能源的浪费，达到优化能源供应、提高能源管理水平、节约能源成本的目的。由于系统提供每天各智能楼宇能耗信息在线实时监测回路能耗的实时监测功能， 每间隔一定时间(可由用户设定)采集一次能耗数据。对于省市多级能耗监管系统，由于 监测现场的采集点多，采集时间周期短，因而要保存的历史数据量非常大。如果将这些数据 直接存储，不仅会占用大量的系统存储空间，而且会降低数据的实时性，使数据的传输、查 询变得困难。
技术实现思路
为了解决现有技术中存在的上述问题，减少对海量历史数据存储管理的成本，本 专利技术根据智能楼宇管理系统中的能耗信息数据结构特点，提出了一种新的海量能耗信息的 压缩和解压缩方法。本方法充分考虑了不同特性信号点的需求，采用开放性的记录方式给 予工程配置以最大的自由度，能够很好地配合工程应用，有效地过滤冗余数据。利用数据平 滑对数据序列中强噪声点进行处理，使得处理后的数据能接近被测参数的实际值，主要用 于降低传感器的测量精度误差给数据处理带来的影响。时间戳的处理采用了周期跨度的保 存方式，具有很高的压缩比，与内存数据库中的缓存结构设计相结合，使得压缩方法与结构 设计相得益彰。在浮点数的压缩方法的过程中，采取了量程转换的方法，该方法的理论基础 更牢固，实际工程应用的压缩性能更好，并且实现方法更为有效和合理。与传统的数据压缩 算法相比较，该算法的压缩率有了显著的提高，并大大缩短了压缩时间，具有很强的应用价 值。本专利技术的技术方案如下一种，步骤如下1)先对楼宇中个监测端的数据进行采集，对于采集得到的数据，设智能楼宇能耗 信息在线实时监测现场的记录点每条记录为一个三元组(tagid，time, data)，分别表示点 编号、数据的采集时态和采集的数据；2)当某记录点的时态属性值发生改变时，对应的新数据存入一级缓存中，然后直 接返回下一个任务，这些新数据由后台数据存储线程存入文件；所述一级缓存是一个数据队列，由数据管理线程和数据存储线程共享；3)设立二级缓存对应每个tagid设有两个固定大小的缓存区，存储线程从一级缓存中取得数据， 写入该id对应的缓存区；当某点对应的缓存区已满的时候，一次性地把该缓存区中的所有 数据转入历史数据压缩区中，并将另一个缓存区变为当前缓存区，继续接收一级缓存的历 史数据，如此交替进行；4)设置历史数据压缩区，并在该压缩区中，对步骤3)的缓存区中的数据进行压缩 后再将其转存到磁盘文件；5)采用文件队列的形式来组织数据文件，当一个文件存满后，才启用文件队列中 下一个文件；6)当压缩完成后，把压缩后的数据存入存储器中，供所需用户端调用。 附图说明图1数据转储流程示意图；图2数据存储流程示意图；图3开关量的变化压缩示意图。具体实施例方式下面结合附图与具体实施方式对本专利技术作进一步说明。一种，步骤如下1)设计智能楼宇能耗信息在线实时监测现场的记录点每条记录为一个三元组 (tagid, time, data)，分别表示点编号，数据的采集时间，当时的数据状态和采集的数据；2)当系统中某对象的时态属性值发生改变时，这个新值并不直接存人数据文件 中，系统把该值存入一级缓冲中，然后直接返回下一个任务，而这些数据由后台数据存储线 程负责存入文件；3)设立二级缓存。一级缓存是一个数据队列，由数据管理线程和数据存储线程共 享。而二级缓存是为了防止频繁的文件写入，提高数据存储的效率。系统为每个tagid设 立两个固定大小的缓存区(如4KB)，存储线程从一级缓存中取得数据，并不直接写入文件， 而是写入该id对应的缓存区，只有当某点对应的缓存区已满的时候，系统才会一次性地把 该缓存区中的所有数据转入历史数据压缩区中。并将另一个缓存区成为当前缓存区，继续 接收一级缓存的历史数据，如此交替进行从而避免了在历史数据压缩保存时无法保存一级 缓存历史数据现象的出现。4)在历史数据压缩区中，对步骤3)的缓存区中的数据进行压缩后再将其转存到 磁盘文件。对缓存区中的数据进行压缩，是一种多级压缩策略，包括了初级压缩、核心压缩 两个阶段以及对数据文件的定期整理压缩；初级压缩过程中，先由数据平滑处理对数据序 列中的强噪声点进行平滑计算；再由记录方式过滤根据组态信息、预处理数据序列，保留 下需要的数据点；核心压缩过程中，首先进行时间戳压缩，然后根据不同的数据类型，分别采用不同的方法进行数据量过滤压缩，最后经过数据类型转换，完成对所有过程数据的压 缩；5)采用文件队列的形式来组织数据文件，当一个文件存满后，才启用文件队列中 下一个文件。6)当压缩完成后，把压缩后的数据存入存储器中，供所需用户端调用。所述步骤4)中，对缓存区中的数据进行压缩，是一种多级压缩策略，包括了初级 压缩、核心压缩两个阶段以及对数据文件的定期整理压缩；初级压缩过程中，先由数据平滑处理对数据序列中的强噪声点进行平滑计算；再 由记录方式过滤根据组态信息、预处理数据序列，保留下需要的数据点；核心压缩过程中，首先进行时间戳压缩，然后根据不同的数据类型，分别采用不同 的方法进行数据量过滤压缩，最后经过数据类型转换，完成对所有过程数据的压缩。所述核心压缩过程中，如果组态时用户配置了定期整理策略，则定期地对数据文 件进行无损压缩备份，并清理原始数据。所述步骤5)中，文件队列的长度由系统管理员来设定。初级压缩过程中，1)首先要根据传感器的测量精度来确定是否需要进行数据平滑，当传感器的测量 误差较大时，则对数据块中的噪声点进行处理，使得处理后的数据更能代表或者更接近被 测参数的实际值；数据平滑处理在科学研究中应用广泛，常用的方法有移动窗口多项式最 小二乘拟和平滑方法，粗糙惩罚方法，以及kernel平滑方法、卡尔曼滤波法、指数平滑法、 五点三次平滑法、七点二次平滑法等。事实上无论是哪种平滑方法，平滑结果都是对每组数 据进行的修正计算，对于比较准确的数据都存在精度损失的可能。2)记录方式过滤根据组态信息、预处理数据序列，保留下需要的数据点。不同的 记录点，其记录的数据对应着不同物理意义的现场信号量，如温度、压力、流量等，即使是物 理意义相同的信号量，信号变化快慢也存在着差异。因此，保存历史数据时采用有针对性的 记录方式，只在有必要的时刻才保存信息，可以有效地对采集到的数据进行过滤，进而减小 存储的总量。记录方式过滤的主要参数是来源于工程组态时对记录点的配置，由工程人员 根据实际记录点的物理意义、信号特性等信息，设置周期记录方式的k值(对于每本文档来自技高网...

【技术保护点】
一种智能楼宇中海量能耗信息的压缩方法，步骤如下：　　１）先对楼宇中个监测端的数据进行采集，对于采集得到的数据，设智能楼宇能耗信息在线实时监测现场的记录点每条记录为一个三元组（ｔａｇｉｄ，ｔｉｍｅ，ｄａｔａ），分别表示点编号、数据的采集时态和采集的数据；　　２）当某记录点的时态属性值发生改变时，对应的新数据存入一级缓存中，然后直接返回下一个任务，这些新数据由后台数据存储线程存入文件；所述一级缓存是一个数据队列，由数据管理线程和数据存储线程共享；　　３）设立二级缓存：对应每个ｔａｇｉｄ设有两个固定大小的缓存区，存储线程从一级缓存中取得数据，写入该ｉｄ对应的缓存区；当某点对应的缓存区已满的时候，一次性地把该缓存区中的所有数据转入历史数据压缩区中，并将另一个缓存区变为当前缓存区，继续接收一级缓存的历史数据，如此交替进行；　　４）设置历史数据压缩区，并在该压缩区中，对步骤３）的缓存区中的数据进行压缩后再将其转存到磁盘文件；　　５）采用文件队列的形式来组织数据文件，当一个文件存满后，才启用文件队列中下一个文件；　　６）当压缩完成后，把压缩后的数据存入存储器中，供所需用户端调用。

【技术特征摘要】

【专利技术属性】
技术研发人员：张广明，李为相，徐楠，路宏伟，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：84[中国|南京]