一种可变步长的矿井环境实时监测数据的动态压缩方法技术

一种可变步长的矿井环境实时监测数据动态压缩方法，属于时序数据压缩方法。该方法是针对矿井水文传感器监测数据所具有的实时性、时效性、多源性和海量性而设计的可变步长的数据压缩方法。分析矿井环境监测数据样本特征计算实时矿井环境预警级别分割点，综合计算矿井环境事件预警级别，分别计算实时和历史监测数据压缩步长，设计历史和实时监测数据压缩算法。可变步长的矿井环境实时监测数据动态压缩方法，可动态调整矿井环境监测数据样本计算矿井环境事件预警级别，实现可变压缩步长的监测数据压缩功能，该方法能够尽可能反映监测数据的变化趋势，在保留监测时序数据特征的同时，能够精简数据存储空间和时间，提高监测数据查询与显示效率。

Dynamic compression method for mine environment real-time monitoring data with variable step size

The utility model relates to a variable step method for dynamically monitoring the real-time monitoring data of the mine environment, which belongs to the time series data compression method. The method is a variable step size data compression method which is based on the real time, timeliness, multi-source and mass of the mine hydrological monitoring data. Analysis and calculation of mine environment real-time warning level segmentation of mine environment monitoring data of the sample characteristics, comprehensive calculation of mine environmental events warning level, real-time and historical monitoring data compression step were calculated, and the real-time monitoring data compression algorithm design history. Compression method with variable step of mine environmental monitoring dynamic, dynamic adjustment of coal mine environmental monitoring data calculation of mine environmental events warning level, realize the monitoring data of variable compression step compression function, the method can reflect the change trend of monitoring data, monitoring data retention in timing characteristics at the same time, can simplify the data storage space and time, improve the efficiency of monitoring data query and display.

【技术实现步骤摘要】

本专利技术涉及一种可变步长的时序数据压缩方法，特别是一种可变步长的矿井环境实时监测数据动态压缩的方法。
技术介绍
基于物联网的矿井环境监测系统，在矿井下部署多种矿井环境监测传感器，通过互联网通信技术可将实时监测时序数据传输到远端服务器上的网络数据库中，采集矿井环境监测时序数据，并向用户提供矿井环境实时监测数据服务。然而，矿井环境监测系统面临着需要实时而综合监测矿井环境多种参数，以能够动态、实时、全面地反应矿井环境情况的研究需求，势必使得当前矿井环境监测系统存在监测参数多、采样频率高、数据传输慢、存储空间大等难题，因此针对矿井环境实时监测系统所采集的多维监测数据特征，设计可变步长的监测时序数据动态压缩方法，既可大大节约监测数据磁盘存储空间，又能大大降低监测数据的网络传输时间和成本，并提高监测数据网络查询和可视化效率。专利号为201010542716.6公开了一种时序数据实时高效线性压缩与解压缩方法，该方法根据处理时序数据的类型和压缩阈值，采用滤波算法对数据进行滤波，并对滤波数据进行封装，启用线性压缩方法对结构封装数据进行线性压缩后存入历史数据存储区。然而，该方法是一种典型的时序数据一维线性压缩方法，即计算直线斜率上下限进行时序数据拟合，难以应用于多维时序数据的综合压缩，矿井环境实时监测涉及水电导率、水PH值、溶解氧、水温度、管道水压、管道水流量等多维时序数据，需要针对各种矿井环境监测参数计算预警级别分别进行动态压缩。专利号为201110078980.3公开了一种局部放电在线监测数据的压缩方法，该方法从局部放电监测装置采集监测数据，按照预定的行宽和行高将采集的监测数据进行存储并对行、列进行异或算法相关性分析，最后将相关性处理后的压缩数据进行存储。然而，该压缩方法主要针对局部放电脉冲信号数据特征而实施，其通过计算放电监控数据行的相关性和列的相关性来进行，而矿井环境实时监测时序数据(水电导率、水PH值、溶解氧、水温度、管道水压、管道水流量等)不具备行或列相关性特征，上述监测数据会由矿井水文环境的变化而产生动态剧烈变化，且该方法压缩后的监测数值需要解码后才能进行可视化，难以直接应用于矿井环境实时监测数据的动态压缩的实时性需求。专利号为201210187697.9公开了一种时序数据拟合及压缩方法，该方法将t时刻D维度时序数据的每一个分量用M个时间基函数的线性组合与该分量的拟合误差的和来表示。虽然其压缩数据的维度可以不受限制而任意扩充，但是该方法采用固定分量进行M个时间基函数的线性组合以实现时序数据拟合及压缩，固定分量使得数据压缩时不能根据时序数据变化的剧烈程度进行不同程度的有损压缩，难以适用于矿井环境监测数据这种实时监测时序数据的动态压缩，更不能依据矿井环境监测预警级别动态获取压缩步长(变量)，难以确保时序数据变化趋势不变的情况下实现数据的动态压缩。
技术实现思路
技术问题：本专利技术是在克服现有技术的不足，提供一种可变步长的矿井环境实时监测数据的动态压缩方法，该方法可操作性强，压缩数据效率较高，能最大程度地考虑各种监测数据的变化趋势和特征，可为矿井环境监测预警系统提供了高效的数据支持。技术方案：本专利技术的目的是这样实现的：该压缩方法，利用变动步长压缩算法对矿井环境实时监测数据压缩处理，包括以下步骤：1)在矿井下部署多种矿井环境监测传感器，采集矿井环境监测时序数据，通过互联网通信技术将矿井环境监测时序数据传输到网络数据库中；2)将矿井环境监测时序数据区分为实时监测数据和历史监测数据，在规定时间内，将各个矿井环境监测传感器获取的矿井环境监测时序数据作为制作矿井环境监测数据样本的原始数据；3)将矿井环境监测数据样本以数值大小从小到大排序，并分成四等份；将矿井环境监测数据样本的四分位数和四分位距作为预警级别分割点；4)对确定预警级别分割点之后采集的矿井环境监测时序数据进行异常值处理分析，删除相对误差较大和明显不一致数据，计算各监测传感器参数判定值，判断各监测传感器参数对应的预警级别；5)分析矿井环境监测时序数据的变化趋势及特征，依据监测传感器参数权重综合计算矿井环境事件预警级别；6)依据不同时刻的矿井预警级别确定各种矿井环境实时监测参数数据的压缩步长，并按照不同时段对应的压缩步长，利用压缩算法动态地对实时监测数据和历史监测数据进行压缩处理；7)对矿井环境监测数据样本进行动态调整。步骤1中，所述的多种矿井环境监测传感器包括水电导率传感器、水PH值传感器、溶解氧传感器、水温度传感器、管道水压传感器、管道水流量传感器、气体温度传感器、气体湿度传感器、光照强度传感器、二氧化碳传感器、甲烷传感器、土壤温度传感器和土壤湿度传感器等。步骤2中，所述的矿井环境监测时序数据包括水导率监测数据、水PH值监测数据、溶解氧监测数据、水温度监测数据、管道水压监测数据、管道水流量监测数据、气体温度监测数据、气体湿度监测数据、光照强度监测数据、二氧化碳监测数据、甲烷监测数据、土壤温度监测数据和土壤湿度监测数据等，分别用a、b、c、d、e、f等表示；所述的实时监测数据和历史监测数据是按照采集的矿井环境监测数据的时效性进行区分。步骤3中，所述的四等份的方法为四分位数方法：将矿井环境监测数据样本利用快速排序算法从小到大排序，排序后第25％位置的数值称作第一四分位数Q1，第50％位置的数值称作第二四分位数Q2，第75％位置的数值称作第三四分位数Q3，第三四分位数与第一四分位数的差距称为四分位距用IQR＝Q3-Q1表示；所述的预警级别分割点采用箱形图方法将预警级别分割点定义为Q1-1.5IQR、Q1-IQR、Q1-0.5IQR、Q1、Q3、Q3+0.5IQR、Q3+IQR和Q3+1.5IQR。步骤4中，所述的对采集的矿井监测数据进行异常值处理分析，是将异常值定义为小于Q1-1.5IQR或大于Q3+1.5IQR的值；所述的监测传感器参数判定值：对实时监测数据每次获取各种矿井环境监测传感器参数N条数据，对历史监测数据每次获取各种矿井环境监测传感器参数M条数据，分别求取均值作为矿井环境监测传感器预警级别判定值，包括：实时监测数据判定值计算方法和历史监测数据判定值计算方法；实时监测数据判定值计算公式：式中N＝γ2+γ4；历史监测数据判定值计算公式：式中M＝γ1+γ2+γ3+γ4；其中，i为监测传感器参数a、b、c、d、e、f等，j为正整数，Tij为各种矿井环境监测传感器参数监测数值，γ1、γ2、γ3、γ4分别为Ⅰ级预警级别、Ⅱ级预警级别、Ⅲ级预警级别、Ⅳ级预警级别，公式中用1、2、3、4代替四种级别；N为预警级别Ⅰ级和Ⅳ级之和，M为预警级别中四个预警级别之和；表示判定值；所述的预警级别：分别将各种矿井环境监测传感器参数预警级别划分为四个等级，分别为Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级，各种矿井环境监测传感器参数预警级别用Wa、Wb、Wc、Wd、We、Wf分别表示。其中，Ⅳ级危险等级为特别严重，Ⅲ级危险等级为严重，Ⅱ级危险等级为较重，Ⅰ级危险等级为一般；监测传感器参数判定值在Q1～Q3区间预警级别为Ⅰ级、Q1-0.5IQR～Q1或Q3～Q3+0.5IQR为Ⅱ级、Q1-IQR～Q1-0.5IQR或Q3+0.5IQR～Q3+IQR为Ⅲ级、Q1-1.5IQR～Q1-IQR或Q3+IQR本文档来自技高网...

【技术保护点】
一种可变步长的矿井环境实时监测数据动态压缩方法，其特征在于：该压缩方法，利用变动步长压缩算法对矿井环境实时监测数据压缩处理，包括以下步骤：1)在矿井下部署多种矿井环境监测传感器，采集矿井环境监测时序数据，通过互联网通信技术将矿井环境监测时序数据传输到网络数据库中；2)将矿井环境监测时序数据区分为实时监测数据和历史监测数据，在规定时间内，将各个矿井环境监测传感器获取的矿井环境监测时序数据作为制作矿井环境监测数据样本的原始数据；3)将矿井环境监测数据样本以数值大小从小到大排序，并分成四等份；将矿井环境监测数据样本的四分位数和四分位距作为预警级别分割点；4)对确定预警级别分割点之后采集的矿井环境监测时序数据进行异常值处理分析，删除相对误差较大和明显不一致数据，计算各监测传感器参数判定值，判断各监测传感器参数对应的预警级别；5)分析矿井环境监测时序数据的变化趋势及特征，依据监测传感器参数权重综合计算矿井环境事件预警级别；6)依据不同时刻的矿井预警级别确定各种矿井环境实时监测参数数据的压缩步长，并按照不同时段对应的压缩步长，利用压缩算法动态地对实时监测数据和历史监测数据进行压缩处理；7)对矿井环境监测数据样本进行动态调整。...

【技术特征摘要】
1.一种可变步长的矿井环境实时监测数据动态压缩方法，其特征在于：该压缩方法，利用变动步长压缩算法对矿井环境实时监测数据压缩处理，包括以下步骤：1)在矿井下部署多种矿井环境监测传感器，采集矿井环境监测时序数据，通过互联网通信技术将矿井环境监测时序数据传输到网络数据库中；2)将矿井环境监测时序数据区分为实时监测数据和历史监测数据，在规定时间内，将各个矿井环境监测传感器获取的矿井环境监测时序数据作为制作矿井环境监测数据样本的原始数据；3)将矿井环境监测数据样本以数值大小从小到大排序，并分成四等份；将矿井环境监测数据样本的四分位数和四分位距作为预警级别分割点；4)对确定预警级别分割点之后采集的矿井环境监测时序数据进行异常值处理分析，删除相对误差较大和明显不一致数据，计算各监测传感器参数判定值，判断各监测传感器参数对应的预警级别；5)分析矿井环境监测时序数据的变化趋势及特征，依据监测传感器参数权重综合计算矿井环境事件预警级别；6)依据不同时刻的矿井预警级别确定各种矿井环境实时监测参数数据的压缩步长，并按照不同时段对应的压缩步长，利用压缩算法动态地对实时监测数据和历史监测数据进行压缩处理；7)对矿井环境监测数据样本进行动态调整。2.根据权利要求1所述的矿井环境实时监测数据动态压缩方法，其特征在于：步骤1中，所述的多种矿井环境监测传感器包括水电导率传感器、水PH值传感器、溶解氧传感器、水温度传感器、管道水压传感器、管道水流量传感器、气体温度传感器、气体湿度传感器、光照强度传感器、二氧化碳传感器、甲烷传感器、土壤温度传感器和土壤湿度传感器等。3.根据权利要求1所述的矿井环境实时监测数据动态压缩方法，其特征在于：步骤2中，所述的矿井环境监测时序数据包括水导率监测数据、水PH值监测数据、溶解氧监测数据、水温度监测数据、管道水压监测数据、管道水流量监测数据、气体温度监测数据、气体湿度监测数据、光照强度监测数据、二氧化碳监测数据、甲烷监测数据、土壤温度监测数据和土壤湿度监测数据等，分别用a、b、c、d、e、f等表示；所述的实时监测数据和历史监测数据是按照采集的矿井环境监测数据的时效性进行区分。4.根据权利要求1所述的矿井环境实时监测数据动态压缩方法，其特征在于：步骤3中，所述的四等份的方法为四分位数方法：将矿井环境监测数据样本利用快速排序算法从小到大排序，排序后第25％位置的数值称作第一四分位数Q1，第50％位置的数值称作第二四分位数Q2，第75％位置的数值称作第三四分位数Q3，第三四分位数与第一四分位数的差距称为四分位距用IQR＝Q3-Q1表示；所述的预警级别分割点采用箱形图方法将预警级别分割点定义为Q1-1.5IQR、Q1-IQR、Q1-0.5IQR、Q1、Q3、Q3+0.5IQR、Q3+IQR和Q3+1.5IQR。5.根据权利要求1所述的矿井环境实时监测数据动态压缩方法，其特征在于：步骤4中，所述的对采集的矿井监测数据进行异常值处理分析，是将异常值定义为小于Q1-1.5IQR或大于Q3+1.5IQR的值；所述的监测传感器参数判定值：对实时监测数据每次获取各种矿井环境监测传感器参数N条数据，对历史监测数据每次获取各种矿井环境监测传感器参数M条数据，分别求取均值作为矿井环境监测传感器预警级别判定值，包括：实时监测数据判定值计算方法和历史监测数据判定值计算方法；实时监测数据判定值计算公式：式中N＝γ2+γ4；历史监测数据判定值计算公式：式中M＝γ1+γ2+γ3+γ4；其中，i为监测传感器参数a、b、c、d、e、f等，j为正整数，Tij为各种矿井环境监测传感器参数监测数值，γ1、γ2、γ3、γ4分别为Ⅰ级预警级别、Ⅱ级预警级别、Ⅲ级预警级别、Ⅳ级预警级别，公式中用1、2、3、4代替四种级别；N为预警级别Ⅰ级和Ⅳ级之和，M为预警级别中四个预警级别之和；表示判定值；所述的预警级别：分别将各种矿井环境监测传感器参数预警级别划分为四个等级，分别为Ⅰ级、Ⅱ级、Ⅲ级、Ⅳ级，各种矿井环境监测传感器参数预警级别用Wa、Wb、Wc、Wd、We、Wf分别表示。其中，Ⅳ级危险等级为特别严重，Ⅲ级危险等级为严重，Ⅱ级危险等级为较重，Ⅰ级危险等级为...

【专利技术属性】
技术研发人员：杨慧，杨浩，岳建华，酆格斐，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32