一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置制造方法及图纸

本发明专利技术属于电磁能技术领域，公开了一种电磁能系统业务时序数据压缩方法，包括：采集原始量测数据；划分为动态量测数据部分和静态标签属性数据，分别申请内存空间，生成测点量测值时间序列及时序元数据；读取内存缓存中测点时序动态数据，结合实际电磁能系统业务场景预设的时效性阈值，利用误差反馈对压缩偏差进行动态调整，并对时序数据压缩处理；将压缩后的时序数据进行存储，生成电磁能系统业务历史数据。本发明专利技术还提供了一种存储了电磁能系统业务时序数据压缩程序的非暂态可读记录媒体及包含该媒体的装置，通过处理电路可以调用该压缩程序，以执行电磁能系统业务时序数据压缩方法，用于解决电磁能数据压缩不同场景算法精度控制不通用的问题。

【技术实现步骤摘要】
一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置
本专利技术属于电磁能
，具体公开了一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置。
技术介绍
电磁能系统即为电磁能信息物理系统简称，主要指多电磁发射装置和综合电力系统。其中，多种电磁发射装置中技术较为成熟的主要有电磁弹射、电磁轨道炮、电磁阻拦等；而综合电力系统主要指舰船中压直流综合电力系统，能够实现舰船中相互独立的动力和电力两大系统合二为一，被誉为舰船动力新革命。当前，随着工业数字化、信息化及智能化发展趋势，电磁能系统传感器数量及精度急剧增长，产生的数据量爆发式增长。时间序列数据，即时序数据，是工业数据主要类型，通常由设备传感器按照特定频率产生，且后续均无需修改，多用于特定时间尺度下分析性查询。电磁能时序数据作为电磁能系统大数据场景中主体数据资源，是实现数据驱动的电磁能系统信息业务智能化的重要基础支撑。所以，在保障电磁能系统业务时效性前提下，将海量电磁能时序数据进行高效压缩并实现快速持久化，是积累电磁能时序大数据资源有效技术途径。目前，不少工业时序数据压缩处理基于旋转门压缩算法(SpinningDoorTransformation，SDT)实现。其中，旋转门算法的压缩偏差ΔE作为唯一的可控参数，决定了两扇门达到平行时所能容纳的精度范围，对于算法的压缩性能影响较大。由于电磁能系统各型系统的数据特性各异，不同业务的数据处理时效性需求区别明显，从而数据压缩过程中所需要设置不同的ΔE。然而，SDT算法数据压缩过程需要提前预设ΔE值，而具体业务相适配的ΔE值给定通常依赖长时间的调优和长期经验积累；同时，SDT算法在提供高压缩比时削弱了数据精度对于数据压缩的影响权重，会在不同程度造成数据解压缩之后的数据精度损失；此外，其他数据存储技术中很多运用通用数据压缩算法通常并不考虑业务应用特性，难以直接适用电磁能时序数据高效压缩处理。从而，在电磁能实时数据高效压缩及快速持久化存储过程中，压缩算法在保证数据压缩精度前提下，根据业务时效性等性能需求对压缩偏差ΔE进行动态调整是目前亟需解决的问题。
技术实现思路
为了解决已有旋转门SDT算法在电磁能时序数据压缩处理中的不足，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种电磁能系统业务时序数据压缩方法，能够在不同业务时效性需求下提高时序数据压缩效率或降低数据精度损失。一方面本专利技术提供了一种电磁能系统业务时序数据压缩方法，包括以下步骤：S1，按电磁能系统现场设备测点集获取周期性上传的原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；S2，将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；S3，读取内存缓存中测点时序数据(仅动态数据部分)，结合实际电磁能系统业务场景预设的时效性阈值，在常规时序数据压缩中运用的旋转门算法上，利用误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；S4，将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，该持久化存储的数据能通过解压方式恢复。优选的，步骤S2包括：将所述原始量测数据进行解析划分为动态量测数据部分和静态标签属性数据部分，并作为内存缓存原始数据输入；在内存键值数据库分别给原始量测数据动态和静态数据申请内存空间，根据时间戳生成测点量测值时间序列缓存，并构建相对应的时序元数据缓存；将所述内存键值数据库提供的各类型程序编程接口与电磁能系统业务软件开发平台进行封装适配。优选的，步骤S3包括：预定义待压缩数据为y_1～y_n，经过数据压缩之后数据的个数为m(m≤n，其中n为完整时序数据个数)，解压缩重构后的数据为y～_1～y～_n，算法压缩偏差的调整参数为F_adj，数据解压缩实际误差与期望误差之间偏差的调整参数为α，压缩参数的上下限阈值为E_max和E_min，实施数据压缩处理步骤可具体细化为：①在对当前周期的测点量测时序y_1～y_n进行数据压缩之前，首先进行压缩参数的初始化，压缩偏差的上下限阈值E_max和E_min，以及控制系统模型参数F_adj和α可以依据电磁能系统业务运维长期经验预先设定，可针对其他具体业务场景进行重新调优预设。②定义T为压缩算法的所允许的最大时间间隔，从待压缩中取出一点y_i(1≤i≤n)，若该点与上一存储点的时间间隔大于等于T，则将前一个数据点y_(i-1)直接存储，不需要再进行旋转门分析，并将y_(i-1)作为新的数据压缩起点，否则进行下一步骤的旋转门压缩。③计算数据点y_i(1≤i≤n)处旋转门两扇门的斜率k_up和k_down，其中k_up为上斜率的最大值，k_down为下斜率的最小值。如果两扇门之间已经平行，或者说k_up≥k_down，则将前一数据点y_(i-1)进行存储，并将其作为新的压缩起始点，否则该数据点y_i被舍弃。④检验待压缩数据是否压缩完毕，若压缩完毕进行下一步操作，否则返回第②步，对下一数据点y_(i+1)进行相同压缩操作。⑤待压缩数据压缩完毕后，通过解压缩算法对数据进行恢复重构，解压缩之后的数据为y～_1～y～_n，由此可以计算出数据真实值与解压缩值之间的平均绝对误差MAE，与期望误差δ作差，得到两者之间的差值ε。⑥根据差值ε情况，对压缩偏差ΔE做出动态调整：当0≤ε<δ·α时，说明数据偏差ε在可容许的误差范围内，ΔE选取比较合适，不需要做出调整；当ε≥δ·α时，说明数据偏差ε偏大，所计算获得的平均压缩误差MAE偏小，ΔE偏小，存储了较多原始数据，应在压缩偏差上限阈值E_max范围内适当扩大ΔE，ΔE＝min{ΔE+|ε/(δ·α)|·F_adj，E_max}当-δ·α<ε<0时，说明数据偏差ε偏小，所计算获得的平均压缩误差MAE偏大，ΔE偏大，舍弃了较多的原始数据，影响了压缩数据的精确度应在压缩偏差下限阈值E_min范围内适当减小ΔE，ΔE＝max{ΔE-|ε/(δ·α)|·F_adj，E_min}当ε不属于以上情况时，说明解压缩之后的数据已经严重失真，应直接返回第①步，对初始参数进行重新设置，再进行数据压缩处理。⑦对压缩偏差ΔE进行动态调整后，返回第②步用新的ΔE进行数据压缩处理，通过不断迭代直至偏差ε在误差容许内，完成数据压缩。进一步的，步骤S3细分步骤②中旋转门压缩包括：定义Y_0为第一个压缩段的第一个数据，在距离Y_0为ΔE(压缩偏差)的坐标处各有两个支点，上面的支点与数据点Y_0连线构成上斜率k_up，下面的支点与数据点Y_0连线构成下斜率k_down；当只有一个数据点时，上下支点与数据点Y_0在一条直线上，表示旋转门关闭；随着数据点的增多，门会逐本文档来自技高网...

【技术保护点】
1.一种电磁能系统业务时序数据压缩方法，其特征在于包括以下步骤：/nS1，按电磁能系统现场设备测点集获取周期性上传的时序原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；/nS2，将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；/nS3，读取内存缓存中测点动态量测数据，结合实际电磁能系统业务场景预设的时效性阈值，运用旋转门算法，通过误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；/nS4，将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，该持久化存储的数据能通过解压方式恢复。/n

【技术特征摘要】
1.一种电磁能系统业务时序数据压缩方法，其特征在于包括以下步骤：
S1，按电磁能系统现场设备测点集获取周期性上传的时序原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；
S2，将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；
S3，读取内存缓存中测点动态量测数据，结合实际电磁能系统业务场景预设的时效性阈值，运用旋转门算法，通过误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；
S4，将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，该持久化存储的数据能通过解压方式恢复。


2.根据权利要求1所述的一种电磁能系统业务时序数据压缩方法，其特征在于，S1中传感器采集原始量测数据频率范围为1-10Hz。


3.根据权利要求1所述的一种电磁能系统业务时序数据压缩方法，其特征在于，S3中内存缓存基于内存键值数据库构建，且具备分布式远程数据服务能力，可按预定电磁能系统业务测点集合，从内存键值数据库中获取该业务当前周期量测值键值对序列。


4.根据权利要求1所述的一种电磁能系统业务时序数据压缩方法，其特征在于，S3中压缩偏差ΔE可动态调整，设待压缩数据为y_1～y_n，经过数据压缩之后数据的个数为m，且m≤完整时序数据个数，解压缩重构后的数据为y～_1～y～_n，算法压缩偏差的调整参数为F_adj，数据解压缩实际误差与期望误差之间偏差的调整参数为α，压缩参数的上下限阈值为E_max和E_min，从而S3可具体细分为以下步骤：
①在对当前周期的测点量测时序的所述y_1～y_n进行数据压缩之前，首先进行压缩参数的初始化，依据电磁能系统业务运维往期经验值预先设定所述E_max和E_min、F_adj及α。
②设T为压缩算法的所允许的最大时间间隔，从待压缩中取出一点y_i(1≤i≤n)，若该点与上一存储点的时间间隔大于等于T，则将前一个数据点y_(i-1...

【专利技术属性】
技术研发人员：鲍先强，徐兴华，付立军，商承亚，刘苍，徐成成，
申请(专利权)人：中国人民解放军海军工程大学，
类型：发明
国别省市：湖北;42