一种用于大气监测数据的智能处理方法技术

本发明专利技术涉及数据处理领域，具体涉及一种用于大气监测数据的智能处理方法。采集设定时间周期的监测数据并构建数据矩阵；将每列元素中相似性连续相同的监测数据划分为一个相似数据组并由上到下进行编号；对数据矩阵逐行进行遍历，直至一行监测数据中存在不同的编号；获取该行的压缩必要性；若小于阈值，继续向下遍历；若大于阈值，将该行监测数据以上的所有行监测数据作为第一编号对应的第一压缩组，并从该行开始以第二编号为目标数据重新向下遍历，依次遍历，直至获取数据矩阵的所有压缩组；对数据矩阵的每个压缩组进行压缩存储。本发明专利技术通过采用多位压缩的方法，能够有效提高压缩效果，从而减少对存储空间的使用。从而减少对存储空间的使用。从而减少对存储空间的使用。

【技术实现步骤摘要】
一种用于大气监测数据的智能处理方法


[0001]本专利技术涉及数据处理领域，具体涉及一种用于大气监测数据的智能处理方法。

技术介绍

[0002]随着科学技术的发展，对大气的探测越来越精细，探测周期越来越短，从而探测信息的数据量也随之越来越大，高频率采集产生的海量原生大气数据之中会存在庞大的相似数据，直接进行存储会导致大量的重复数据占用存储空间产生浪费，因此为达到数据的快速传输，以及减少数据存储空间，需要对其进行数据压缩。
[0003]现有技术中的数据压缩算法中，游程编码压缩算法是一种较为常用的无损压缩算法，在对重复的数据进行压缩存储具有不错的表现，然而该算法对于数据之间的波动处理效果较差，如大气数据中经常会存在不完全一致的数据波动，在对此类数据进行压缩时可能会造成压缩后的数据膨胀，使得数据的压缩效果并不理想，无法实现减少数据存储空间的目的。

技术实现思路

[0004]为了解决现有技术进行压缩时可能会造成压缩后的数据膨胀，使得数据的压缩效果并不理想的问题，本专利技术提供一种用于大气监测数据的智能处理方法，包括：采集设定时间周期的监测数据并构建数据矩阵；将每列元素中相似性连续相同的监测数据划分为一个相似数据组并由上到下进行编号；对数据矩阵逐行进行遍历，直至一行监测数据中存在不同的编号；获取该行的压缩必要性；若小于阈值，继续向下遍历；若大于阈值，将该行监测数据以上的所有行监测数据作为第一编号对应的第一压缩组，并从该行开始以第二编号为目标数据重新向下遍历，依次遍历，直至获取数据矩阵的所有压缩组；对数据矩阵的每个压缩组进行压缩存储。
[0005]本专利技术采用如下技术方案，一种用于大气监测数据的智能处理方法，包括：采集设定时间周期的监测数据，并根据每个时间周期的监测数据构建数据矩阵；获取每个监测数据与数据矩阵中第一个监测数据的相似性，将数据矩阵的每列元素中相似性连续相同的监测数据划分为一个相似数据组，并由上到下对每列元素的相似数据组进行编号；将每个相似数据组的编号赋值给对应相似数据组中的每个监测数据，以第一编号为目标数据对数据矩阵逐行进行遍历，直至一行监测数据中存在不同的编号；将存在不同编号监测数据对应行中，其他编号对应的监测数据作为非目标数据，根据每个非目标数据的压缩关联度获取该存在不同编号监测数据对应行的压缩必要性；判断该存在不同编号监测数据对应行监测数据的压缩必要性是否大于预设阈值，若大于阈值，继续向下遍历，直至存在不同编号监测数据对应行的压缩必要性小于阈值；若小于阈值，将该行监测数据以上的所有行监测数据作为第一编号对应的第一压缩组，并从该存在不同编号监测数据对应行开始，以第二编号为目标数据重新向下遍历，获
取第二编号对应的第二压缩组，依次遍历，直至获取数据矩阵中每个编号对应的压缩组，得到数据矩阵的所有压缩组；对数据矩阵的每个压缩组进行压缩，得到压缩完成的监测数据，并对压缩完成的监测数据进行存储。
[0006]进一步的，一种用于大气监测数据的智能处理方法，获取每个监测数据与数据矩阵中第一个监测数据的相似性的方法为：获取每个监测数据与数据矩阵中第一个监测数据之间二进制数相同的位数；获取每个监测数据与数据矩阵中第一个监测数据之间数据值的差值绝对值，并以该差值绝对值构建以e为底的指数函数，其中，e为自然常数；获取每个监测数据与数据矩阵中第一个监测数据之间二进制数相同的位数，与构建的指数函数的比值，将归一化后的比值作为每个监测数据与数据矩阵中第一个监测数据的相似性。
[0007]进一步的，一种用于大气监测数据的智能处理方法，每个非目标数据的压缩关联度的获取方法如下：获取每个非目标数据在数据矩阵对应行上目标数据的个数；获取每个非目标数据与其四邻域内每个监测数据的差值绝对值的均值；根据每个非目标数据在数据矩阵对应行上目标数据的个数，与该非目标数据和其四邻域内每个监测数据的差值绝对值的均值的比值，得到每个非目标数据的压缩关联度。
[0008]进一步的，一种用于大气监测数据的智能处理方法，获取该存在不同编号监测数据对应行的压缩必要性的方法为：获取该存在不同编号监测数据对应行中非目标数据的压缩关联度均值，对该均值进行归一化得到该存在不同编号监测数据对应行的压缩必要性。
[0009]进一步的，一种用于大气监测数据的智能处理方法，对数据矩阵的每个压缩组进行压缩之前，还包括：将每个编号对应的压缩组中，存在不同编号的监测数据对应行上的非目标数据替换为与其相邻的目标数据。
[0010]进一步的，一种用于大气监测数据的智能处理方法，对数据矩阵的每个压缩组进行压缩的方法为：将每个压缩组中监测数据之间相同的二进制位数作为相同块；对每个压缩组中监测数据的相同块进行合并压缩。
[0011]进一步的，一种用于大气监测数据的智能处理方法，根据每个时间周期的监测数据构建数据矩阵之后，还包括：将数据矩阵中的每个监测数据转化为二进制。
[0012]本专利技术的有益效果是：本专利技术首先对采集到的数据构建矩阵，为后续进行分组压缩提供了便利，同时结合压缩顺序，利用矩阵中每个数据与第一个数据之间的相似性进行分组，能够将相似的数据分为一组，并对每一列数据组进行编号，有利于提高编码压缩的效率；同时考虑到每列相同编号的数据组在矩阵中所占的行数不同，本专利技术在相同编号的数据组包含的最大行数范围内，对其中不属于该编号数据组的数据进行逐行分析，能够确定出进行压缩的最佳行高，避免波动数据对压缩造成的影响，实现自适应行高的多行编码压缩，最后对矩阵进行多行分组编码压缩，在极大程度上提升了压缩效率的同时，避免了压缩
后的数据膨胀问题，有效减少了存储空间。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术实施例的一种用于大气监测数据的智能处理方法结构示意图。
具体实施方式
[0015]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]某些行业对天气需要更准确预测结果，由此产生了高频次高精度的大气监测数据，而对大气监测数据进行存储时：同天时序上的数据存在测量结果波动、不同天数的时间跨度上也存在波动，传统的游程压缩算法（RLE算法）在进行大批量存在波动的数据压缩时通常压缩效果不佳。
[0017]如图1所示，给出了本专利技术实施例的一种用于大气监测数据的智能处理方法结构示意图，包括：101.采集设定时间周期的监测数据并构建数据矩阵；高精度的预测大气监测数据，需要高频率采集的历史监测数据做支撑，采集的数据类型为日期、时间、各种污染本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于大气监测数据的智能处理方法，其特征在于，包括：采集设定时间周期的监测数据，并根据每个时间周期的监测数据构建数据矩阵；获取每个监测数据与数据矩阵中第一个监测数据的相似性，将数据矩阵的每列元素中相似性连续相同的监测数据划分为一个相似数据组，并由上到下对每列元素的相似数据组进行编号；将每个相似数据组的编号赋值给对应相似数据组中的每个监测数据，以第一编号为目标数据对数据矩阵逐行进行遍历，直至一行监测数据中存在不同的编号；将存在不同编号监测数据对应行中，其他编号对应的监测数据作为非目标数据，根据每个非目标数据的压缩关联度获取该存在不同编号监测数据对应行的压缩必要性；判断该存在不同编号监测数据对应行监测数据的压缩必要性是否大于预设阈值，若大于阈值，继续向下遍历，直至存在不同编号监测数据对应行的压缩必要性小于阈值；若小于阈值，将该行监测数据以上的所有行监测数据作为第一编号对应的第一压缩组，并从该存在不同编号监测数据对应行开始，以第二编号为目标数据重新向下遍历，获取第二编号对应的第二压缩组，依次遍历，直至获取数据矩阵中每个编号对应的压缩组，得到数据矩阵的所有压缩组；对数据矩阵的每个压缩组进行压缩，得到压缩完成的监测数据，并对压缩完成的监测数据进行存储。2.根据权利要求1所述的一种用于大气监测数据的智能处理方法，其特征在于，获取每个监测数据与数据矩阵中第一个监测数据的相似性的方法为：获取每个监测数据与数据矩阵中第一个监测数据之间二进制数相同的位数；获取每个监测数据与数据矩阵中第一个监测数据之间数据值的差值绝对值，并以该差值绝对值构建以e为底的指数函数，其中，e为自然常数；获取...

【专利技术属性】
技术研发人员：赵宇廷，
申请(专利权)人：山东安之捷科技有限公司，
类型：发明
国别省市：