一种基于大数据的数据压缩存储方法和系统，涉及大数据处理技术领域。解决现有技术在针对工业设备进行数据采集时，需要通过插入接口，耗费大量时间，且有很多无效数据，不便对工业数据进行压缩和存储的问题。所述方法包括：建立分区存储库，并将与数据压缩区进行连接；根据数据压缩区建立数据采集系统，并与数据传输接口建立连接；根据数据采集点进行数据采集；通过数据采集点对工业上的数据同时进行采集，并对每个数据采集点上增设数据剔除模块对乱码数据进行剔除；将数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内；压缩处理，将压缩处理后的每一项工业数据分别传输到对应的分区存储库进行存储。应用于工业数据传输领域。
【技术实现步骤摘要】
本专利技术涉及大数据处理，具体涉及一种基于大数据的数据压缩存储方法。
技术介绍
1、工业上的生产大数据通常数据量庞大，需要使用大数据分析和处理等方式从海量的数据中分析数据特征，但同时巨大的数据量会带来了存储时间和空间的消耗和浪费，因此需要对数据进行压缩存储以节省存储空间，于是就有了存储方式和压缩方式，以一定的算法降低数据占用的空间，并且保证数据不丢失，从而提高空间的利用率。
2、现有专利cn115882867a公开了的一种基于大数据的数据压缩存储方法，该方法包括：获取时序数据序列，进行进制转换得到时序数据编码，根据编码顺序对时序数据编码中的编码值进行标号，得到编码值的待处理序号；将时序数据编码划分为初始编码子段，确定初始编码子段的子段序号；确定重复编码子段，基于预设扩充规则对重复编码子段进行扩充处理，得到至少两个不重叠的扩充编码子段；按照编码顺序，将时序数据编码中除扩充编码子段的编码组合生成至少一个插入编码子段；对扩充编码子段和插入编码子段进行编码，得到目标编码，根据编码顺序将目标编码组合生成数据压缩编码，存储数据压缩编码。
3、然而上述技术在针对工业设备进行数据采集时，需要通过插入接口，实现数据采集模块与数据采集点的结合开始实现数据采集，由于工业数据庞大，往往在数据采集这块就需要花费很多时间，并且对于工业参数上的数据有很多都是无效数据，这些无效数据也会增加采集的时间，并且采集的无效数据也需要后期进行剔除压缩，不便进一步对工业数据进行压缩和存储。
技术实现思路
<
p>1、本专利技术针对现有技术在针对工业设备进行数据采集时，需要通过插入接口，实现数据采集模块与数据采集点的结合开始实现数据采集，耗费大量时间，且对于工业参数上的数据有很多都是无效数据，不便进一步对工业数据进行压缩和存储的问题，提出一种基于大数据的数据压缩存储方法，所述方法包括：2、根据工业设备的数据传输接口建立对应的分区存储库，并将建立的分区存储库的数据接口均与数据压缩区进行连接；
3、根据所述数据压缩区建立数据采集系统，并将所述数据采集系统与工业设备的数据传输接口建立连接；
4、根据数据采集系统上的若干个数据采集点进行数据采集，并将所述数据采集点标记为cjp；
5、通过数据采集点cjp对工业上的数据同时进行采集，并对每个数据采集点上增设数据剔除模块对乱码数据进行剔除；
6、将若干个数据采集点cjp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内；
7、对临时存储区的数据进行压缩处理；
8、将压缩处理后的每一项工业数据分别传输到对应的分区存储库进行存储。
9、进一步的，还提供一种优选方式，所述对每个数据采集点上增设数据剔除模块对乱码数据进行剔除，包括：预先根据工业数据类型预设出数据模板，再将数据采集点采集到的数据通过对比模块与数据模板进行比对，从而对不符合数据模板的数据进行删剔除。
10、进一步的，还提供一种优选方式，所述将若干个数据采集点cjp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内，包括：
11、若干个数据采集点cjp采集到的数据信息分别为cj5、cj2、cj10、cj1……、cjp，通过数据编码模块将采集到的数据排列成：cj1、cj2、cj3、……、cjp，使其按照顺序存储在临时存储区内。
12、进一步的，还提供一种优选方式，所述对临时存储区的数据进行压缩处理，包括：
13、采用数据标记对每一项数据进行数据标记，并标记为ssk，同时对重复数据进行获取，并采用重复标记对重复数据进行替换并标记为cfj，完成对整个工业数据的压缩处理。
14、基于同一专利技术构思，本专利技术还提出一种基于大数据的数据压缩存储装置，所述装置包括：
15、分区存储单元，用于根据工业设备的数据传输接口建立对应的分区存储库，并将建立的分区存储库的数据接口均与数据压缩区进行连接；
16、数据连接单元，用于根据所述数据压缩区建立数据采集系统，并将所述数据采集系统与工业设备的数据传输接口建立连接；
17、数据连接单元，用于根据数据采集系统上的若干个数据采集点进行数据采集，并将所述数据采集点标记为cjp；
18、乱码剔除单元，用于通过数据采集点cjp对工业上的数据同时进行采集，并对每个数据采集点上增设数据剔除模块对乱码数据进行剔除；
19、编码单元，用于将若干个数据采集点cjp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内；
20、压缩单元，用于对临时存储区的数据进行压缩处理；
21、存储单元，用于将压缩处理后的每一项工业数据分别传输到对应的分区存储库进行存储，
22、进一步的，还提供一种优选方式，所述乱码剔除单元，包括：预先根据工业数据类型预设出数据模板，再将数据采集点采集到的数据通过对比模块与数据模板进行比对，从而对不符合数据模板的数据进行删剔除。
23、进一步的，还提供一种优选方式，所述编码单元，包括：
24、若干个数据采集点cjp采集到的数据信息分别为cj5、cj2、cj10、cj1……、cjp，通过数据编码模块将采集到的数据排列成：cj1、cj2、cj3、……、cjp，使其按照顺序存储在临时存储区内。
25、进一步的，还提供一种优选方式，所述压缩单元，包括：
26、采用数据标记对每一项数据进行数据标记，并标记为ssk，同时对重复数据进行获取，并采用重复标记对重复数据进行替换并标记为cfj，完成对整个工业数据的压缩处理。
27、基于同一专利技术构思，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任一项所述的一种基于大数据的数据压缩存储方法。
28、基于同一专利技术构思，本专利技术还提出一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述中任一项中所述的一种基于大数据的数据压缩存储方法。
29、本专利技术的有益之处在于：
30、本专利技术解决了现有技术在针对工业设备进行数据采集时，需要通过插入接口，实现数据采集模块与数据采集点的结合开始实现数据采集，耗费大量时间，且对于工业参数上的数据有很多都是无效数据，不便进一步对工业数据进行压缩和存储的问题。
31、本专利技术所提供的一种基于大数据的数据压缩存储方法，与传统数据采集方法相比，省略了繁琐的接口插入步骤，节省了时间和资源。这使得数据采集过程更加高效。通过在数据采集点上增设数据剔除模块，可以识别和剔除无效数据，从而提高了数据的质量。这有助于降低后续数据处理和存储的负担。采集到的数据首先存储在临时存储区，然后进行压缩处理。数据压缩有助于减小存储需求，降低存储成本，以及加速数据传输速度。
<本文档来自技高网...
【技术保护点】
1.一种基于大数据的数据压缩存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于，所述对每个数据采集点上增设数据剔除模块对乱码数据进行剔除，包括：预先根据工业数据类型预设出数据模板，再将数据采集点采集到的数据通过对比模块与数据模板进行比对，从而对不符合数据模板的数据进行删剔除。
3.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于，所述将若干个数据采集点CJp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内，包括：
4.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于，所述对临时存储区的数据进行压缩处理，包括：
5.一种基于大数据的数据压缩存储装置，其特征在于，所述装置包括：
6.根据权利要求5所述的一种基于大数据的数据压缩存储装置，其特征在于，所述乱码剔除单元，包括：预先根据工业数据类型预设出数据模板，再将数据采集点采集到的数据通过对比模块与数据模板进行比对，从而对不符合数据模板的数据进行删剔除。
7.根据权利要求5所述的一种基于大数据的数据压缩存储装置，其特征在于，所述编码单元，包括：
8.根据权利要求5所述的一种基于大数据的数据压缩存储系统，其特征在于，所述压缩单元，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行权利要求1-4任一项所述的一种基于大数据的数据压缩存储方法。
10.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1-4中任一项中所述的一种基于大数据的数据压缩存储方法。
...
【技术特征摘要】
1.一种基于大数据的数据压缩存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于，所述对每个数据采集点上增设数据剔除模块对乱码数据进行剔除，包括：预先根据工业数据类型预设出数据模板，再将数据采集点采集到的数据通过对比模块与数据模板进行比对，从而对不符合数据模板的数据进行删剔除。
3.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于，所述将若干个数据采集点cjp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内，包括：
4.根据权利要求1所述的一种基于大数据的数据压缩存储方法，其特征在于，所述对临时存储区的数据进行压缩处理，包括：
5.一种基于大数据的数据压缩存储装置，其特征在于，所述装置包括：
6.根据权利要求5所述的一种基于大数据的数...
【专利技术属性】
技术研发人员：李明权，周江涛，伺彦伟，安玉红，赵成浩，高阳，孟浩云，董辛森，马玉杰，范国华，赵博媛，张军亮，魏荣祁，韩扬，
申请(专利权)人：河北航天信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。