数据压缩方法、装置、计算机设备及存储介质制造方法及图纸

本申请是关于一种数据压缩方法、装置、计算机设备及存储介质，具体涉及数据处理领域。方法包括：获取目标数据；根据第i

【技术实现步骤摘要】
数据压缩方法、装置、计算机设备及存储介质


[0001]本申请涉及数据处理领域，特别涉及一种数据压缩方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着物联网技术的快速发展，物联网大数据问题开始凸显，物联网数据的海量特性给数据质量控制、数据存储、数据压缩、数据集成、数据融合、数据查询带来极大挑战，其中，对数据压缩能力的需求正是物联网信息化和数字化发展的痛点。
[0003]在相关技术中，开发者满足数据质量控制的前提下，采取合适、高效的压缩方法，从而最大程度上减少时序数据的冗余存储，提高空间利用率，可以有效降低存储成本、提高存储性能。
[0004]然而，相关技术中，开发者在对数据进行压缩时，采用的压缩率较大的压缩参数，可能导致压缩精度较低，而采用压缩精度较高的压缩参数时可能导致压缩率太低，开发者难以选择同时保证压缩率和压缩精度的压缩参数。

技术实现思路

[0005]本申请实施例提供了一种数据压缩方法、装置、计算机设备及存储介质，可以调整压缩参数，在保证压缩精度的情况下，提高压缩效率，该技术方案如下：
[0006]一方面，提供了一种数据压缩方法，所述方法包括：
[0007]获取目标数据；所述目标数据包括至少两个目标数据段；
[0008]根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；
[0009]根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
[0010]又一方面，提供了一种数据压缩装置，所述装置包括：
[0011]目标数据获取模块，用于获取目标数据；所述目标数据包括至少两个目标数据段；
[0012]压缩参数更新模块，用于根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；
[0013]数据压缩模块，用于根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
[0014]在一种可能的实现方式中，所述历史目标数据段包括第i个所述目标数据段之前的所述目标数据段；
[0015]所述装置还包括：
[0016]模型更新模块，用于当第i个所述目标数据段满足指定条件时，根据第i个所述目标数据段的前N个所述目标数据段对应的压缩参数，以及前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新；前N个所述目标数据段是所述目标数据中，处于第i个所述目标数据段之前的N个所述目标数据段；i＞N≥1，且N为整数。
[0017]在一种可能的实现方式中，所述模型更新模块，用于，
[0018]当i为预设值时，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新。
[0019]在一种可能的实现方式中，所述参数更新模型包括第一模型分支和第二模型分支；
[0020]所述第一模型分支用于根据第i-1个所述目标数据段对应的压缩数据信息对所述第i-1个所述目标数据段对应的压缩参数进行更新；
[0021]所述第二模型分支用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数。
[0022]在一种可能的实现方式中，所述压缩参数更新模块，还用于，
[0023]根据所述第i-1个所述目标数据段对应的压缩数据信息，通过所述第一模型分支对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到所述第i个所述目标数据段对应的压缩参数；
[0024]所述模型更新模块，还用于，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，通过所述第二模型分支，获取所述第i个所述目标数据段对应的价值信息；所述价值信息用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数；
[0025]根据所述价值信息，对所述第一模型分支与所述第二模型分支进行更新。
[0026]在一种可能的实现方式中，所述目标数据还包括初始数据段；
[0027]所述压缩参数更新模块，用于，
[0028]根据所述初始数据段，获取初始压缩参数；所述初始压缩参数是第一个所述目标数据段对应的压缩参数；
[0029]根据所述初始压缩参数，对第一个所述目标数据段进行数据压缩，获得第一个所述目标数据段的压缩参数，以及所述第一个所述目标数据段对应的压缩数据信息。
[0030]在一种可能的实现方式中，所述历史目标数据段包括样本数据中的样本目标数据段；所述样本数据是与所述目标数据同类型的数据；所述样本数据包含至少两个样本目标数据段；
[0031]所述装置还包括：
[0032]样本更新模块，用于根据所述至少两个样本目标数据段，对所述参数更新模型进行训练，得到更新后的参数更新模型。
[0033]再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的数据压缩方法。
[0034]又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述数据压缩方法。
[0035]又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述数据压缩方法。
[0036]本申请提供的技术方案可以包括以下有益效果：
[0037]通过在压缩过程中获取的历史压缩参数，以及历史压缩参数对应的压缩比和压缩误差，对参数更新模型进行更新，再通过更新后的参数更新模型，对上一个目标数据段对应的压缩参数进行更新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：获取目标数据；所述目标数据包括至少两个目标数据段；根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。2.根据权利要求1所述的方法，其特征在于，所述历史目标数据段包括第i个所述目标数据段之前的所述目标数据段；所述方法还包括：当第i个所述目标数据段满足指定条件时，根据第i个所述目标数据段的前N个所述目标数据段对应的压缩参数，以及前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新；前N个所述目标数据段是所述目标数据中，处于第i个所述目标数据段之前的N个所述目标数据段；i＞N≥1，且N为整数。3.根据权利要求2所述的方法，其特征在于，所述当所述第i个所述目标数据段满足指定条件，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新，包括：当i为预设值时，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新。4.根据权利要求2所述的方法，其特征在于，所述参数更新模型包括第一模型分支和第二模型分支；所述第一模型分支用于根据第i-1个所述目标数据段对应的压缩数据信息对所述第i-1个所述目标数据段对应的压缩参数进行更新；所述第二模型分支用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数。5.根据权利要求4所述的方法，其特征在于，所述根据第i-1个所述目标数据段对应的压缩数据信息，通过所述参数更新模型对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数，包括：根据所述第i-1个所述目标数据段对应的压缩数据信息，通过所述第一模型分支对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到所述第i个所述目标数据段对应的压缩参数；所述根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新，包括：根据所述第i个所述...

【专利技术属性】
技术研发人员：刘瑾瑾，赵宏，陈小梦，宁德刚，赵京辉，
申请(专利权)人：上海远景科创智能科技有限公司，
类型：发明
国别省市：