数据的存储方法及装置、电子设备和计算机可读存储介质制造方法及图纸

本申请提供了一种数据的存储方法及装置、电子设备和计算机可读存储介质，其中，该方法包括：确定与第一索引对应的第一数据；其中，第一索引设置在第一数据中的第一字段上；基于与第一字段对应的第一压缩比例对第一数据进行压缩；其中，第一压缩比例基于第一数据的存储粒度确定；存储压缩后的第一数据。通过本申请，解决了现有技术中的数据的存储方法存在占用存储空间较大影响了服务器性能、数据在存储后读取数据不便的技术问题。读取数据不便的技术问题。读取数据不便的技术问题。

【技术实现步骤摘要】
数据的存储方法及装置、电子设备和计算机可读存储介质


[0001]本申请涉及数据存储领域，特别是涉及一种数据的存储方法及装置、电子设备和计算机可读存储介质。

技术介绍

[0002]企业生产环境中会产生大量数据，对数据进行存储和分析对于企业而言至关重要，现有技术中对于数据的存储方式包括：1)不压缩直接对数据进行存储；2)按照统一的压缩比例进行压缩后再存储。采用上述方式1)则会导致占用存储空间较大，采用上述方式2)压缩后再存储后，如果要对存储的数据进行读取，必须先对其进行解压缩才能读取。可见，现有技术中的数据的存储方法存在占用存储空间较大或读取存储的数据效率较低的技术问题。

技术实现思路

[0003]本申请实施例的目的在于提供一种数据的存储方法及装置、电子设备和计算机可读存储介质，解决了现有技术的数据的存储方法存在占用存储空间较大或读取存储的数据效率较低的技术问题。
[0004]在本申请实施的第一方面，首先提供了一种数据的存储方法，所述方法包括：确定与第一索引对应的第一数据；其中，第一索引设置在第一数据中的第一字段上；基于与第一字段对应的第一压缩比例对第一数据进行压缩；其中，第一压缩比例基于第一数据的存储粒度确定；存储压缩后的第一数据。
[0005]在本申请实施的第二方面，还提供了一种数据的存储装置，所述装置包括：确定模块，用于确定与第一索引对应的第一数据；其中，第一索引设置在第一数据中的第一字段上；第一压缩模块，用于基于与第一字段对应的第一压缩比例对第一数据进行压缩；其中，第一压缩比例基于第一数据的存储粒度确定；第一存储模块，用于存储压缩后的第一数据。
[0006]在本申请实施的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的数据的存储方法。
[0007]在本申请实施的第四方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据的存储方法。
[0008]本申请实施例提供的数据的存储方法及装置，通过确定与第一索引对应的第一数据；其中，第一索引设置在第一数据中的第一字段上；基于与第一字段对应的第一压缩比例对第一数据进行压缩；其中，第一压缩比例基于第一数据的存储粒度确定；存储压缩后的第一数据；也就是说，在本申请实施例中可以根据数据的存储粒度来确定对应的压缩比例，即可以有选择的对需要压缩的数据根据存储粒度的不同选择对应的压缩比例进行压缩，在节省存储空间的同时也能保证读取效率，从而解决了现有技术中数据的存储方法存在占用存储空间较大或读取存储的数据效率较低的技术问题。
附图说明
[0009]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0010]图1为本申请实施例中数据的存储方法流程图之一；
[0011]图2为本申请实施例中数据的存储方法流程图之二；
[0012]图3为本申请实施例中数据的存储方法流程图之三；
[0013]图4为本申请实施例中数据的流向示意图；
[0014]图5为本申请实施例中参数的设置流程示意图；
[0015]图6为本申请实施例中数据的压缩流程示意图；
[0016]图7为本申请实施例中日志数据的存储方法流程示意图；
[0017]图8为本申请实施例中数据的存储装置结构示意图之一；
[0018]图9为本申请实施例中数据的存储装置结构示意图之二；
[0019]图10为本申请实施例中数据的存储装置结构示意图之三；
[0020]图11为本申请实施例中电子设备的结构示意图。
具体实施方式
[0021]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述地实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0022]在后续的描述中，使用用于表示元件的诸如“模块”、“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。本申请实施例提供了一种数据的存储方法，如图1所示，该方法包括以下步骤：
[0024]步骤102:确定与第一索引对应的第一数据；其中，第一索引设置在第一数据中的第一字段上；
[0025]其中，需要说明的是，第一索引通过应用程序接口(Application Programming Interface，API)接口根据第一字段建立；第一字段用于区分第一数据与其他数据；以日志数据为例，字段可以是正常信息Info、错误信息Error、排错信息Debug、警告信息Warm等，根据Error字段上的索引，可以确定对应的Error数据。
[0026]步骤104:基于与第一字段对应的第一压缩比例对第一数据进行压缩；其中，第一压缩比例基于第一数据的存储粒度确定；
[0027]其中，需要说明的是，第一数据的存储粒度小，表明第一数据需要细化程度高，则可以将对应的第一压缩比例设置小一些；而第一数据的存储粒度大，表明第一数据需要细化程度低，则可以将对应的第一压缩比例设置大一些，即第一数据的存储粒度越小对应的第一比例越小，第一数据的存储粒度越大则对应的第一比例越大；在一示范例中，在日志的存储过程中，存储粒度小的Error数据的压缩比例可以设置为1：1，存储粒度大的Info数据的压缩比例可以设置为5:1。当然，上述具体的压缩比例仅仅是举例说明，在具体应用场景中可以根据实际情况进行相应的设置，例如存储粒度小的Error数据的压缩比例也可以设
置为2：1等，存储粒度大的Info数据的压缩比例也可以设置为7:1等。
[0028]步骤106:存储压缩后的第一数据。
[0029]通过本申请实施例的上述步骤102至步骤106，确定与第一索引对应的第一数据；其中，第一索引设置在第一数据中的第一字段上；基于与第一字段对应的第一压缩比例对第一数据进行压缩；其中，第一压缩比例基于第一数据的存储粒度确定；存储压缩后的第一数据；也就是说，基于字段上的索引确定需要存储的数据，按照字段对应的压缩比例对数据进行压缩并存储，本申请实施例所提供的数据的存储方法可以根据数据的存储粒度来确定对应的压缩比例，即可以有选择的对需要压缩的数据根据存储粒度的不同选择对应的压缩比例进行压缩，在节省存储空间的同时也能保证读取效率，从而解决了现有技术中数据的存储方法存在占用存储空间较大或读取存储的数据效率较低的技术问题。
[0030]在本申请实施例的可选实施方式中，本申请实施例提供的数据的存储方法，如图2所示，进一步可以包括：
[0031]步骤202：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的存储方法，其特征在于，包括：确定与第一索引对应的第一数据；其中，所述第一索引设置在所述第一数据中的第一字段上；基于与所述第一字段对应的第一压缩比例对所述第一数据进行压缩；其中，所述第一压缩比例基于所述第一数据的存储粒度确定；存储压缩后的所述第一数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在检测到的字段由第一字段变为第二字段之后的预设时长内，基于所述第一压缩比例对第二数据进行压缩，其中，所述第二字段为所述第二数据的字段；在经过所述预设时长后，基于与所述第二字段对应的第二压缩比例对所述第二数据进行压缩；其中，所述第二压缩比例基于所述第二数据的存储粒度确定；存储压缩后的所述第二数据；其中，所述第一压缩比例不同于所述第二压缩比例。3.根据权利要求2所述的方法，其特征在于，在所述第一数据的存储粒度大于所述第二数据的存储粒度的情况下，所述第一压缩比例大于所述第二压缩比例。4.根据权利要求1所述的方法，其特征在于，所述根据第一索引确定第一数据之前，包括：在所述第一数据中设置第一字段；其中，所述第一字段用于区分所述第一数据与其它数据；根据所述第一字段生成所述第一索引；设置所述第一字段对应的所述第一压缩比例。5.根据权利要求1所述的方法，其特征在于，在存储压缩后的所述第一数据之后，包括：基于与所述第一压缩比例对应的解压缩方式对压缩后的所述第一数据进行解压缩。6.一种数据的存储装置，其特征在于，包括：确定模块，用于确定与第一索引对应的第一数据；其中，所述第一索引设置在所述第一数据中的第一...

【专利技术属性】
技术研发人员：姚楚琳，杨东皓，王沅召，宋德超，李绍斌，
申请(专利权)人：珠海联云科技有限公司，
类型：发明
国别省市：