数据处理方法及系统技术方案

本说明书实施例提供数据处理方法及系统，其中所述数据处理方法包括：接收数据存储请求，所述数据存储请求中携带有初始待存储数据；确定所述初始待存储数据的数据类型，并在确定所述数据类型满足预设缓存条件的情况下，缓存所述初始待存储数据；在确定缓存的当前待存储数据满足预设存储条件的情况下，将所述当前待存储数据转换为目标待存储数据，并将所述目标待存储数据存储至第一类型数据存储模块，其中，所述当前待存储数据包括所述初始待存储数据，从而实现了在保证第一类型数据存储模块正常工作的同时，降低第一类型数据存储模块的使用寿命衰减速度。使用寿命衰减速度。使用寿命衰减速度。

【技术实现步骤摘要】
数据处理方法及系统


[0001]本说明书实施例涉及计算机
，特别涉及一种数据处理方法。

技术介绍

[0002]随着计算机技术的不断发展，不同的企业在进行数据存储时，对于存储介质也有不同的要求，一些企业为了节省存储成本，会选择成本较低、同时使用寿命也相对较短的存储介质。而使用寿命较短的存储介质一般具有相对较少的读写次数，随着读写次数的增加该存储介质的使用寿命也会随之衰减，因此，如何提供的一种能够保证存储介质正常工作，且降低存储介质的使用寿命衰减速度的方法，成为亟需解决的问题。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理系统，一种数据处理装置，一种计算设备，一种计算机可读存储介质，一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：
[0005]接收数据存储请求，所述数据存储请求中携带有初始待存储数据；
[0006]确定所述初始待存储数据的数据类型，并在确定所述数据类型满足预设缓存条件的情况下，缓存所述初始待存储数据；
[0007]在确定缓存的当前待存储数据满足预设存储条件的情况下，将所述当前待存储数据转换为目标待存储数据，并将所述目标待存储数据存储至第一类型数据存储模块，其中，所述当前待存储数据包括所述初始待存储数据。
[0008]根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：
[0009]接收模块，被配置为接收数据存储请求，所述数据存储请求中携带有初始待存储数据；
[0010]缓存模块，被配置为确定所述初始待存储数据的数据类型，并在确定所述数据类型满足预设缓存条件的情况下，缓存所述初始待存储数据；
[0011]存储模块，被配置为在确定缓存的当前待存储数据满足预设存储条件的情况下，将所述当前待存储数据转换为目标待存储数据，并将所述目标待存储数据存储至第一类型数据存储模块，其中，所述当前待存储数据包括所述初始待存储数据。
[0012]根据本说明书实施例的第三方面，提供了一种数据处理方法，应用于第一类型数据存储模块，包括：
[0013]接收所述目标待存储数据，其中，所述目标待存储数据为上述数据处理方法中的目标待存储数据，所述第一类型数据存储模块为上述数据处理方法中的第一类型数据存储模块；
[0014]为所述目标待存储数据确定对应的初始元数据，并基于所述目标待存储数据的数据格式，为所述目标待存储数据以及对应的元数据确定数据存储单元；
[0015]基于所述数据存储单元的空间大小，将所述初始元数据转换为目标元数据；
[0016]将所述目标待存储数据以及对应的目标元数据，存储至所述数据存储单元。
[0017]根据本说明书实施例的第四方面，提供了一种数据处理装置，应用于第一类型数据存储模块，包括：
[0018]接收模块，被配置为接收所述目标待存储数据，其中，所述目标待存储数据为上述数据处理方法中的目标待存储数据，所述第一类型数据存储模块为上述数据处理方法中的第一类型数据存储模块；
[0019]确定模块，被配置为为所述目标待存储数据确定对应的初始元数据，并基于所述目标待存储数据的数据格式，为所述目标待存储数据以及对应的元数据确定数据存储单元；
[0020]转换模块，被配置为基于所述数据存储单元的空间大小，将所述初始元数据转换为目标元数据；
[0021]存储模块，被配置为将所述目标待存储数据以及对应的目标元数据，存储至所述数据存储单元。
[0022]根据本说明书实施例的第五方面，提供了一种数据处理系统，数据处理模块，第一类型数据存储模块，其中，
[0023]所述数据处理模块，被配置为接收数据存储请求，所述数据存储请求中携带有初始待存储数据；确定所述初始待存储数据的数据类型，并在确定所述数据类型满足预设缓存条件的情况下，缓存所述初始待存储数据；在确定缓存的当前待存储数据满足预设存储条件的情况下，将所述当前待存储数据转换为目标待存储数据，并将所述目标待存储数据发送至第一类型数据存储模块，其中，所述当前待存储数据包括所述初始待存储数据；
[0024]所述第一类型数据存储模块，被配置为接收所述数据处理模块发送的所述目标待存储数据，并对所述目标待存储数据进行存储。
[0025]根据本说明书实施例的第六方面，提供了一种计算设备，包括：
[0026]存储器和处理器；
[0027]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
[0028]根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
[0029]根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。
[0030]本说明书提供的数据处理方法，包括：接收数据存储请求，所述数据存储请求中携带有初始待存储数据；确定所述初始待存储数据的数据类型，并在确定所述数据类型满足预设缓存条件的情况下，缓存所述初始待存储数据；在确定缓存的当前待存储数据满足预设存储条件的情况下，将所述当前待存储数据转换为目标待存储数据，并将所述目标待存储数据存储至第一类型数据存储模块，其中，所述当前待存储数据包括所述初始待存储数据。
[0031]具体地，该方法在接收到初始待存储数据时，会在该初始待存储数据的数据类型满足预设缓存条件的情况下，并不会立刻将初始待存储数据写入到第一类型数据存储模块
中，而是对该初始待存储数据进行缓存处理，从而避免了由于频繁的对第一类型数据存储模块进行数据写入，造成第一类型数据存储模块的使用寿命较短的问题，从而提高了第一类型数据存储模块的使用寿命。并且，在当前待存储数据满足预设存储条件的情况下，将缓存的当前待存储数据写入至第一类型数据存储模块，保证了第一类型数据存储模块进行数据存储工作。从而实现了在保证第一类型数据存储模块正常工作的同时，降低第一类型数据存储模块的使用寿命衰减速度。
附图说明
[0032]图1是本说明书一个实施例提供的一种数据处理系统的结构示意图；
[0033]图2是本说明书一个实施例提供的一种数据处理系统的处理过程流程图；
[0034]图3是本说明书一个实施例提供的一种TLC数据存储格式的示意图；
[0035]图4是本说明书一个实施例提供的一种数据处理系统中QLC的数据存储格式的示意图；
[0036]图5是本说明书一个实施例提供的一种数据处理方法的流程图；
[0037]图6是本说明书一个实施例提供的另一种数据处理方法的流程图；
[0038]图7是本说明书一个实施例提供的一种计算设备的结构框图。
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：接收数据存储请求，所述数据存储请求中携带有初始待存储数据；确定所述初始待存储数据的数据类型，并在确定所述数据类型满足预设缓存条件的情况下，缓存所述初始待存储数据；在确定缓存的当前待存储数据满足预设存储条件的情况下，将所述当前待存储数据转换为目标待存储数据，并将所述目标待存储数据存储至第一类型数据存储模块，其中，所述当前待存储数据包括所述初始待存储数据。2.根据权利要求1所述的数据处理方法，所述缓存所述初始待存储数据之后，还包括：在确定缓存的当前待存储数据不满足所述预设存储条件的情况下，继续执行接收数据存储请求的步骤，直至确定缓存的当前待存储数据满足所述预设存储条件；将所述当前待存储数据转换为目标待存储数据，并将所述目标待存储数据存储至第一类型数据存储模块。3.根据权利要求1所述的数据处理方法，所述确定所述初始待存储数据的数据类型之后，还包括：在确定所述数据类型不满足所述预设缓存条件的情况下，将所述初始待存储数据存储至第二类型数据存储模块。4.根据权利要求3所述的数据处理方法，所述将所述初始待存储数据存储至第二类型数据存储模块，包括：将所述初始待存储数据转换为日志数据，并将所述日志数据存储至所述第二类型数据存储模块的日志文件，以使所述第二类型数据存储模块，基于所述日志文件中的日志数据对所述初始待存储数据进行存储。5.根据权利要求1所述的数据处理方法，所述数据类型包括数据来源；相应地，所述确定所述数据类型满足预设缓存条件，包括：在所述数据来源与预设数据来源为一致的情况下，确定所述数据类型满足预设缓存条件，其中，所述预设数据来源的初始待存储数据需要进行缓存处理。6.根据权利要求1所述的数据处理方法，所述确定缓存的当前待存储数据满足预设存储条件，包括：确定缓存的当前待存储数据的数据大小，并在所述数据大小大于预设缓存阈值的情况下，确定所述缓存的当前待存储数据满足预设存储条件；或者确定缓存的当前待存储数据的缓存时间，并在所述缓存时间大于预设时间阈值的情况下，确定所述缓存的当前待存储数据满足预设存储条件。7.根据权利要求1所述的数据处理方法，所述缓存所述初始待存储数据，包括：将所述初始待存储数据存储至内存；相应地，所述确定缓存的当前待存储数据满足预设存储条件，包括：确定所述内存中的当前待存储数据的内存占用率，并在确定所述内存占用率大于预设比率阈值的情况下，确定所述内存中的当前待存储数据满足预设存储条件。8.根据权利要求1所述的数据处理方法，所述将所述当前待存储数据转换为目标待存储数据，包括：确定所述目标待存储数据对应的数据格式；
基于所述数据格式...

【专利技术属性】
技术研发人员：付万宇，吴忠杰，孔伟康，杜宇，潘再余，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：