数据处理方法以及装置制造方法及图纸

本说明书实施例提供一种数据处理方法以及装置，其中所述数据处理方法包括：接收快照准备指令以及快照生成序号；在确定存在数据写入指令的情况下，获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号；根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备；在确定所述当前数据写入序号、与所述快照生成序号匹配的情况下，对所述目标存储设备中的数据进行数据处理。通过接收快照生成序号，在进行数据写入的情况下获取待写入数据对应的当前数据写入序号，在当前数据写入序号为快照生成序号的情况下，对目标磁盘中的数据进行处理。由于在获取到当前数据写入序号后，取消了对序号查询的过程，所以缩短了数据处理的时间。了数据处理的时间。了数据处理的时间。

【技术实现步骤摘要】
数据处理方法以及装置


[0001]本说明书实施例涉及计算机
，特别涉及一种数据处理方法。

技术介绍

[0002]越来越多的企业已经把业务迁移到云计算平台，相应的数据备份的需求在云计算中也越来越多。对于承载重要数据的磁盘组，用户会制定周期性的磁盘组快照计划，在后续灾难发生时将数据恢复回来，保证关键业务的连续性。
[0003]在LSBD(log structured block device，日志结构块设备)现有的磁盘组一致性快照算法中，快照分为准备(prepare)、查询(query)和提交(commit)三个阶段。准备阶段，控制端向每个云盘发起prepare，所有云盘进入prepare阶段，从此阶段开始，对云盘发起的每个写IO操作都会向同一个发号器取得一个全局单调递增的序号来给IO定序。查询阶段，查询每个云盘当前的最大序号，进行比较，得到当前全局最大的序号，作为快照提交截止点。提交阶段，使用最大序号向每个云盘发起commit，此时云盘停止取号，将prepare开始后对IO序号进行遍历，比较IO序号和最大序号，小于等于最大序号的IO打入快照中。但是，当前的磁盘组快照通过向发号器取得一个全局单调递增的序号保证一致性，随着云盘数量的增多，取号的时间显著增加，可能达到数秒钟，快照创建时间和取号导致的IO毛刺的持续时间也随之增加。

技术实现思路

[0004]有鉴于此，本说明书实施例提供了两种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：
[0006]接收快照准备指令以及快照生成序号；
[0007]在确定存在数据写入指令的情况下，获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号；
[0008]根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备；
[0009]在确定所述当前数据写入序号、与所述快照生成序号匹配的情况下，对所述目标存储设备中的数据进行数据处理。
[0010]根据本说明书实施例的第二方面，提供了一种数据处理方法，应用于数据处理系统，所述系统包括数据存储模块、数据控制模块，其中，所述方法包括：
[0011]数据控制模块，在接收到快照创建请求的情况下，确定目标序号分发节点，并向所述目标序号分发节点发送第一数据写入序号，以及
[0012]向所述数据存储模块发送快照准备指令以及快照生成序号，并根据所述第一数据写入序号向所述目标序号分发节点发送第二数据写入序号；
[0013]所述数据存储模块，在接收到数据写入指令的情况下，从所述目标序号分发节点
获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号，其中，所述当前数据写入序号为所述第一数据写入序号或所述第二数据写入序号，
[0014]根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备，并在确定所述当前数据写入序号、与所述快照生成序号匹配的情况下，对所述目标存储设备中的数据进行数据处理。
[0015]根据本说明书实施例的第三方面，提供了一种数据处理系统，包括数据存储模块、数据控制模块；
[0016]数据控制模块，被配置为在接收到快照创建请求的情况下，确定目标序号分发节点，并向所述目标序号分发节点发送第一数据写入序号，以及
[0017]向所述数据存储模块发送快照准备指令以及快照生成序号，并根据所述第一数据写入序号向所述目标序号分发节点发送第二数据写入序号；
[0018]所述数据存储模块，被配置为在接收到数据写入指令的情况下，从所述目标序号分发节点获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号，其中，所述当前数据写入序号为所述第一数据写入序号或所述第二数据写入序号，
[0019]根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备，并在确定所述当前数据写入序号、与所述快照生成序号匹配的情况下，对所述目标存储设备中的数据进行数据处理。
[0020]根据本说明书实施例的第四方面，提供了一种数据处理装置，包括：
[0021]数据获取模块，被配置为接收数据快照生成命令以及快照生成序号；
[0022]取号模块，被配置为在确定存在数据写入指令的情况下，获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号；
[0023]数据写入模块，被配置为根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备；
[0024]确定模块，被配置为在确定所述目标存储设备的所述当前数据写入序号、与所述快照生成序号匹配的情况下，对所述目标存储设备中的数据进行数据处理。
[0025]根据本说明书实施例的第五方面，提供了一种计算设备，包括：
[0026]存储器和处理器；
[0027]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
[0028]根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据处理方法的步骤。
[0029]根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。
[0030]本说明书实施例提供一种数据处理方法以及装置，其中所述数据处理方法包括：接收快照准备指令以及快照生成序号；在确定存在数据写入指令的情况下，获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号；根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备；在确定所述当前数据写入序号、与所述快照生成序号匹配的情况下，对所述目标存储设备中的数据进行数据处理。通过接收快照生成序号，在进行数据写入的情况下获取待写入数据对应的当前数据写入序号，在当前数据写
入序号为快照生成序号的情况下，对目标磁盘中的数据进行处理。由于在获取到当前数据写入序号后，取消了对序号查询的过程，所以缩短了数据处理的时间。
附图说明
[0031]图1是本说明书一个实施例提供的一种数据处理方法的流程图；
[0032]图2是本说明书一个实施例提供的一种数据处理方法的目标存储设备示意图；
[0033]图3是本说明书一个实施例提供的一种数据处理方法的打快照示意图；
[0034]图4是本说明书一个实施例提供的另一种数据处理方法的流程图；
[0035]图5是本说明书一个实施例提供的一种数据处理方法的示意图；
[0036]图6是本说明书一个实施例提供的一种数据处理装置的结构示意图；
[0037]图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：接收快照准备指令以及快照生成序号；在确定存在数据写入指令的情况下，获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号；根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备；在确定所述当前数据写入序号、与所述快照生成序号匹配的情况下，对所述目标存储设备中的数据进行数据处理。2.根据权利要求1所述的方法，所述获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号，包括：根据所述快照准备命令中携带的节点信息，确定目标序号分发节点；从所述目标序号分发节点中，获取所述数据写入指令中携带的待写入数据对应的所述当前数据写入序号。3.根据权利要求1所述的方法，所述根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备之后，还包括：确定所述待写入数据在所述目标存储设备中的数据存储位置；根据所述数据存储位置，生成所述待写入数据的索引数据；将所述待写入数据的索引数据写入所述目标存储设备。4.根据权利要求1所述的方法，所述对所述目标存储设备中的数据进行数据处理，包括：确定所述目标存储设备中与所述当前数据写入序号不同的历史数据写入序号；确定历史备份数据以及所述历史备份数据对应的备份数据写入序号；根据所述历史数据写入序号以及所述备份数据写入序号，确定待备份数据写入序号；根据所述待备份数据写入序号确定目标备份数据，并对所述目标备份数据进行快照处理。5.根据权利要求1所述的方法，所述对所述目标存储设备中的数据进行数据处理，包括：确定所述目标存储设备中与所述当前数据写入序号不同的历史数据写入序号；根据所述历史数据写入序号，确定目标备份数据，对所述目标备份数据进行快照处理。6.根据权利要求4或5所述的方法，所述对所述目标备份数据进行快照处理，包括：确定所述目标备份数据在所述目标存储设备中的存储位置；将所述目标备份数据从目标存储设备的存储位置复制至备份存储设备，并确定所述待备份数据在所述备份存储设备中的位置信息；根据所述位置信息生成所述目标备份数据的索引数据；将所述目标备份数据的索引数据写入所述备份存储设备。7.根据权利要求1所述的方法，所述根据所述当前数据写入序号，将所述待写入数据写入对应的目标存储设备之后，还包括：在确定所述当前数据写入序号、与所述快照生成序号不匹配的情况下，响应于快照确认指令，对所述目标存储设备中的数据进行数据处理。8.一种数据处理方法，应用于数据处理系统，所述系统包括数据存储模块、数据控制模
块，其中，所述方法包括：数据控制模块，在接收到快照创建请求的情况下，确定目标序号分发节点，并向所述目标序号分发节点发送第一数据写入序号，以及向所述数据存储模块发送快照准备指令以及快照生成序号，并根据所述第一数据写入序号向所述目标序号分发节点发送第二数据写入序号；所述数据存储模块，在接收到数据写入指令的情况下，从所述目标序号分发节点获取与所述数据写入指令中携带的待写入数据对应的当前数据写入序号，其中，所述当前数据写入序号为所述第一数据写入序号或所述第二数据写入序号，根据所述当前数据写入序号，将所述待写入数据写入对应的目标存...

【专利技术属性】
技术研发人员：施伟强，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：