一种数据一致性维护方法、装置及设备制造方法及图纸

本发明专利技术提供一种数据一致性维护方法、装置及设备，该方法包括：接收存储节点全量上报的zone的元数据，并获取ZG缓存中的ZG的元数据；根据各zone所属的ZG，在ZG的元数据中查找对应ZG中是否包括对应zone，并确定未查到的第一zone；根据所述至少一个ZG中所包括的zone，在所述zone的元数据中检查是否能查到所述所包括的zone，并确定未查到的第二zone；更新ZG的元数据，以在ZG缓存中将所述第一zone增加到第一ZG中，及将所述第二zone从对应的ZG中删除，保证了管理节点和数据节点数据实时一致性和正确性。正确性。正确性。

【技术实现步骤摘要】
一种数据一致性维护方法、装置及设备


[0001]本专利技术涉及分布式对象存储
，尤其涉及一种数据一致性维护方法、装置及设备。

技术介绍

[0002]SMR(叠瓦式磁记录)是一种领先的下一代磁盘技术，相邻磁道之间按序部分重叠，能提高单位存储介质的存储密度，降低存储成本。正是由于SMR磁盘上面物理上的特点，导致了它的读行为虽然与普通HDD(Hard Disk Drive，硬盘驱动器)机械硬盘无异，但是它的写行为却有着巨大的变化，它不支持随机写和原地更新写，因为这样会导致相重叠磁道数据被覆盖。因此SMR磁盘仅支持从头到尾的顺序写入。
[0003]SMR磁盘将磁道划分为多个带(Band)，即连续磁道所构成的壳连续写入的区域，每个区域成为一个需要顺序写入的基本单元。Band是SMR磁盘物理概念，对应的逻辑概念称为“区域”(zone)，一个zone的大小为256MB。
[0004]由于SMR磁盘在价格上有着无法规避的优势，但如何实现SMR磁盘上zone的管理进行数据写入，和所有系统所有zone信息在管理节点元数据的构建和维护，负载均衡、空间的复用，zone的恢复等都有着巨大的挑战。

技术实现思路

[0005]本专利技术提供了一种数据一致性维护方法，用于解决数据不一致问题。
[0006]第一方面，本专利技术提供一种数据一致性维护方法，该方法包括：
[0007]接收存储节点全量上报的zone的元数据，并获取ZG缓存中的ZG的元数据，所述zone的元数据包括各zone所属ZG，所述ZG的元数据用于记录至少一个ZG所包括的zone；
[0008]根据各zone所属的ZG，在ZG的元数据中查找对应ZG中是否包括对应zone，并确定未查到的第一zone；
[0009]根据所述至少一个ZG中所包括的zone，在所述zone的元数据中检查是否能查到所述所包括的zone，并确定未查到的第二zone；
[0010]更新ZG的元数据，以在ZG缓存中将所述第一zone增加到第一ZG中，及将所述第二zone从对应的ZG中删除，所述第一ZG为根据所述元数据确定的第一zone所属的ZG。
[0011]在一种可能实现的方式中，该方法还包括：
[0012]响应于数据写入指令，根据所述ZG的元数据，选择zone数量与对象的对象分片数量一致的ZG作为目标ZG；
[0013]指示目标ZG中目标zone所在存储节点写入对应的对象分片，并接收对应的存储节点将对应的对象分片分别写入目标zone后，上报的目标zone的元数据，根据上报的目标zone的元数据更新ZG的元数据；或者
[0014]响应于数据删除指令，根据所述ZG的元数据，确定待删除的对象所在的目标ZG；
[0015]指示目标ZG中目标zone所在存储节点删除对应的对象分片，并接收对应的存储节
点将对应的对象分片从目标zone删除后，上报的目标zone的元数据，根据上报的目标zone的元数据更新ZG的元数据。
[0016]在一种可能实现的方式中，所述zone的元数据还包括zone数据存储信息，所述ZG的元数据还包括zone数据存储信息，接收存储节点全量上报的zone的元数据，并获取ZG缓存中的ZG的元数据之后，还包括：
[0017]根据各zone所属的ZG，在ZG的元数据中查找对应ZG中包括对应的zone时，或者，根据所述各ZG中所包括的zone，在所述zone的元数据中查到对应zone时，确定查到的zone在所述zone的元数据和ZG的元数据中的zone数据存储信息是否一致；
[0018]确定不一致时，更新所述ZG的元数据，以将所述ZG的元数据中对应zone数据存储信息，更新为所述zone的元数据中对应zone数据存储信息。
[0019]在一种可能实现的方式中，该方法还包括：
[0020]更新所述ZG的元数据时，记录更新所述ZG的元数据所执行的操作，生成操作日志信息并存入日志文件；
[0021]确定所述日志文件中的数据量到达设定阈值或所述日志文件到达设定周期，将所述日志文件序列化压缩存储为元数据镜像文件，其中，在序列化压缩存储过程中根据所述日志文件中记录的操作日志生成对应的ZG的元数据。
[0022]在一种可能实现的方式中，该方法还包括：
[0023]响应于ZG的元数据恢复指令，确定仅存在元数据镜像文件时，对所述元数据镜像文件进行解析，并利用所述元数据镜像文件中存储的ZG的元数据进行数据恢复；
[0024]确定仅存在未存储为元数据镜像文件的新日志文件时，对所述新日志文件进行解析，根据所述新日志文件中存储的操作日志，生成对应的ZG的元数据；
[0025]确定同时存在元数据镜像文件和新日志文件时，对所述元数据镜像文件进行解析，利用所述元数据镜像文件中存储的ZG的元数据进行数据恢复，得到当前ZG的元数据，并对所述新日志文件进行解析，根据所述新日志文件中存储的操作日志，对所述当前ZG的元数据进行更新。
[0026]在一种可能实现的方式中，记录更新所述ZG的元数据所执行的操作，生成操作日志信息并存入日志文件时，还包括：
[0027]将所述日志文件序列化压缩发送给备机管理节点，以使备机管理节点在未存储ZG元数据时，根据解析所述日志文件后获取的操作日志，在内存中生成ZG元数据，或者，在存储ZG元数据时，根据解析所述日志文件后获取的操作日志，更新所述ZG元数据。
[0028]在一种可能实现的方式中，更新ZG的元数据，以在ZG缓存中将所述第一zone增加到第一ZG中时，还包括：
[0029]生成记录所述第一zone与对应的存储节点的对应关系的关联信息，并将所述关联信息存入ZG的元数据中。
[0030]在一种可能实现的方式中，该方法还包括：
[0031]确定存储节点被删除时，根据所述存储节点的标识，在ZG的元数据中删除属于所述存储节点的zone对应的元数据。
[0032]在一种可能实现的方式中，该方法还包括：
[0033]确定存储节点离线时，根据所述存储节点的标识，在ZG的元数据中查找与所述存
储节点的标识相匹配的zone对应的元数据，并将找到的zone对应元数据中的zone状态更新为离线状态。
[0034]第二方面，本专利技术提供一种数据一致性维护装置，该装置包括：
[0035]元数据获取模块，用于接收存储节点全量上报的zone的元数据，并获取ZG缓存中的ZG的元数据，所述zone的元数据包括各zone所属ZG，所述ZG的元数据用于记录至少一个ZG所包括的zone；
[0036]第一zone获取模块，用于根据各zone所属的ZG，在ZG的元数据中查找对应ZG中是否包括对应zone，并确定未查到的第一zone；
[0037]第二zone获取模块，用于根据所述至少一个ZG中所包括的zone，在所述zone的元数据中检查是否能查到所述所包括的zone，并确定未查到的第二zone；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据一致性维护方法，其特征在于，该方法包括：接收存储节点全量上报的zone的元数据，并获取ZG缓存中的ZG的元数据，所述zone的元数据包括各zone所属ZG，所述ZG的元数据用于记录至少一个ZG所包括的zone；根据各zone所属的ZG，在ZG的元数据中查找对应ZG中是否包括对应zone，并确定未查到的第一zone；根据所述至少一个ZG中所包括的zone，在所述zone的元数据中检查是否能查到所述所包括的zone，并确定未查到的第二zone；更新ZG的元数据，以在ZG缓存中将所述第一zone增加到第一ZG中，及将所述第二zone从对应的ZG中删除，所述第一ZG为根据所述元数据确定的第一zone所属的ZG。2.根据权利要求1所述的方法，其特征在于，还包括：响应于数据写入指令，根据所述ZG的元数据，选择zone数量与对象的对象分片数量一致的ZG作为目标ZG；指示目标ZG中目标zone所在存储节点写入对应的对象分片，并接收对应的存储节点将对应的对象分片分别写入目标zone后，上报的目标zone的元数据，根据上报的目标zone的元数据更新ZG的元数据；或者响应于数据删除指令，根据所述ZG的元数据，确定待删除的对象所在的目标ZG；指示目标ZG中目标zone所在存储节点删除对应的对象分片，并接收对应的存储节点将对应的对象分片从目标zone删除后，上报的目标zone的元数据，根据上报的目标zone的元数据更新ZG的元数据。3.根据权利要求1所述的方法，其特征在于，所述zone的元数据还包括zone数据存储信息，所述ZG的元数据还包括zone数据存储信息，接收存储节点全量上报的zone的元数据，并获取ZG缓存中的ZG的元数据之后，还包括：根据各zone所属的ZG，在ZG的元数据中查找对应ZG中包括对应的zone时，或者，根据所述各ZG中所包括的zone，在所述zone的元数据中查到对应zone时，确定查到的zone在所述zone的元数据和ZG的元数据中的zone数据存储信息是否一致；确定不一致时，更新所述ZG的元数据，以将所述ZG的元数据中对应zone数据存储信息，更新为所述zone的元数据中对应zone数据存储信息。4.根据权利要求1～3任一所述的方法，其特征在于，还包括：更新所述ZG的元数据时，记录更新所述ZG的元数据所执行的操作，生成操作日志信息并存入日志文件；确定所述日志文件中的数据量到达设定阈值或所述日志文件到达设定周期，将所述日志文件序列化压缩存储为元数据镜像文件，其中，在序列化压缩存储过程中根据所述日志文件中记录的操作日志生成对应的ZG的元数据。5.根据权利要求4所述的方法，其特征在于，还包括：响应于ZG的元数据恢复指令，确定仅存在元数据镜像文件时，对所述元数据镜像文件进行解析，并利用所述元数据镜像文件中存储的ZG的元数据进行数据恢复...

【专利技术属性】
技术研发人员：徐涛，罗心，江文龙，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：