分布式文件系统中数据恢复方法及电子设备技术方案

本发明专利技术实施例提供的分布式文件系统中数据恢复方法及电子设备，主PG获取数据恢复任务；从与所述主PG对应的所有副PG中，确定具有数据恢复能力的至少一个第一副PG，以及待恢复数据的第二副PG；从主PG和所述至少一个第一副PG中，确定第一目标PG；控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复。本发明专利技术实施例中可以依靠副PG进行文件副本的数据恢复，无需都依靠主PG对需要恢复文件副本的进行恢复，从而减轻了主PG的工作量，从而不会影响主PG的IO处理速度，提高了集群的IP处理能力。

【技术实现步骤摘要】
分布式文件系统中数据恢复方法及电子设备
本专利技术涉及数据处理
，更具体的说是涉及一种分布式文件系统中数据恢复方法及电子设备。
技术介绍
CEPH为一种开源式分布式文件系统，用于提供块、文件和对象接口服务。CEPH采用多副本机制来保证数据的安全性和高可用性。具体的，多副本机制以PG(PlacementGroup)为单位，其中，PG为数据迁移和改变的最小单位，用于维护CEPH中的用户数据(Object)。一个PG包括一个主PG和多个副PG，分别分布在不同的数据存储设备上(Object-basedStorageDevice，OSD)，OSD是一个独立的数据维护进程，为集群中容易发生故障的进程。当OSD发生故障时，将会导致主PG维护的用户数据和副PG维护的用户数据的副本出现不一致的现象，因此需要进行数据恢复，以保证用户数据以及用户数据的副本的一致性。在进行数据恢复时，主PG先发起peering，进入peering阶段，在peering阶段暂停所有的IO处理，并通过对比主PG和所有副PG的日志，确定出发生故障的OSD所丢失的用户数据；然后，主PG进入恢复阶段，基于未发生异常的PG的日志对发生异常的PG进行数据恢复。由此可见，数据恢复工作由主PG来完成的，这将使得主PG所在OSD的压力比较大，由于在恢复阶段允许进行IO处理，因此主PG的数据恢复工作还会影响其IO处理速度，从而降低集群的IO处理性能。
技术实现思路
有鉴于此，本专利技术提供一种分布式文件系统中数据恢复方法及电子设备，以克服现有技术中由于数据恢复任务和IO读写任务都有主PG负责，导致数据处理速度下降的问题。为实现上述目的，本专利技术提供如下技术方案：一种分布式文件系统中数据恢复方法，所述方法包括：获取数据恢复任务；依据预先存储的主PG对应的文件数据的至少一个文件副本的副PG的路径信息，确定与所述主PG对应的所有副PG；从与所述主PG对应的所有副PG中，确定具有数据恢复能力的至少一个第一副PG，以及待恢复数据的第二副PG；从所述主PG和所述至少一个第一副PG中，确定第一目标PG；控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复。其中，所述控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复包括：将所述主PG对应的第一日志文件与所述第二副PG对应的第二日志文件进行比对；生成包含属于所述第一日志文件且与所述第二日志文件不同内容的数据恢复列表；将所述数据恢复列表发送至所述第一目标PG，以便所述第一目标PG依据所述数据恢复列表对所述第二副PG对应的文件副本进行恢复。其中，所述从所述主PG和所述至少一个第一副PG中，确定第一目标PG包括：获取所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载；将所述主PG和所述至少一个第一副PG中工作负载最小的PG，确定为所述第一目标PG；或，获取所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载；当所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载均大于等于第一预设阈值时，将任一PG确定为所述第一目标PG；或，从所述主PG以及所述至少一个第一副PG中，将任一PG确定为所述第一目标PG。其中，在所述控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复之后，还包括：获取所述第一目标PG的工作负载；当所述第一目标PG的工作负载大于等于第二预设阈值，且所述主PG和所述至少一个第一副PG中第三目标PG的工作负载最小且小于所述第二预设阈值时，获取所述第一目标PG对所述第二副PG对应文件副本的数据恢复进度；将所述数据恢复进度以及所述数据恢复列表发送至所述第三目标PG，以使所述第三目标PG依据所述数据恢复进度以及所述数据恢复列表对所述第二副PG对应文件副本进行恢复。其中，所述从与所述主PG对应的所有副PG中，确定具有数据恢复能力的至少一个第一副PG，以及待恢复数据的第二副PG包括：将所述主PG对应的第一日志文件与每一副PG对应的日志文件进行比对；将日志文件与所述第一日志文件相同的副PG，确定为具有数据恢复能力的第一副PG；将日志文件与所述第一日志文件不相同的副PG，确定为待恢复数据的第二副PG。一种电子设备，包括：存储器，用于存储文本数据、第一数据维护程序以及用于表征所述文件数据对应的至少一个文件副本的第二数据维护程序的路径信息，所述第一数据维护程序包括主PG，所述主PG用于维护所述文本数据与每一所述文本副本相同，每一第二数据维护程序包括副PG，每一副PG用于维护一个或多个文件副本与所述文本数据相同；处理器，用于执行所述第一数据维护程序；所述第一数据维护程序中的主PG具体用于：获取数据恢复任务；依据用于表征所述文件数据对应的至少一个文件副本的第二数据维护程序的路径信息，确定与所述主PG对应的所有副PG；从与所述主PG对应的所有副PG中，确定具有数据恢复能力的至少一个第一副PG，以及待恢复数据的第二副PG；从所述主PG和所述至少一个第一副PG中，确定第一目标PG；控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复。其中，每一第二数据维护程序对应一第二数据维护进程；所述存储器还用于：存储第三数据维护程序；所述处理器在从与所述主PG对应的所有副PG中，确定待恢复数据的第二副PG时，具体用于：当一第二数据维护进程发生故障且预设时间内未恢复正常时，将所述第三数据程序对应的第三数据维护进程确定为发生故障的第二数据维护进程包含的副PG的承载进程；将所述第三数据维护进程中的副PG，确定为所述第二副PG；当一第二数据维护进程发生故障且所述预设时间内恢复正常时，将发生故障的第二数据维护进程包含的副PG，确定为所述第二副PG。其中，所述处理器在控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复时，具体用于：将所述主PG对应的第一日志文件与所述第二副PG对应的第二日志文件进行比对；生成包含属于所述第一日志文件且与所述第二日志文件不同内容的数据恢复列表；将所述数据恢复列表发送至所述第一目标PG，以便所述第一目标PG依据所述数据恢复列表对所述第二副PG对应的文件副本进行恢复。其中，所述处理器在从所述主PG和所述至少一个第一副PG中，确定第一目标PG时，具体用于：获取所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载；将所述主PG和所述至少一个第一副PG中工作负载最小的PG，确定为所述第一目标PG；或，获取所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载；当所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载均大于等于第一预设阈值时，将任一PG确定为所述第一目标PG；或，从所述主PG以及所述至少一个第一副PG中，将任一PG确定为所述第一目标PG。其中，所述处理器在所述控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复之后，还包括：获取所述第一目标PG的工作负载；当所述第一目标PG的工作负载大于等于第二预设阈值，且所述主PG和所述至少一个第一副PG中第三目标PG的工作负载最小且小于所述第二预设阈值时，获取所述第一目标PG对所述第二副PG对应文件副本的数据恢复进度；将所述数据恢复进度以及所述数据恢复列表发送至所述第三目标PG，以使所述第三目标PG依据所述数据恢复进度本文档来自技高网...

【技术保护点】
一种分布式文件系统中数据恢复方法，其特征在于，所述方法包括：获取数据恢复任务；依据预先存储的主PG对应的文件数据的至少一个文件副本的副PG的路径信息，确定与所述主PG对应的所有副PG；从与所述主PG对应的所有副PG中，确定具有数据恢复能力的至少一个第一副PG，以及待恢复数据的第二副PG；从所述主PG和所述至少一个第一副PG中，确定第一目标PG；控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复。

【技术特征摘要】
1.一种分布式文件系统中数据恢复方法，其特征在于，所述方法包括：获取数据恢复任务；依据预先存储的主PG对应的文件数据的至少一个文件副本的副PG的路径信息，确定与所述主PG对应的所有副PG；从与所述主PG对应的所有副PG中，确定具有数据恢复能力的至少一个第一副PG，以及待恢复数据的第二副PG；从所述主PG和所述至少一个第一副PG中，确定第一目标PG；控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复。2.根据权利要求1所述分布式文件系统中数据恢复方法，其特征在于，所述控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复包括：将所述主PG对应的第一日志文件与所述第二副PG对应的第二日志文件进行比对；生成包含属于所述第一日志文件且与所述第二日志文件不同内容的数据恢复列表；将所述数据恢复列表发送至所述第一目标PG，以便所述第一目标PG依据所述数据恢复列表对所述第二副PG对应的文件副本进行恢复。3.根据权利要求1所述分布式文件系统中数据恢复方法，其特征在于，所述从所述主PG和所述至少一个第一副PG中，确定第一目标PG包括：获取所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载；将所述主PG和所述至少一个第一副PG中工作负载最小的PG，确定为所述第一目标PG；或，获取所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载；当所述主PG的工作负载以及所述至少一个第一副PG相应的工作负载均大于等于第一预设阈值时，将任一PG确定为所述第一目标PG；或，从所述主PG以及所述至少一个第一副PG中，将任一PG确定为所述第一目标PG。4.根据权利要求1所述分布式文件系统中数据恢复方法，其特征在于，在所述控制所述第一目标PG对所述第二副PG对应的文件副本进行恢复之后，还包括：获取所述第一目标PG的工作负载；当所述第一目标PG的工作负载大于等于第二预设阈值，且所述主PG和所述至少一个第一副PG中第三目标PG的工作负载最小且小于所述第二预设阈值时，获取所述第一目标PG对所述第二副PG对应文件副本的数据恢复进度；将所述数据恢复进度以及所述数据恢复列表发送至所述第三目标PG，以使所述第三目标PG依据所述数据恢复进度以及所述数据恢复列表对所述第二副PG对应文件副本进行恢复。5.根据权利要求1所述分布式文件系统中数据恢复方法，其特征在于，所述从与所述主PG对应的所有副PG中，确定具有数据恢复能力的至少一个第一副PG，以及待恢复数据的第二副PG包括：将所述主PG对应的第一日志文件与每一副PG对应的日志文件进行比对；将日志文件与所述第一日志文件相同的副PG，确定为具有数据恢复能力的第一副PG；将日志文件与所述第一日志文件不相同的副PG，确定为待恢复数据的第二副PG。6.一种电子设备，其特征在于，包括：存储器，用于存储文本数据、第一数据维护程序以及用于表征所述文件数据对应的至少一个文件副本的第二数据维护程序的路径信息，所述第一数据维护程序包括主PG，所述主PG用于维护所述文本数据与每一所述文本副本相同...

【专利技术属性】
技术研发人员：温利娟，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11