一种基于对象存储的数据迁移方法和服务器技术

本发明专利技术涉及存储技术领域，公开了一种基于对象存储的数据迁移方法和服务器。方法包括：创建存储池，将源存储系统挂载到目标存储系统；将源存储系统中文件的元数据写入目标存储系统；根据写入的元数据以及预先设置的数据迁移规则将源存储系统中文件的数据迁移至目标存储系统，不但能够提高数据迁移效率，而且能够降低出错概率。够降低出错概率。够降低出错概率。

【技术实现步骤摘要】
一种基于对象存储的数据迁移方法和服务器


[0001]本专利技术涉及存储
，特别是涉及一种基于对象存储的数据迁移方法和服务器。

技术介绍

[0002]在信息化建设过程中，随着技术的发展，原有信息系统不断被功能更强大的新系统所取代。对于原有信息系统中的数据则需要迁移到新系统，数据迁移是数据系统整合中保证系统平滑升级和更新的关键部分。
[0003]传统的数据迁移方法分为两种，一种为通过工具迁移，另一种为通过手工录入。工具迁移根据实际情况，开发出一个迁移工具，通过该工具将系统A中的数据抽取后并做转换，使得系统B能够识别出系统A的数据。然后在将转换后的数据写入系统B中，从而达到数据迁移的目的。但该方法有一个明显的缺点：工具的开发往往需要根据系统A中数据的具体形态做特殊的开发，开发出的工具存在种种局限性。
[0004]而传统的手工录入主要有运维人员参与，将存储系统A中数据手工导出，然后再手工导入到系统B中。该方法对系统A中原有数据没有特殊要求，只要能够导出即可。但是该方法需要投入大量的人力、物力，同时也极易出错。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种基于对象存储的数据迁移方法和服务器，不但能够提高数据迁移效率，而且能够降低出错概率。
[0006]第一方面，本专利技术实施例提供了一种基于对象存储的数据迁移方法，所述方法包括：
[0007]创建存储池，将源存储系统挂载到目标存储系统；
[0008]将所述源存储系统中文件的元数据写入所述目标存储系统；
[0009]根据写入的所述元数据以及预先设置的数据迁移规则将所述源存储系统中文件的数据迁移至所述目标存储系统。
[0010]在一些实施例中，所述将所述源存储系统中文件的元数据写入所述目标存储系统，包括：
[0011]获取所述源存储系统的目录结构和文件数量；
[0012]根据所述文件数量和所述目录结构分配N个工作线程，其中，N为大于等于1的整数；
[0013]通过所述工作线程获取所述源存储系统中文件的元数据；
[0014]通过所述工作线程将所述源存储系统中文件的元数据写入所述目标存储系统。
[0015]在一些实施例中，所述将所述源存储系统中文件的元数据写入所述目标存储系统之后，所述方法还包括：
[0016]判断所述文件的元数据是否写入成功；
[0017]若所述文件的元数据写入失败，则将文件添加至失败链表；
[0018]判断分配的文件是否全部处理完成；
[0019]若分配的文件未全部处理完成，则执行通过所述工作线程获取所述源存储系统中文件的元数据的步骤；
[0020]若分配的文件全部处理完成，则判断是否还有需要分配的目录；
[0021]若还有需要分配的目录，则执行根据所述文件数量和所述目录结构分配N个工作线程的步骤；
[0022]若没有需要分配的目录，则处理所述失败链表中的文件。
[0023]在一些实施例中，所述方法还包括：
[0024]若所述文件的元数据写入成功，则执行判断分配的文件是否全部处理完成的步骤。
[0025]在一些实施例中，所述根据写入的所述元数据以及预先设置的数据迁移规则将所述源存储系统中文件的数据迁移至所述目标存储系统，包括：
[0026]获取文件的元数据，其中，所述元数据携带有文件的存储类型；
[0027]根据所述文件的元数据判断所述文件是否为非目标存储类型；
[0028]若为是，则从所述元数据中获取文件信息，其中，所述文件信息包括文件的名称、大小以及路径；
[0029]根据所述文件信息获取文件的数据；
[0030]将所述文件的数据写入所述目标存储系统。
[0031]在一些实施例中，所述将所述文件的数据写入所述目标存储系统之后，所述方法还包括：
[0032]判断所述文件的数据是否写入成功；
[0033]若为是，则更新文件的元数据；
[0034]若为否，则重试；
[0035]若重试失败，则给出提示信息。
[0036]在一些实施例中，所述更新文件的元数据包括：
[0037]将所述文件类型修改为目标存储类型；以及，
[0038]删除文件在源存储系统中的路径。
[0039]在一些实施例中，所述方法还包括：
[0040]获取读取文件请求；
[0041]根据所述请求获取文件的元数据；
[0042]根据所述文件的元数据确定文件的存储类型；
[0043]根据所述文件的存储类型读取数据；
[0044]将所述数据返回给客户端。
[0045]在一些实施例中，所述根据所述文件的元数据确定文件的存储类型，包括：
[0046]根据所述文件的元数据判断文件的存储类型，其中，所述文件的存储类型包括目标存储类型和非目标存储类型；
[0047]若所述文件的存储类型为目标存储类型，则从所述目标存储系统中读取文件的数据；
[0048]若所述文件的存储类型为非目标存储类型，则根据所述文件的元数据确定文件在源存储系统中的绝对路径；
[0049]根据所述文件的绝对路径从所述源存储系统中读取文件的数据。
[0050]第二方面，本专利技术实施例还通过了一种服务器，包括：
[0051]至少一个处理器；以及，
[0052]与所述至少一个处理器通信连接的存储器；其中，
[0053]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法步骤。
[0054]与现有技术相比，本专利技术的有益效果是：区别于现有技术的情况，本专利技术实施例中的基于对象存储的数据迁移方法和服务器，通过创建存储池，将源存储系统挂载到目标存储系统，然后将所述源存储系统中文件的元数据写入所述目标存储系统，接着根据写入的所述元数据以及预先设置的数据迁移规则将所述源存储系统中文件的数据迁移至目标存储系统，不但能够提高数据迁移效率，而且能够降低出错概率。
附图说明
[0055]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0056]图1是本专利技术一个实施例中基于对象存储的数据迁移方法的应用场景示意图；
[0057]图2是本专利技术一个实施例中基于对象存储的数据迁移方法的流程示意图；
[0058]图3是本专利技术一个实施例中将元数据写入目标存储系统的流程示意图；
[0059]图4是本专利技术一个实施例中将数据迁移至目标存储系统的流程示意图；
[0060]图5是本专利技术一个实施例中判断元数据是否写入成功的流程示意图；
[0061]图6是本专利技术一个实施例中获取文件数据的流程示意图；
[0062]图7是本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对象存储的数据迁移方法，其特征在于，所述方法包括：创建存储池，将源存储系统挂载到目标存储系统；将所述源存储系统中文件的元数据写入所述目标存储系统；根据写入的所述元数据以及预先设置的数据迁移规则将所述源存储系统中文件的数据迁移至所述目标存储系统。2.根据权利要求1所述的方法，其特征在于，所述将所述源存储系统中文件的元数据写入所述目标存储系统，包括：获取所述源存储系统的目录结构和文件数量；根据所述文件数量和所述目录结构分配N个工作线程，其中，N为大于等于1的整数；通过所述工作线程获取所述源存储系统中文件的元数据；通过所述工作线程将所述源存储系统中文件的元数据写入所述目标存储系统。3.根据权利要求2所述的方法，其特征在于，所述将所述源存储系统中文件的元数据写入所述目标存储系统之后，所述方法还包括：判断所述文件的元数据是否写入成功；若所述文件的元数据写入失败，则将文件添加至失败链表；判断分配的文件是否全部处理完成；若分配的文件未全部处理完成，则执行通过所述工作线程获取所述源存储系统中文件的元数据的步骤；若分配的文件全部处理完成，则判断是否还有需要分配的目录；若还有需要分配的目录，则执行根据所述文件数量和所述目录结构分配N个工作线程的步骤；若没有需要分配的目录，则处理所述失败链表中的文件。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若所述文件的元数据写入成功，则执行判断分配的文件是否全部处理完成的步骤。5.根据权利要求4所述的方法，其特征在于，所述根据写入的所述元数据以及预先设置的数据迁移规则将所述源存储系统中文件的数据迁移至所述目标存储系统，包括：获取文件的元数据，其中，所述元数据携带有文件的存储类型；根据所述文件的元数据判断所...

【专利技术属性】
技术研发人员：陈坚，王东，梁欣鑫，
申请(专利权)人：深圳市杉岩数据技术有限公司，
类型：发明
国别省市：