【技术实现步骤摘要】
本专利技术涉及区块链，尤其是涉及一种cephfs文件系统和对象存储系统间的数据对接方法及装置。
技术介绍
1、随着大数据时代的来临，分布式存储系统cephfs能够提供统一、灵活且高度可扩展的存储服务。cephfs因其出色的扩展性、高可用性和高性能在企业级存储解决方案中占据重要地位。然而，尽管cephfs具备数据冗余机制，但分布式存储系统cephfs也有长期的数据归档需求，仅仅依赖于cephfs的快照功能可能无法满足要求。
2、现有的数据备份手段往往未能充分利用云存储系统尤其是对象存储系统的优势，例如，对象存储系统具有近乎无限的容量扩展性、灵活的访问控制以及较低的存储成本的优点。因此有必要设计一种能够实现对接cephfs和对象存储系统的方案，实现将cephfs文件备份到对象存储系统，甚至将对象存储系统中备份的对象恢复到cephfs中。
技术实现思路
1、针对以上至少一个技术问题，本专利技术实施例提供一种cephfs文件系统和对象存储系统间的数据对接方法及装置。
2、第一方面，本专利技术实施例提供的cephfs文件系统和对象存储系统间的数据对接方法包括：
3、对cephfs文件系统创建对应的cephfs快照，以捕捉所述cephfs文件系统在快照时刻的所有文件数据；
4、确定备份组数量；
5、若所述cephfs文件系统为首次备份，则将所述cephfs文件系统中每一个文件的唯一标识号对所述备份组数量进行取余计算，得到该文件对应的余
6、根据所述cephfs文件系统中每一个文件对应的余数，将该文件划分到对应的备份组中；
7、为每一个备份组单独分配一个tar打包进程，并由所述tar打包进程对所对应的备份组进行打包，得到所对应的备份组的tar包；
8、将各个tar包传输到linux管道文件中进行临时存储；
9、从所述linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储。
10、在一个实施例中，所述方法还包括：
11、在每一次执行完备份操作后，记录所述cephfs文件系统中所有文件的最后修改时间；
12、根据所述cephfs文件系统中所有文件的最后修改时间，生成文件列表对象，并将所述文件列表对象上传到所述对象存储系统中进行存储。
13、在一个实施例中，所述方法还包括：
14、若所述cephfs文件系统为非首次备份，获取上一次执行完备份操作后上传到所述对象存储系统中的文件列表对象；
15、将针对本次备份所创建的cephfs快照中各个文件的文件修改时间和所述文件列表对象中各个文件的最后修改时间进行对比；
16、根据对比结果，识别出所述cephfs文件系统中发生变化或者增加的文件，将发生变化或者增加的文件作为增量备份的文件；
17、将每一个增量备份的文件的唯一标识号对所述备份组数量进行取余计算，得到该文件对应的余数；根据每一个增量备份的文件对应的余数，将该文件划分到对应的备份组中。
18、在一个实施例中，所述从所述linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储，包括：
19、确定所述对象存储系统的单个对象限制大小；
20、当从所述linux管道文件中读取到一个tar包时，判断该tar包是否大于等于所述单个对象限制大小；
21、若是，则将该tar包进行切片处理，得到多个切片，每一个切片的大小小于所述单个对象限制大小，将该tar包对应的各个切片逐个的上传到所述对象存储系统中，且每一个切片在所述对象存储系统中作为一个对象进行存储。
22、在一个实施例中，所述从所述linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储，还包括：
23、若读取到的tar包小于所述单个对象限制大小，则将该tar包上传到所述对象存储系统中，且该tar包在所述对象存储系统中作为一个对象进行存储。
24、在一个实施例中，在所述对象存储系统中维护元数据对象，所述元数据对象中存储各个对象各自的存储位置所对应的索引。
25、在一个实施例中，所述方法还包括：
26、在接收到用户发起的数据恢复请求时，获取所述元数据对象；
27、根据所述元数据对象，从所述对象存储系统中下载对象，并将下载的各个对象在所述linux管道文件中进行临时存储；
28、为所述linux管道文件中的每一个对象分配一个tar解压进程，由所述tar解压进程对所对应的对象进行解压缩，得到所对应的对象的解压文件，并将所述解压文件输出到所述cephfs文件系统中进行存储。
29、根据第二方面，本专利技术实施例提供的cephfs文件系统和对象存储系统间的数据对接装置包括：
30、快照创建模块，用于对cephfs文件系统创建对应的cephfs快照，以捕捉所述cephfs文件系统在快照时刻的所有文件数据；
31、数量确定模块，用于确定备份组数量；
32、标识取余模块，用于若所述cephfs文件系统为首次备份，则将所述cephfs文件系统中每一个文件的唯一标识号对所述备份组数量进行取余计算，得到该文件对应的余数；
33、文件分组模块，用于根据所述cephfs文件系统中每一个文件对应的余数，将该文件划分到对应的备份组中；
34、第一分配模块，用于为每一个备份组单独分配一个tar打包进程，并由所述tar打包进程对所对应的备份组进行打包，得到所对应的备份组的tar包；
35、临时存储模块，用于将各个tar包传输到linux管道文件中进行临时存储；
36、数据上传模块，用于从所述linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储。
37、根据第三方面，本专利技术实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
38、根据第四方面，本专利技术实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
39、本专利技术实施例提供的cephfs文件系统和对象存储系统间的数据对接方法及装置，对cephfs文件系统创建对应的cephfs快照，然后对所述cephfs文件系统中每一个文件的唯一标识号对所述备份组数量进行取余计算，按照得到的余数进行备份组的分组。接着为每一个备份组分配一个tar打包进程，由所述tar打包进程对所对应的备份组进行打包，得到所对应的备份组的tar包；接着，将各个tar包传输到linux管道文件中进行临时存储；再从所述linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储本文档来自技高网...
【技术保护点】
1.一种CephFS文件系统和对象存储系统间的数据对接方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，所述从所述Linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储，包括：
5.根据权利要求4所述的方法，其特征在于，所述从所述Linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储，还包括：
6.根据权利要求4所述的方法，其特征在于，在所述对象存储系统中维护元数据对象，所述元数据对象中存储各个对象各自的存储位置所对应的索引。
7.根据权利要求6所述的方法，其特征在于，还包括：
8.一种CephFS文件系统和对象存储系统间的数据对接装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现权利要求1～7中的任一项所述的方法。
10.一种计算设备，其特征在于，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1～7中的任一项所述的方法。
...【技术特征摘要】
1.一种cephfs文件系统和对象存储系统间的数据对接方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，所述从所述linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储，包括：
5.根据权利要求4所述的方法，其特征在于，所述从所述linux管道文件中读取tar包的同时将已读取到的tar包上传到对象存储系统中进行存储，还包括：
6.根据权利要求4所述的方法，其特征在于...
【专利技术属性】
技术研发人员：靳登科，王大帅，刘宇泰，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。