System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及云计算,尤其涉及一种数据同步方法及文件系统。
技术介绍
1、随着云计算的普及,用户对数据容灾的需求逐渐增多。现阶段,为了满足用户的数据容灾需求,一种数据同步方案是:数据同步人员在同步数据之前,先在所使用的终端设备上安装数据拷贝软件;当数据拷贝软件安装完成后,数据同步人员可以根据数据同步需求,通过操作数据拷贝软件来完成数据的同步。但是,该数据同步方案需要数据同步人员在终端设备上安装额外的数据拷贝软件,且需要数据同步人员具备一定的软件使用能力。此外,该数据同步方案在拷贝数据的过程中,需要中断业务人员(比如数据访问用户)对待拷贝数据的相关操作(比如对待拷贝数据进行查看、修改或写入等操作),使得业务人员的数据访问体验较差。
2、因此,目前的数据同步方案尚无法很好地满足用户的容灾需求,还有待进一步研究。
技术实现思路
1、本申请提供一种数据同步方法及文件系统,用以有效地提高数据同步操作的便捷性,并可以提高业务人员的数据访问体验。
2、第一方面,本申请提供一种数据同步方法,该数据同步方法用于文件系统,该文件系统部署在至少一个云存储节点上,该至少一个云存储节点包括主云存储节点和至少一个备云存储节点,至少一个备云存储节点与主云存储节点分别部署在不同的可用区,不同的可用区位于同一区域或不同区域中。示例性地,云存储节点可以是具有实现该方法所需的功能的计算设备(或计算设备集群),或者也可以是具有实现该方法所需的功能的计算设备(或计算设备集群)中的功能元件(比如插件、组件
3、主云存储节点首先创建主云存储节点的文件系统的全量快照,并可以向目标云存储节点提供该文件系统的全量快照,其中,目标云存储节点与主云存储节点部署在同一区域的同一可用区中,之后,备云存储节点可以异步从目标云存储节点获取该全量快照的文件数据,当该文件系统的文件发生更新时,主云存储节点可以获取到文件日志,其中,文件日志用于记录该文件系统中更新的文件数据,然后,备云存储节点可以同步从主云存储节点获取该文件日志,并可以更新备云存储节点的文件系统中文件日志对应的文件数据。
4、在本方法中,在主云存储节点向目标云存储节点提供主云存储节点的文件系统的全量快照后,备云存储节点可以异步从目标云存储节点获取针对主云存储节点的文件系统中的文件数据,如此可以确保针对主云存储节点的文件系统的数据复制不会影响或中断业务人员(或其它需要使用主云存储节点的人员)对主云存储节点的文件系统的相关操作(比如对文件系统中的文件数据进行数据查看、数据修改或数据写入等操作),从而可以使得业务人员(或其它需要使用主云存储节点的人员)对主云存储节点的数据访问体验得到有效地提高,并可以确保业务人员(或其它需要使用主云存储节点的人员)在使用主云存储节点的过程中不会感知数据的复制过程。此外,该方法通过备云存储节点与目标云存储节点的交互即可完成针对主云存储节点的文件系统的数据复制,而无需安装专有数据拷贝软件,且无需数据同步人员具备一定的软件使用能力,如此可以使得数据同步操作更加便捷。
5、在一种可能的设计中,备云存储节点异步从目标云存储节点获取全量快照的文件数据,包括:备云存储节点可以首先向目标云存储节点发送第一请求,其中,第一请求用于请求获取根目录的属性信息,根目录的属性信息中包括位于根目录的下一层级的至少一个子项,备云存储节点在接收到来自目标云存储节点的根目录的属性信息后,可以对至少一个子项依次进行遍历,当确定遍历到的目标子项的类型为目录时,备云存储节点可以向目标云存储节点发送第二请求,其中,第二请求用于请求获取目标子项的属性信息,备云存储节点在接收到来自目标云存储节点的目标子项的属性信息后,可以对目标子项的属性信息包括的至少一个子项依次进行遍历,或者,当确定遍历到的目标子项的类型为文件时,备云存储节点可以向目标云存储节点发送第三请求,其中,第三请求用于请求获取目标子项对应的文件数据,备云存储节点可以接收来自目标云存储节点的目标子项对应的文件数据。
6、上述设计中,备云存储节点通过采用数据交互(或可称为信息交互)的方式,与目标云存储节点进行多次交互,可以有效地从目标云存储节点全量复制针对主云存储节点的文件系统的文件数据。
7、在一种可能的设计中,备云存储节点异步从目标云存储节点获取全量快照的文件数据,包括:备云存储节点可以先向目标云存储节点发送第四请求,其中,第四请求用于请求获取目标云存储节点的多叉树,多叉树是根据主云存储节点的文件系统的全量快照中包括的目录标识和文件标识构建的,备云存储节点在接收到来自目标云存储节点的多叉树后,可以以多叉树的根节点为数据遍历起点,从目标云存储节点中获取全量快照的文件数据,而不会影响业务人员(或其它需要使用主云存储节点的人员)对主云存储节点的文件系统的相关操作,从而可以提高业务人员(或其它需要使用主云存储节点的人员)的数据访问体验。
8、上述设计中,备云存储节点通过对从目标云存储节点获取的对多叉树进行递归遍历,可以及时准确地完成针对主云存储节点的文件系统的文件数据的全量复制。
9、在一种可能的设计中,备云存储节点异步从目标云存储节点获取全量快照的文件数据,包括:备云存储节点可以先向目标云存储节点发送第五请求,其中,第五请求用于请求目标云存储节点以目标云存储节点的根目录为数据遍历起点,依次遍历针对主云存储节点的文件系统的全量快照的文件数据,之后,备云存储节点可以按照该全量快照的文件数据的遍历顺序,依次接收来自目标云存储节点的该全量快照的文件数据。
10、上述设计中,备云存储节点通过向目标云存储节点发送一个指示请求,可以使得目标云存储节点以根目录为数据遍历起点,准确完整地将依次遍历到的文件数据依次发送给备云存储节点,以便备云存储节点能够按照文件数据的遍历顺序进行存储,从而可以使得备云存储节点可以全量获取全量快照中的文件数据,以此可以避免遗漏全量快照中的文件数据,有助于确保数据复制的完整性。
11、在一种可能的设计中,备云存储节点更新备云存储节点的文件系统中文件日志对应的文件数据,包括:备云存储节点可以读取从主云存储节点获取的文件日志,得到文件日志中包括的文件标识和文件标识对应的更新操作,其中,文件标识用于标识文件,之后,备云存储节点可以判断备云存储节点的文件系统中是否存在文件标识对应的文件数据,当备云存储节点的文件系统中存在该文件标识对应的文件数据时,备云存储节点可以根据该文件标识对应的更新操作,更新备云存储节点的文件系统中该文件标识对应的文件数据,当备云存储节点的文件系统中不存在该文件标识对应的文件数据时,备云存储节点可以从目标云存储节点中获取该文件标识对应的文件数据,并可以根据该文件标识对应的更新操作,更新该文件标识对应的文件数据。
12、上述设计中,备云存储节点通过根据来自主云存储节点的文件日志,可以实现对备云存储节点的文件系统中的相本文档来自技高网...
【技术保护点】
1.一种数据同步方法,其特征在于,所述方法用于文件系统,所述文件系统部署在至少一个云存储节点上,所述至少一个云存储节点包括主云存储节点和至少一个备云存储节点,所述至少一个备云存储节点与所述主云存储节点分别部署在不同的可用区,所述不同的可用区位于同一区域或不同区域中,包括:
2.如权利要求1所述的方法,其特征在于,所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据,包括:
3.如权利要求1所述的方法,其特征在于,所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据,包括:
4.如权利要求1所述的方法,其特征在于,所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据,包括:
5.如权利要求1所述的方法,其特征在于,所述备云存储节点更新所述备云存储节点的文件系统中所述文件日志对应的文件数据,包括:
6.如权利要求1-5任一项所述的方法,其特征在于,在所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据之后,所述方法还包括:
7.一种文件系统,其特征在于,所述
8.如权利要求7所述的文件系统,其特征在于,所述备云存储节点,在异步从所述目标云存储节点获取所述全量快照的文件数据时,具体用于:
9.如权利要求7所述的文件系统,其特征在于,所述备云存储节点,在异步从所述目标云存储节点获取所述全量快照的文件数据时,具体用于:
10.如权利要求7所述的文件系统,其特征在于,所述备云存储节点,在异步从所述目标云存储节点获取所述全量快照的文件数据时,具体用于:
11.如权利要求7所述的文件系统,其特征在于,所述备云存储节点,在更新所述备云存储节点的文件系统中所述文件日志对应的文件数据时,具体用于:
12.如权利要求7-11任一项所述的文件系统,其特征在于,所述备云存储节点,还用于向所述目标云存储节点发送指示信息,所述指示信息用于指示所述目标云存储节点中存储的所述全量快照的文件数据同步完成,或者所述指示信息用于指示删除所述全量快照;
13.一种计算设备,其特征在于,所述计算设备包括处理器和存储器;
14.一种计算设备集群,其特征在于,所述计算设备集群中包括至少一个计算设备,每个计算设备包括处理器和存储器;所述至少一个计算设备中的存储器,用于存储计算机程序指令;
15.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当所述计算机程序指令由计算设备执行时,所述计算设备执行如权利要求1-6中的任一项所述方法。
16.一种包含指令的计算机程序产品,其特征在于,当所述指令被计算设备运行时,使得所述计算设备执行如权利要求1-6中的任一项所述方法。
...【技术特征摘要】
1.一种数据同步方法,其特征在于,所述方法用于文件系统,所述文件系统部署在至少一个云存储节点上,所述至少一个云存储节点包括主云存储节点和至少一个备云存储节点,所述至少一个备云存储节点与所述主云存储节点分别部署在不同的可用区,所述不同的可用区位于同一区域或不同区域中,包括:
2.如权利要求1所述的方法,其特征在于,所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据,包括:
3.如权利要求1所述的方法,其特征在于,所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据,包括:
4.如权利要求1所述的方法,其特征在于,所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据,包括:
5.如权利要求1所述的方法,其特征在于,所述备云存储节点更新所述备云存储节点的文件系统中所述文件日志对应的文件数据,包括:
6.如权利要求1-5任一项所述的方法,其特征在于,在所述备云存储节点异步从所述目标云存储节点获取所述全量快照的文件数据之后,所述方法还包括:
7.一种文件系统,其特征在于,所述文件系统部署在至少一个云存储节点上,所述至少一个云存储节点包括主云存储节点和至少一个备云存储节点,所述至少一个备云存储节点与所述主云存储节点分别部署在不同的可用区,所述不同的可用区位于同一区域或不同区域中,包括:
8.如权利要求7所述的文件系统,其特征在于,所述备云存储节点,在异步从所述目标云存...
【专利技术属性】
技术研发人员:吴晨,徐若涛,吴继敏,
申请(专利权)人:华为云计算技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。