System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及一种数据同步方法,属于数据同步,尤其涉及一种磁盘空间占用小的数据同步方法。
技术介绍
1、数据同步是指使两个或多个位置的数据内容保持一致,例如将目标端的数据与源端的数据保持一致,则源端的数据被同步到了目标端上,即可在源端的数据丢失或损坏时使用目标端的数据进行恢复。
2、申请号为200810045679.0,申请日是2008年07月29日的中国专利公开了一种远程文件快速同步方法,通过快照技术在客户端保存文件集合的新旧版本,避免差异计算时对服务器的数据请求,对客户端的文件复制或移动操作,服务器重放该操作,不传输文件内容,虽然该设计可以实现数据同步的效果,但仍具有以下缺陷:
3、该设计通过快照技术在源端(即客户端)保存数据的新旧版本,新旧版本的数据都会占用源端(即客户端)所在的磁盘空间,磁盘空间占用较多时会导致磁盘发热,从而导致磁盘受损。
4、公开该
技术介绍
部分的信息仅仅旨在增加对本申请的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
1、本专利技术的目的是克服现有技术中存在的会导致磁盘受损的缺陷与问题,提供一种不会导致磁盘受损的磁盘空间占用小的数据同步方法。
2、为实现以上目的,本专利技术的技术解决方案是:
3、一种磁盘空间占用小的数据同步方法,所述方法包括以下步骤:
4、第一步:先在源端中选择需同步数据,再在目标端选择待同步数据,然
5、第二步:先通过数据通道读取需同步数据的文件目录与文件信息,再通过数据通道读取待同步数据的文件目录与文件信息,然后对需同步数据的文件目录、待同步数据的文件目录进行比较,再得出需同步数据的文件目录、待同步数据的文件目录的不同之处,该不同之处为目录差异;同时,对需同步数据、待同步数据的文件信息进行比较,文件信息比较过程为:依照相应的文件目录的顺序对文件名称、大小、时间戳属性依次进行比较,再得出同步数据的文件信息、待同步数据的文件信息的不同之处,该不同之处为内容差异;
6、第三步:然后对目录差异与内容差异进行编码以生成数据块,再将数据块发送至待同步数据中,然后对数据块进行解码,再将数据块、待同步数据进行合并生成已同步数据,即完成需同步数据同步至待同步数据的过程。
7、所述第三步中,所述生成数据块后,再对数据块进行校验以生成校验和,然后将数据块、校验和发送至待同步数据中;所述第三步中,所述对数据块进行解码后,再对数据块进行校验以生成二次校验和,然后将二次校验和与校验和进行比较,若二次校验和与校验和不同,则数据块发生数据丢失或损坏,再返回至将数据块发送至待同步数据中;若二次校验和与校验和相同,则对数据块、待同步数据进行合并以生成已同步数据。
8、所述第三步中,所述生成校验和后,再对数据块、校验和进行加密,然后对数据块、校验和进行压缩,再将数据块、校验和发送至待同步数据;然后对数据块、校验和进行解压缩,再对数据块、校验和进行解密,然后对数据块进行解码。
9、所述第三步中,所述生成已同步数据后,再依次记录同步进行的时间、同步是否完成状态、同步结果,以及同步异常的原因。
10、所述第一步中,在目标端选择待同步数据后,先检查需同步数据的数据通道端口打开情况,再检查待同步数据的数据端口打开情况;若需同步数据或待同步数据的数据通道端口未打开,则排查数据通道端口未打开的原因,再打开需同步数据或待同步数据的数据通道端口,然后在源端与目标端之间建立数据通道;若需同步数据或待同步数据的数据通道端口均打开,则在源端与目标端之间建立数据通道。
11、所述第一步中,所述先在源端中选择需同步数据,再在目标端选择待同步数据是指:先设置源端的ip地址、源端的主机名,再设置目标端的ip地址、目标端的主机名,然后在源端中选择需同步数据,再在目标端选择待同步数据。
12、所述第一步中,所述在目标端选择待同步数据后,再设置第二步启动的时间与频率,然后在源端与目标端之间建立数据通道。
13、所述第三步中,所述生成已同步数据后,再设置第二步启动的时间与频率。
14、所述第二步中,所述依照相应的文件目录的顺序对文件名称、大小、时间戳属性依次进行比较,再得出同步数据的文件信息、待同步数据的文件信息的不同之处是指:依照相应的文件目录的顺序对文件名称、大小、时间戳、文件权限、所有权、扩展属性依次进行比较,再得出同步数据的文件信息、待同步数据的文件信息的不同之处。
15、所述第三步中,所述编码以生成数据块时,采用rsync算法或delta算法进行编码。
16、与现有技术相比,本专利技术的有益效果为:
17、1、本专利技术一种磁盘空间占用小的数据同步方法中,所述方法包括以下步骤:第一步:先在源端选择需同步数据,再在目标端中选择待同步数据,然后在源端与目标端之间建立数据通道;第二步:比较需同步数据、待同步数据以得出差异部分,差异部分包括目录差异与内容差异;第三步:先对差异部分进行编码以生成数据块,再将数据块发送至待同步数据中,然后对数据块进行解码,再将数据块与待同步数据合并得到已同步数据,本专利技术的优点还包括:
18、第一点:先对需同步数据、待同步数据比较以得出差异部分,再对差异部分编码以生成数据块,然后将数据块发送至待同步数据中,再对数据块进行解码,然后将数据块与待同步数据合并得到已同步数据,即完成了数据同步过程,已同步数据也形成了需同步数据的备份;
19、第二点:现有技术中,通过快照技术对数据的新旧版本进行保存,因对数据的多个版本都进行了保存,所以对源端的磁盘空间形成较多占用;本专利技术中,仅对差异部分生成数据块,数据块相较于数据的多个版本而言,体积较小,故对源端的磁盘空间占用较小,所以不会导致磁盘发热,即不会导致磁盘受损;
20、第三点:现有技术中,源端数据的复制或移动,由目标端对数据进行复制和移动完成,该过程中不传输文件;因现有技术不会对源端、目标端的数据进行比较,故现有技术无法检测出数据内容的变化,所以现有技术的数据同步存在漏洞;而本专利技术对需同步数据、待同步数据进行了比较,故本专利技术可以检测出数据内容的变化,所以本专利技术的同步完整性较好;
21、第四点:因数据块的体积较小,故数据块在数据通道中发送时占用的网络带宽也较小,所以数据块在数据通道中发送时的传输速度较快,且不会影响网络中其他设备的数据传输速度,故本专利技术可以较快地完成同步与备份;
22、第五点:本专利技术可设置多组对应的源端、目标端,以完成多组数据同时进行同步的效果,可以节约同步的时间;
23、因此,本专利技术不会导致磁盘受损,且同步完整性较好。
24、2、本专利技术一种磁盘空间占用小的数据同步方法中,所述第三步中,在发送数据块之前与发送数据块之后,对数据块进行校验以生成校验和与二次校验和,再比较校验本文档来自技高网...
【技术保护点】
1.一种磁盘空间占用小的数据同步方法,其特征在于:所述方法包括以下步骤:
2.根据权利要求1所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述生成数据块(41)后,再对数据块(41)进行校验以生成校验和(42),然后将数据块(41)、校验和(42)发送至待同步数据(5)中;所述第三步中,所述对数据块(41)进行解码后,再对数据块(41)进行校验以生成二次校验和(421),然后将二次校验和(421)与校验和(42)进行比较,若二次校验和(421)与校验和(42)不同,则数据块(41)发生数据丢失或损坏,再返回至将数据块(41)发送至待同步数据(5)中;若二次校验和(421)与校验和(42)相同,则对数据块(41)、待同步数据(5)进行合并以生成已同步数据(51)。
3.根据权利要求2所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述生成校验和(42)后,再对数据块(41)、校验和(42)进行加密,然后对数据块(41)、校验和(42)进行压缩,再将数据块(41)、校验和(42)发送至待同步数据(5);然后对数据块(41)
4.根据权利要求3所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述生成已同步数据(51)后,再依次记录同步进行的时间、同步是否完成状态、同步结果,以及同步异常的原因。
5.根据权利要求1所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第一步中,在目标端(3)选择待同步数据(5)后,先检查需同步数据(4)的数据通道端口打开情况,再检查待同步数据(5)的数据端口打开情况;若需同步数据(4)或待同步数据(5)的数据通道端口未打开,则排查数据通道端口未打开的原因,再打开需同步数据(4)或待同步数据(5)的数据通道端口,然后在源端(2)与目标端(3)之间建立数据通道(6);若需同步数据(4)或待同步数据(5)的数据通道端口均打开,则在源端(2)与目标端(3)之间建立数据通道(6)。
6.根据权利要求5所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第一步中,所述先在源端(2)中选择需同步数据(4),再在目标端(3)选择待同步数据(5)是指:先设置源端(2)的ip地址、源端(2)的主机名,再设置目标端(3)的ip地址、目标端(3)的主机名,然后在源端(2)中选择需同步数据(4),再在目标端(3)选择待同步数据(5)。
7.根据权利要求6所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第一步中,所述在目标端(3)选择待同步数据(5)后,再设置第二步启动的时间与频率,然后在源端(2)与目标端(3)之间建立数据通道(6)。
8.根据权利要求7所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述生成已同步数据(51)后,再设置第二步启动的时间与频率。
9.根据权利要求1所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第二步中,所述依照相应的文件目录的顺序对文件名称、大小、时间戳属性依次进行比较,再得出同步数据(4)的文件信息、待同步数据(5)的文件信息的不同之处是指:依照相应的文件目录的顺序对文件名称、大小、时间戳、文件权限、所有权、扩展属性依次进行比较,再得出同步数据(4)的文件信息、待同步数据(5)的文件信息的不同之处。
10.根据权利要求9所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述编码以生成数据块(41)时,采用rsync算法或delta算法进行编码。
...【技术特征摘要】
1.一种磁盘空间占用小的数据同步方法,其特征在于:所述方法包括以下步骤:
2.根据权利要求1所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述生成数据块(41)后,再对数据块(41)进行校验以生成校验和(42),然后将数据块(41)、校验和(42)发送至待同步数据(5)中;所述第三步中,所述对数据块(41)进行解码后,再对数据块(41)进行校验以生成二次校验和(421),然后将二次校验和(421)与校验和(42)进行比较,若二次校验和(421)与校验和(42)不同,则数据块(41)发生数据丢失或损坏,再返回至将数据块(41)发送至待同步数据(5)中;若二次校验和(421)与校验和(42)相同,则对数据块(41)、待同步数据(5)进行合并以生成已同步数据(51)。
3.根据权利要求2所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述生成校验和(42)后,再对数据块(41)、校验和(42)进行加密,然后对数据块(41)、校验和(42)进行压缩,再将数据块(41)、校验和(42)发送至待同步数据(5);然后对数据块(41)、校验和(42)进行解压缩,再对数据块(41)、校验和(42)进行解密,然后对数据块(41)进行解码。
4.根据权利要求3所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第三步中,所述生成已同步数据(51)后,再依次记录同步进行的时间、同步是否完成状态、同步结果,以及同步异常的原因。
5.根据权利要求1所述的一种磁盘空间占用小的数据同步方法,其特征在于:所述第一步中,在目标端(3)选择待同步数据(5)后,先检查需同步数据(4)的数据通道端口打开情况,再检查待同步数据(5)的数据端口打开情况;若需同步数据(4)或待同步数据(5)的数据通道端口未打...
【专利技术属性】
技术研发人员:柳德睿,王宇豪,徐娜,王少锋,熊登,
申请(专利权)人:武汉船用机械有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。