System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 跨数据中心的文件灾备同步方法及装置制造方法及图纸_技高网

跨数据中心的文件灾备同步方法及装置制造方法及图纸

技术编号:43968020 阅读:1 留言:0更新日期:2025-01-10 19:57
本申请公开了一种跨数据中心的文件灾备同步方法及装置,涉及信息安全技术领域,也可用于金融领域,该方法包括:每隔第一预设时间间隔扫描网络存储目录,获取新生成文件;新生成文件包括日终批量文件及传输失败的实时同步文件;在待发送文件表中查找新生成文件的文件MD5;若查找失败,根据新生成文件的业务ID在总文件表中查询业务ID对应的上一个文件版本的文件对象;若查询结果为查询失败,将新生成文件确定为定时同步文件;若查询结果为查询成功,根据新生成文件及文件对象进行增量文件分割,生成定时同步文件;将定时同步文件传输至第二数据中心的临时目录,实现了文件资源同步的实时性和准确性,满足灾备要求,确保面对故障的高可用性。

【技术实现步骤摘要】

本申请涉及信息安全,也可用于金融领域,尤其涉及跨数据中心的文件灾备同步方法及装置


技术介绍

1、手机银行是一种互联网应用领域的产品,为客户提供丰富的业务服务,业务功能技术实现上大量使用了静态文件资源包,手机客户端通过三中心异地多活的手机服务端获取到文件的cdn下载地址后通过发送请求到cdn节点获取相应文件,而cdn节点一旦收到请求,判断是否命中缓存,如果不命中则需要回到源站获取文件。其中,cdn为内容分发网络(content delivery network),用于为用户访问提供边缘加速服务。

2、为实现客户端访问cdn的文件资源包的高可用,客户端和cdn节点之间的链路以及cdn节点和源站之间的链路至关重要,上述两个链路是否高可用决定了整个链路的高可用。客户端和cdn节点之间的链路涉及运营商dns域名解析、cdn厂家的节点数量铺设及cdn厂家的流量调度策略,优化的空间有限;而关于cdn节点和源站之间的链路,其中源站的数量目前逻辑上有2个,但物理上只有1个,存在优化的空间。

3、目前,考虑cdn回源的高可用,源站在单机房单数据中心部署资源文件的情况下同时申请了两个cdn域名,其中,一个为主域名,一个为备域名。主域名和备域名分别解析到同一个机房的两个不同的web服务器集群,web请求通过负载均衡转发到同一个nas文件服务器,平时主要由主域名为客户端提供资源访问服务,在主域名访问资源多次异常的时候客户端尝试通过备域名获取资源,保障客户的业务使用。

4、上述方法的缺点在于,不能满足跨机房高可用性的业务要求,在部署静态资源文件时,虽然在同一个机房部署两个不同的web集群,但在该机房整体不可用同时cdn缓存失效的极端情况下无法回源访问文件,无法在cdn访问异常时提供文件下载的交易服务,无法提供下载交易的机房级水平扩展。此外,该方法是使用两个域名,客户端在主域名故障下通过备域名获取资源,调用逻辑复杂,调用时机存在不确定性,且同时申请两个域名的成本过高。

5、本部分旨在为权利要求书中陈述的本申请实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。


技术实现思路

1、本申请实施例提供一种跨数据中心的文件灾备同步方法,应用于一第一数据中心,用以进行文件灾备同步,该方法包括:

2、每隔第一预设时间间隔扫描网络存储目录,获取新生成文件;所述新生成文件包括日终批量文件及传输失败的实时同步文件;

3、在待发送文件表中查找所述新生成文件的文件md5;

4、若查找失败,根据所述新生成文件的业务id在总文件表中查询所述业务id对应的上一个文件版本的文件对象;

5、若查询结果为查询失败,将所述新生成文件确定为定时同步文件;

6、若查询结果为查询成功,根据所述新生成文件及所述文件对象进行增量文件分割,生成定时同步文件;

7、将所述定时同步文件传输至第二数据中心的临时目录。

8、进一步地,所述根据所述新生成文件及所述文件对象进行增量文件分割,生成定时同步文件,包括:

9、将所述新生成文件及所述文件对象进行分割,分别得到多个文件分块;

10、利用所述文件对象的文件分块对所述新生成文件的文件分块进行滑动差异检测,以生成定时同步文件。

11、进一步地,所述将所述定时同步文件传输至第二数据中心的临时目录,包括:

12、将所述定时同步文件的文件信息写入所述待发送文件表及总文件表;所述待发送文件表的字段包括:传输任务id、文件id、传输来源、目标数据中心、传输状态、传输次数、创建时间、更新时间及原机房中心;所述总文件表的字段包括:文件id、业务id、文件路径、文件软链接路径、文件md5、文件版本、文件是否cdn布放、创建时间、创建人、更新时间、更新人、资源类型及文件大小;

13、每隔第二预设时间间隔扫描所述待发送文件表,将传输状态为未传输及传输失败的定时同步文件传输至第二数据中心的临时目录。

14、进一步地,还包括:

15、当生成实时同步文件时,利用线程池将所述实时同步文件传输至第二数据中心;所述实时同步文件包括投产发布文件及业务配置文件。

16、进一步地,所述利用线程池将所述实时同步文件传输至第二数据中心,包括:

17、将传输所述实时同步文件的任务封装为线程池任务;

18、将所述线程池任务提交至线程池,以利用文件传输工具将所述实时同步文件传输至所述第二数据中心。

19、本申请实施例提供一种跨数据中心的文件灾备同步方法,应用于一第二数据中心,用以进行文件灾备同步,该方法包括:

20、每隔第三预设时间间隔扫描临时目录,获取接收的第一数据中心传输的定时同步文件;

21、根据所述定时同步文件的文件软链接路径在所述总文件表中查找所述定时同步文件对应的业务id;

22、根据所述定时同步文件的业务id在所述总文件表中查询所述业务id对应的上一个文件版本的文件对象;

23、若查询结果为查询失败,将所述定时同步文件确定为正式文件;

24、若查询结果为查询成功,根据所述定时同步文件及所述文件对象进行增量文件合并,生成完整文件,并验证所述完整文件是否为正式文件;

25、将所述正式文件复制到正式目录并将所述正式文件的文件信息写入已接收文件表及总文件表。

26、进一步地,所述验证所述完整文件是否为正式文件,包括:

27、所述完整文件的文件md5进行计算并在所述总文件表中查找当前版本文件的文件md5;

28、若所述完整文件的文件md5与所述当前版本文件的文件md5一致,将所述完整文件确定为正式文件。

29、进一步地,还包括:

30、在预设时间将所述已接收文件表和获取的所述第一数据中心的待发送文件表进行对比,确定文件同步情况;所述已接收文件表的字段包括:传输任务id、文件id、传输来源、目标数据中心、接收状态、创建时间、更新时间及原机房中心。

31、进一步地,还包括:

32、利用文件接收工具接收第一数据中心利用线程池传输的实时同步文件;所述实时同步文件包括投产发布文件及业务配置文件。

33、进一步地,所述利用文件接收工具接收第一数据中心利用线程池传输的实时同步文件,包括:

34、利用所述文件接收工具对预设端口进行监听,以获取所述第一数据中心的文件传输请求;

35、当获取到第一数据中心的文件传输请求时,接收所述实时同步文件。

36、本申请实施例还提供一种跨数据中心的文件灾备同步装置,用以进行文件灾备同步,该装置包括:

37、第一文件获取单元,用于每隔第一预设时间间隔扫描网络存储目录,获取新生成文件;所述新生成文件包括日终批量文件及传输失败的实时同步文件;

38、第一文件查找单元,用于在本文档来自技高网...

【技术保护点】

1.一种跨数据中心的文件灾备同步方法,应用于一第一数据中心,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述新生成文件及所述文件对象进行增量文件分割,生成定时同步文件,包括:

3.如权利要求1所述的方法,其特征在于,所述将所述定时同步文件传输至第二数据中心的临时目录,包括:

4.如权利要求1所述的方法,其特征在于,还包括:

5.如权利要求4所述的方法,其特征在于,所述利用线程池将所述实时同步文件传输至第二数据中心,包括:

6.一种跨数据中心的文件灾备同步方法,应用于一第二数据中心,其特征在于,包括:

7.如权利要求6所述的方法,其特征在于,所述验证所述完整文件是否为正式文件,包括:

8.如权利要求6所述的方法,其特征在于,还包括:

9.如权利要求6所述的方法,其特征在于,还包括:

10.如权利要求9所述的方法,其特征在于,所述利用文件接收工具接收第一数据中心利用线程池传输的实时同步文件,包括:

11.一种跨数据中心的文件灾备同步装置,其特征在于,包括:

12.一种跨数据中心的文件灾备同步装置,其特征在于,包括:

13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10任一所述方法。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。

15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至10任一所述方法。

...

【技术特征摘要】

1.一种跨数据中心的文件灾备同步方法,应用于一第一数据中心,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述新生成文件及所述文件对象进行增量文件分割,生成定时同步文件,包括:

3.如权利要求1所述的方法,其特征在于,所述将所述定时同步文件传输至第二数据中心的临时目录,包括:

4.如权利要求1所述的方法,其特征在于,还包括:

5.如权利要求4所述的方法,其特征在于,所述利用线程池将所述实时同步文件传输至第二数据中心,包括:

6.一种跨数据中心的文件灾备同步方法,应用于一第二数据中心,其特征在于,包括:

7.如权利要求6所述的方法,其特征在于,所述验证所述完整文件是否为正式文件,包括:

8.如权利要求6所述的方法,其特征在于,还包括:

9.如权利要求6所述的...

【专利技术属性】
技术研发人员:郭崇波林友明李震
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1