System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据的同步方法、装置、计算机设备和存储介质制造方法及图纸_技高网

数据的同步方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:41013158 阅读:5 留言:0更新日期:2024-04-18 21:50
本申请涉及一种数据的同步方法、装置、计算机设备和存储介质。所述方法包括:在接收到客户端发送的同步请求的情况下,为同步请求分配目标服务实例;调用目标服务实例接收客户端发送的任务信息,并将任务信息发送至与客户端对应的目标引擎实例;调用目标引擎实例同步任务信息中的任务数据。与现有的开源的DataX版本只支持单机版数据同步相比,上述方法提供了一种跨服务器的数据同步方法,通过在服务端搭建服务实例和引擎实例,并将客户端发送的同步请求经由服务实例转发至引擎实例进行数据同步,从而实现了从客户端到服务端之间的数据同步。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种数据的同步方法、装置、计算机设备和存储介质


技术介绍

1、随着服务器上各种应用种类的逐渐增多,在第一应用(例如,excel)需要使用到第二应用(例如,mysql)中的数据时,就需要将第一应用中的数据同步至第二应用中,即数据同步。

2、datax是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(mysql、oracle等)、hdfs、hive、odps、hbase、ftp等各种异构数据源之间稳定高效的数据同步功能。

3、然而,目前开源的datax版本只支持单机版部署,难以实现不同服务器之间的数据同步。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够实现不同服务器之间数据同步的数据的同步方法、装置、计算机设备和存储介质。

2、第一方面,本申请提供了一种数据的同步方法,包括:

3、在接收到客户端发送的同步请求的情况下,为同步请求分配目标服务实例;

4、调用目标服务实例接收客户端发送的任务信息,并将任务信息发送至与客户端对应的目标引擎实例;

5、调用目标引擎实例同步任务信息中的任务数据。

6、与现有的开源的datax版本只支持单机版数据同步相比,上述方法提供了一种跨服务器的数据同步方法,通过在服务端搭建服务实例和引擎实例,并将客户端发送的同步请求经由服务实例转发至引擎实例进行数据同步,从而实现了从客户端到服务端之间的数据同步。

<p>7、在其中一个实施例中,上述调用目标服务实例接收客户端发送的任务信息,包括:

8、调用目标服务实例向客户端发送目标服务实例的地址信息;

9、调用目标服务实例接收客户端基于地址信息返回的任务信息。

10、本申请实施例提供的数据的同步方法,客户端基于目标服务实例的地址信息向服务端发送任务信息,搭建了客户端与服务端进行数据同步任务的桥梁,为后续在客户端和服务端之间进行数据同步提供基础。

11、在其中一个实施例中,上述任务信息中还包括用户信息,方法还包括:

12、根据用户信息确定目标引擎实例。

13、本申请实施例提供的基于客户端的用户信息确定目标引擎实例的方法,为后续基于目标引擎实例实现数据同步提供基础。

14、在其中一个实施例中,上述根据用户信息确定目标引擎实例,包括:

15、确定预设存储单元中是否存在与用户信息对应的引擎实例,若存在,则将存在的引擎实例确定为目标引擎实例;若不存在,则为用户信息注册引擎实例,并将注册的引擎实例确定为目标引擎实例,以及将目标引擎实例保存在预设存储单元中。

16、本申请实施例提供的确定目标引擎实例的方法,在预设存储单元中不存在目标引擎实例的情况下,注册目标引擎实例并将目标引擎实例保存在预设存储单元中,不仅能够为本次数据同步提供有效的引擎实例,还为下次数据同步提供可供选择的引擎实例,在一定程度上提高了跨服务器的数据同步效率。

17、在其中一个实施例中,上述方法还包括:

18、调用目标引擎实例将同步任务数据的同步结果返回至目标服务实例;

19、调用目标服务实例保存同步结果;

20、在接收到客户端发送的查询请求的情况下,调用与查询请求对应的服务实例查询查询请求所请求的同步结果,并将查询请求所请求的同步结果返回至客户端。

21、本申请实施例提供的数据同步方法,基于目标引擎实例将数据同步之后,将同步结果保存至目标服务实例,为后续客户端获取同步结果提供数据基础。另外,还可以在接收到客户端发送的查询请求时,将查询请求对应的同步结果发送至客户端,以便客户端能够随时获取查询请求对应的同步结果。

22、在其中一个实施例中,上述为同步请求分配目标服务实例,包括:

23、将多个服务实例中处于空闲状态的服务实例作为候选的服务实例;

24、将候选的服务实例中的任一服务实例确定目标服务实例。

25、本申请实施例提供的目标服务实例的确定方法,将处于空闲状态的服务实例中任意一个服务实例确定为目标服务实例,实现了各个服务实例之间的均衡调度。

26、在其中一个实施例中,上述方法包括:

27、向服务端发送同步请求和任务信息;同步请求用于指示服务端分配目标服务实例,调用目标服务实例接收任务信息,并将任务信息发送至与客户端对应的目标引擎实例,以及调用目标引擎实例同步任务信息中的任务数据。

28、与现有的开源的datax版本只支持单机版数据同步相比,上述方法提供了一种跨服务器的数据同步方法,通过在服务端搭建服务实例和引擎实例,并将客户端发送的同步请求经由服务实例转发至引擎实例进行数据同步,从而实现了从客户端到服务端之间的数据同步。

29、第二方面,本申请还提供了一种数据的同步装置,包括:

30、分配模块,用于在接收到客户端发送的同步请求的情况下,为同步请求分配目标服务实例;

31、发送模块,用于调用目标服务实例接收客户端发送的任务信息,并将任务信息发送至与客户端对应的目标引擎实例;

32、同步模块,用于调用目标引擎实例同步任务信息中的任务数据。

33、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

34、在接收到客户端发送的同步请求的情况下,为同步请求分配目标服务实例;

35、调用目标服务实例接收客户端发送的任务信息,并将任务信息发送至与客户端对应的目标引擎实例;

36、调用目标引擎实例同步任务信息中的任务数据。

37、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

38、在接收到客户端发送的同步请求的情况下,为同步请求分配目标服务实例;

39、调用目标服务实例接收客户端发送的任务信息,并将任务信息发送至与客户端对应的目标引擎实例;

40、调用目标引擎实例同步任务信息中的任务数据。

41、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

42、在接收到客户端发送的同步请求的情况下,为同步请求分配目标服务实例;

43、调用目标服务实例接收客户端发送的任务信息,并将任务信息发送至与客户端对应的目标引擎实例;

44、调用目标引擎实例同步任务信息中的任务数据。

45、上述数据的同步方法、装置、计算机设备和存储介质。所述方法包括:在接收到客户端发送的同步请求的情况下,为同步请求分配目标服务实例;调用目标服务实例接收客户端发送的任务信息,并将任务信息发送至与客户端对应的目标引擎实例;调用目标引擎实例同步任务信息中的本文档来自技高网...

【技术保护点】

1.一种数据的同步方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述调用所述目标服务实例接收所述客户端发送的任务信息,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述任务信息中还包括用户信息,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述用户信息确定所述目标引擎实例,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述为所述同步请求分配目标服务实例,包括:

7.一种数据的同步方法,其特征在于,所述方法包括:

8.一种数据的同步装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。</p>...

【技术特征摘要】

1.一种数据的同步方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述调用所述目标服务实例接收所述客户端发送的任务信息,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述任务信息中还包括用户信息,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述用户信息确定所述目标引擎实例,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特...

【专利技术属性】
技术研发人员:卫巍李明达庞江川王欢
申请(专利权)人:曙光云计算集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1