数据同步方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据同步方法、装置、计算机设备及存储介质。该方法属于大数据技术领域，首先基于建立的第一预设连接获取源数据表的元数据信息，再基于第二预设连接并根据元数据信息建立目标数据表，最后通过预设指令可实现将第一服务器中的数据同步到第二服务器，整个同步过程无需手动创建目标数据表和写入预设指令。本申请实施例可提高数据同步的效率。

【技术实现步骤摘要】
数据同步方法、装置、计算机设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据同步方法、装置、计算机设备及存储介质。
技术介绍
现有的关系数据库中的数据同步到大数据集群中，先要在大数据集群中手动创建对应txtfile格式的接收表，再通过Sqoop导入指令将关系数据库中的数据同步到大数据集群中。如果是将大数据集群中的数据同步到关系数据库，就先要在关系数据库中手动创建txtfile格式的接收表，再通过Sqoop的导出指令将大数据集群中的数据同步到关系数据库中。在上述的数据同步过程中，无论是将关系数据库中的数据同步到大数据集群还是将大数据集群中的数据同步到关系数据库中，都先要手动创建txtfile格式的接收表，同时还需写入Sqoop指令，这使得数据同步的效率不高。
技术实现思路
本专利技术实施例提供了一种数据同步方法、装置、计算机设备及存储介质，旨在提高数据同步的效率。第一方面，本专利技术实施例提供了一种数据同步方法，应用于一第一服务器，将所述第一服务器中的数据同步到一第二服务器，该方法包括：获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第一配置信息建立第一预设连接；基于所述第一预设连接并根据所述配置文件的第一配置信息查询源数据表并获取所述源数据表的元数据信息；获取第二界面配置信息，根据所述第二界面配置信息查询预配置的所述配置文件，以获取所述配置文件中与所述第二服务器对应的第二配置信息，根据所述第二配置信息建立第二预设连接；基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表；通过预设指令将所述源数据表上的数据同步到所述目标数据表，以使所述第一服务器中的数据同步到所述第二服务器。第二方面，本专利技术实施例还提供了一种数据同步装置，其包括：第一建立单元，用于获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第一配置信息建立第一预设连接；获取单元，用于基于所述第一预设连接并根据所述配置文件的第一配置信息查询源数据表并获取所述源数据表的元数据信息；第二建立单元，用于获取第二界面配置信息，根据所述第二界面配置信息查询预配置的所述配置文件，以获取所述配置文件中与所述第二服务器对应的第二配置信息，根据所述第二配置信息建立第二预设连接；确定单元，用于基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表；同步单元，用于通过预设指令将所述源数据表上的数据同步到所述目标数据表，以使所述第一服务器中的数据同步到所述第二服务器。第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据同步方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述第一方面所述的数据同步方法。本专利技术实施例提供了一种数据同步方法、装置、计算机设备及存储介质。其中，所述方法包括：获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第二配置信息建立第一预设连接；基于所述第一预设连接并根据所述配置文件的配置信息查询源数据表并获取所述源数据表的元数据信息；获取第二界面配置信息，根据所述第二界面配置信息查询预配置的所述配置文件，以获取所述配置文件中与所述第二服务器对应的第二配置信息，根据所述第二配置信息建立第二预设连接；基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表；通过预设指令将所述源数据表上的数据同步到所述目标数据表，以使所述第一服务器中的数据同步到所述第二服务器。本专利技术实施例的技术方案，首先基于建立的第一预设连接获取源数据表的元数据信息，再基于第二预设连接并根据元数据信息建立目标数据表，最后通过预设指令可实现将第一服务器中的数据同步到第二服务器，整个同步过程无需手动创建目标数据表和写入预设指令，在一定程度上提高了数据同步的效率。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据同步方法的流程示意图；图2为本专利技术实施例提供的一种数据同步方法的子流程示意图；图3为本专利技术实施例提供的一种数据同步方法的子流程示意图；图4为本专利技术实施例提供的一种数据同步装置的示意性框图；图5为本专利技术实施例提供的数据同步装置的第一建立单元的示意性框图；图6为本专利技术实施例提供的数据同步装置的确定单元的示意性框图；以及图7为本专利技术实施例提供的一种计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。请参阅图1，图1是本专利技术实施例提供的数据同步方法的流程示意图。本专利技术实施例的数据同步方法应用于服务器，该服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。在本专利技术实施例中，以第一服务器为关系数据库服务器、第二服务器为大数据集群为例进行说明，本专利技术实施例可通过安装于所述关系数据库服务器上的软件例如下文所提及的Sqoop数据同步工具来实现所述数本文档来自技高网...

【技术保护点】
1.一种数据同步方法，应用于一第一服务器，其特征在于，用于将所述第一服务器中的数据同步到一第二服务器，所述方法包括：/n获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第一配置信息建立第一预设连接；/n基于所述第一预设连接并根据所述配置文件的第一配置信息查询源数据表并获取所述源数据表的元数据信息；/n获取第二界面配置信息，根据所述第二界面配置信息查询预配置的所述配置文件，以获取所述配置文件中与所述第二服务器对应的第二配置信息，根据所述第二配置信息建立第二预设连接；/n基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表；/n通过预设指令将所述源数据表上的数据同步到所述目标数据表，以使所述第一服务器中的数据同步到所述第二服务器。/n

【技术特征摘要】
1.一种数据同步方法，应用于一第一服务器，其特征在于，用于将所述第一服务器中的数据同步到一第二服务器，所述方法包括：
获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第一配置信息建立第一预设连接；
基于所述第一预设连接并根据所述配置文件的第一配置信息查询源数据表并获取所述源数据表的元数据信息；
获取第二界面配置信息，根据所述第二界面配置信息查询预配置的所述配置文件，以获取所述配置文件中与所述第二服务器对应的第二配置信息，根据所述第二配置信息建立第二预设连接；
基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表；
通过预设指令将所述源数据表上的数据同步到所述目标数据表，以使所述第一服务器中的数据同步到所述第二服务器。


2.根据权利要求1所述的数据同步方法，其特征在于，所述配置文件包括第一配置文件和第二配置文件，所述获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第一配置信息建立第一预设连接，包括：
获取第一界面配置信息，根据所述第一界面配置信息查询预配置的第一配置文件，以从所述第一配置文件中获取第一连接信息及第二配置文件的预设连接别名；
根据所述预设连接别名查询预配置的所述第二配置文件，以获取所述第二配置文件中配置的第二连接信息；
根据所述第一连接信息和所述第二连接信息建立第一预设连接。


3.根据权利要求2所述的数据同步方法，其特征在于，所述第一配置文件为schema配置表，所述第二配置文件为数据库连接表。


4.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表，包括：
判断所述第二服务器中是否存在目标数据表；
若所述第二服务器中未存在所述目标数据表，则根据所述元数据信息在所述第二服务器中创建所述目标数据表。


5.根据权利要求4所述的数据同步方法，其特征在于，所述判断所述第二服务器中是否存在目标数据表的步骤之后...

【专利技术属性】
技术研发人员：赵坤，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44