数据同步方法、系统、装置、电子设备、存储介质制造方法及图纸

本申请提供一种数据同步方法、系统、装置、电子设备、计算机可读存储介质，方法包括：获取数据同步任务的配置信息；其中，配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，待同步数据库包括主数据库和从数据库，工作者节点包括主工作者节点和从工作者节点；在任务列表页面展示数据同步任务；响应于针对数据同步任务的启动指定，基于第二连接信息向主工作者节点下发数据同步请求，使得主工作者节点基于第一连接信息执行数据同步任务；其中，数据同步请求包括第一连接信息。本申请方案，通过为每一数据同步任务分配主数据库和从数据库、主工作者节点和从工作者节点，可以降低数据同步方法失败的几率。

【技术实现步骤摘要】
数据同步方法、系统、装置、电子设备、存储介质
本申请涉及计算机
，特别涉及一种数据同步方法、系统、装置、电子设备、计算机可读存储介质。
技术介绍
企业内部的搜索服务需要实时地对新增的业务数据进行查询与展示。通常而言，业务数据(比如：订单数据)写入到数据库后，需同步至消息队列中，以便消费者(consumer)设备(比如：搜索引擎服务)对新增的业务数据进行消费。对于业务复杂的企业而言，对多种业务数据进行同步以及保证数据同步的可靠性是至关重要的。
技术实现思路
本申请实施例的目的在于提供一种数据同步方法、系统、装置、电子设备、计算机可读存储介质，用于保证数据同步的可靠性。一方面，本申请提供了一种数据同步方法，应用于控制终端，包括：获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，所述待同步数据库包括主数据库和从数据库，所述工作者节点包括主工作者节点和从工作者节点；在任务列表页面展示所述数据同步任务；响应于针对所述数据同步任务的启动指定，基于所述第二连接信息向所述主工作者节点下发数据同步请求，使得所述主工作者节点基于所述第一连接信息执行所述数据同步任务；其中，所述数据同步请求包括所述第一连接信息。在一实施例中，所述方法还包括：响应于针对所述任务列表页面中任一数据同步任务的重配置指令，更改所述数据同步任务的配置信息。在一实施例中，所述方法还包括：接收所述工作者节点上报的工作异常信息，并记录到对应于所述数据同步任务的工作日志；响应于针对所述数据同步任务的日志查看指令，展示所述工作日志。在一实施例中，所述方法还包括：如果所述工作异常信息指示任务失败时，在所述任务列表页面输出报警提示信息。在一实施例中，所述方法还包括：如果所述主工作者节点停止执行所述数据同步任务，向所述从工作者节点下发所述数据同步请求，使得所述从工作者节点基于所述第一连接信息执行所述数据同步任务。一方面，本申请提供了一种数据同步系统，包括：控制终端；工作者节点，所述工作者节点包括主工作者节点和从工作者节点；所述控制终端，用于获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，所述待同步数据库包括主数据库和从数据库；在任务列表页面展示所述数据同步任务；响应于针对所述数据同步任务的启动指定，基于所述第二连接信息向所述主工作者节点下发数据同步请求；所述主工作者节点，与所述控制终端连接，用于依据所述第一连接信息获取所述待同步数据库的日志文件；将所述日志文件放入消息队列。在一实施例中，所述控制终端，还用于如果所述主工作者节点停止执行所述数据同步任务，向所述从工作者节点下发所述数据同步请求；所述从工作者节点，与所述控制终端连接，用于依据所述第一连接信息获取所述待同步数据库的日志文件；将所述日志文件放入消息队列。另一方面，本申请还提供了一种数据同步装置，应用于控制终端，包括：获取模块，用于获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，所述待同步数据库包括主数据库和从数据库，所述工作者节点包括主工作者节点和从工作者节点；展示模块，用于在任务列表页面展示所述数据同步任务；控制模块，用于响应于针对所述数据同步任务的启动指定，基于所述第二连接信息向所述主工作者节点下发数据同步请求，使得所述主工作者节点基于所述第一连接信息执行所述数据同步任务；其中，所述数据同步请求包括所述第一连接信息。进一步的，本申请还提供了一种电子设备，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述数据同步方法。另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述数据同步方法。在本申请实施例中，控制终端获取数据同步任务的配置信息后，可以在任务列表页面展示所述数据同步任务；当任一数据同步任务被启动时，控制终端可以响应于针对数据同步任务的启动指定，基于配置信息中的第二连接信息向主工作者节点下发数据同步请求，使得主工作者节点基于第一连接信息执行所述数据同步任务；由于每一数据同步任务均被分配主数据库和从数据库、执行数据同步任务的主工作者节点和从工作者节点，当主数据库节点发生故障时，可以切换到热备份的从数据库；当主工作者节点发生故障时，可以却换到热备份的从工作者节点，从而降低了数据同步任务无法被执行的几率，提高了数据同步的可靠性和数据同步系统的高可用性。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。图1为本申请一实施例提供的数据同步方法的应用场景示意图；图2为本申请一实施例提供的电子设备的结构示意图；图3为本申请一实施例提供的数据同步方法的流程示意图；图4为本申请一实施例提供的工作者节点的任务分配示意图；图5为本申请一实施例提供的数据同步装置的框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。图1为本申请实施例提供的数据同步方法的应用场景示意图。如图1所示，该数据同步系统可以包括控制终端20和工作者节点30；控制终端20可以是运营人员下发指令的计算机主机、平板电脑或手机等设备；工作者节点30可以是服务器、服务器集群或者云计算中心，工作者节点30可以依据控制终端下发的指令执行数据同步任务。如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述控制终端20。存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(StaticRandomAccessMemory，简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory，简称EPROM)，可编程只读存储器(ProgrammableRed-OnlyMemory，简称PROM)，只读存储器(R本文档来自技高网...

【技术保护点】
1.一种数据同步方法，应用于控制终端，其特征在于，包括：/n获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，所述待同步数据库包括主数据库和从数据库，所述工作者节点包括主工作者节点和从工作者节点；/n在任务列表页面展示所述数据同步任务；/n响应于针对所述数据同步任务的启动指定，基于所述第二连接信息向所述主工作者节点下发数据同步请求，使得所述主工作者节点基于所述第一连接信息执行所述数据同步任务；其中，所述数据同步请求包括所述第一连接信息。/n

【技术特征摘要】
1.一种数据同步方法，应用于控制终端，其特征在于，包括：
获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，所述待同步数据库包括主数据库和从数据库，所述工作者节点包括主工作者节点和从工作者节点；
在任务列表页面展示所述数据同步任务；
响应于针对所述数据同步任务的启动指定，基于所述第二连接信息向所述主工作者节点下发数据同步请求，使得所述主工作者节点基于所述第一连接信息执行所述数据同步任务；其中，所述数据同步请求包括所述第一连接信息。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于针对所述任务列表页面中任一数据同步任务的重配置指令，更改所述数据同步任务的配置信息。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述工作者节点上报的工作异常信息，并记录到对应于所述数据同步任务的工作日志；
响应于针对所述数据同步任务的日志查看指令，展示所述工作日志。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
如果所述工作异常信息指示任务失败时，在所述任务列表页面输出报警提示信息。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述主工作者节点停止执行所述数据同步任务，向所述从工作者节点下发所述数据同步请求，使得所述从工作者节点基于所述第一连接信息执行所述数据同步任务。


6.一种数据同步系统，其特征在于，包括：
控制终端；
工作者节点，所述工作者节点包括主工作者节点和从工作者节点；
所述控制终端，用于获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节...

【专利技术属性】
技术研发人员：倪东，何宜杰，
申请(专利权)人：微医云杭州控股有限公司，
类型：发明
国别省市：浙江;33