一种数据库数据同步方法、系统、设备及存储介质技术方案

本发明专利技术提供了一种数据库数据同步方法、系统、设备及存储介质，所述方法用于源数据库与目标数据库之间进行数据同步，所述方法包括，生成多个同步任务，所述同步任务用于将所述源数据库内的数据同步到所述目标数据库；获取多个所述同步任务的运行状态，所述运行状态包括运行时间、任务编号、执行状态和执行结果；设置任务展示窗口；将多个所述同步任务及其运行状态展示到所述任务展示窗口中；达到了提升数据同步过程中同步效率的效果。同步过程中同步效率的效果。同步过程中同步效率的效果。

【技术实现步骤摘要】
一种数据库数据同步方法、系统、设备及存储介质


[0001]本专利技术涉及计算机
，具体而言，涉及一种数据库数据同步方法、系统、设备及存储介质。

技术介绍

[0002]数据库同步技术是应用系统处理核心，不但应用系统需要向数据库进行增/删改/查操作，同样数据仓库也需要从众多的数据库中获取不同业务数据来完善自身的数据集并保证和源数据的一致性。
[0003]在同步过程中，因为各种数据库的不同，在对数据进行处理时，需要较为专业的人才能够进行数据同步，且目前的数据同步方法均是在后台进行的，其同步过程不可见，难以对同步过程进行管理，若出现同步失败或数据错误，也难以发现，导致同步效率较低。

技术实现思路

[0004]本专利技术的目的在于提供一种数据库数据同步方法、系统、设备及存储介质，其目的在于提升数据同步过程的同步效率。
[0005]本专利技术的实施例通过以下技术方案实现：第一方面本实施例提供一种数据库数据同步方法，所述方法用于源数据库与目标数据库之间进行数据同步，所述方法包括，生成多个同步任务，所述同步任务用于将所述源数据库内的数据同步到所述目标数据库；获取多个所述同步任务的运行状态，所述运行状态包括运行时间、任务编号、执行状态和执行结果；设置任务展示窗口；将多个所述同步任务及其运行状态展示到所述任务展示窗口中。
[0006]可选地，所述同步任务包括历史数据同步任务和多个增量数据同步任务，其中，所述历史数据同步任务包括：获取所述源数据库内的历史数据，将所述源数据库内的历史数据同步到所述目标数据库；所述增量数据同步任务包括：设置增量同步时间周期，在所述增量同步时间周期到来时获取所述源数据库内的增量数据；获取到所述增量数据后，将所述源数据库内的增量数据同步到所述目标数据库。
[0007]可选地，所述方法包括，在所述任务展示窗口内设置多个功能按键和多个状态展示栏；将所有所述同步任务的运行状态与所述状态展示栏进行关联；
将多个所述功能按键与所有所述同步任务进行关联。
[0008]可选地，所述功能按键包括启动同步、暂停同步、展示同步内容、同步状态显示和同步周期修改。
[0009]可选地，所述状态展示栏包括任务标识展示栏、任务名称展示栏、任务执行状态展示栏、任务调度表达式展示栏、任务数据路径展示栏和任务执行方式展示栏。
[0010]可选地，所述方法还包括，获取多个所述状态展示栏中的任务状态展示情况；在数据库中建立状态存放表；将多个所述状态展示栏中的任务状态展示情况输入到所述状态存放表中；输出所述状态存放表并展示。
[0011]第二方面本实施例提供一种数据库数据同步系统，所述系统包括同步任务生成模块、运行状态获取模块、任务窗口模块和展示模块，其中，同步任务生成模块，用于生成多个同步任务，所述同步任务用于将所述源数据库内的数据同步到所述目标数据库；运行状态获取模块，用于获取多个所述同步任务的运行状态，所述运行状态包括运行时间、任务编号、执行状态和执行结果；任务窗口模块，用于设置任务展示窗口；展示模块，用于将多个所述同步任务及其运行状态展示到所述任务展示窗口中。
[0012]第三方面本申请实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行实施例第一方面所述的一种数据库数据同步方法。
[0013]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如实施例第一方面所述的一种数据库数据同步方法。
[0014]本专利技术实施例的技术方案至少具有如下优点和有益效果：通过获取多个同步任务的运行状态，再通过任务展示窗口中的状态展示栏展示，通过功能按键进行操作，能够对所有同步任务进行界面化的管理，且针对每项定时任务的各项属性进行展示；在采用该方法进行数据同步时，实现了将同步任务的可视化管理，达到了提升数据同步过程中同步效率的效果。
附图说明
[0015]图1为本专利技术其中一个实施例提供的一种数据库数据同步方法的步骤流程图；图2为本专利技术其中一个实施例提供的一种数据库数据同步方法的结构示意图。
具体实施方式
[0016]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0017]实施例1一种数据库数据同步方法，所述方法用于源数据库与目标数据库之间进行数据同步，参照图1，所述方法包括，S1，生成多个同步任务，所述同步任务用于将所述源数据库内的数据同步到所述目标数据库；在其中一个实施例中，所述同步任务包括历史数据同步任务和多个增量数据同步任务；其中，历史数据同步任务用于对数据库中的历史数据进行同步，而增量数据同步任务用于对数据中产生的增量数据进行同步。数据库中的历史数据可以指某一个特定时间点之间的数据，而在这个特定时间点之后产生的数据均可视作增量数据。
[0018]在本实施例中，设置有多个增量数据同步任务，随着同步时间的延长，在；在对数据库中的数据进行同步时，增量数据是不断产生的，所以在本实施例的方案中，增量数据同步任务的数量应该是不设限的，在整个数据同步的过程中，会不断的生成增量数据同步任务，以对不断产生的增量数据进行同步。
[0019]其中，所述历史数据同步任务包括：获取所述源数据库内的历史数据，将所述源数据库内的历史数据同步到所述目标数据库；在对数据库内的历史数据进行同步时，一般采用当前时间点之前的数据作为历史数据，对其进行同步后，该时间点之后的数据均会被认为是增量数据。
[0020]所述增量数据同步任务包括：设置增量同步时间周期，在所述增量同步时间周期到来时获取所述源数据库内的增量数据；获取到所述增量数据后，将所述源数据库内的增量数据同步到所述目标数据库。
[0021]在其中一个实施例中，增量同步时间周期可设置为1天，则在采用增量数据同步任务对上一次产生的增量数据进行同步后，在1天之后，会定时启动增量数据同步任务获取数据库在过去1天中产生的增量数据，并将其同步到目标数据库中。
[0022]源数据库和目标数据库均可为关系型数据库；在同步的过程中，需要获取源数据库中对应表存在主键及增量数据，且需要记录增量数据产生的时间戳，通过时间戳对产生的增量数据进行分别，以判断该部分数据所属的增量同步时间周期，避免产生部分数据未同步的情况。
[0023]在源数据库与目标数据库之间进行数据同步时，计算机的任务调度系统通过配置相应的API或WebService，实现数据同步。
[0024]S2，获取多个所述同步任务的运行状态，所述运行状态包括运行时间、任务编号、执行状态和执行结果；在现有技术中，采用同步任务对数据进行同步时，一般都是在后台进行操作，无法对同步任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库数据同步方法，其特征在于，所述方法用于源数据库与目标数据库之间进行数据同步，所述方法包括，生成多个同步任务，所述同步任务用于将所述源数据库内的数据同步到所述目标数据库；获取多个所述同步任务的运行状态，所述运行状态包括运行时间、任务编号、执行状态和执行结果；设置任务展示窗口；将多个所述同步任务及其运行状态展示到所述任务展示窗口中。2.根据权利要求1所述的一种数据库数据同步方法，其特征在于：所述同步任务包括历史数据同步任务和多个增量数据同步任务，其中，所述历史数据同步任务包括：获取所述源数据库内的历史数据，将所述源数据库内的历史数据同步到所述目标数据库；所述增量数据同步任务包括：设置增量同步时间周期，在所述增量同步时间周期到来时获取所述源数据库内的增量数据；获取到所述增量数据后，将所述源数据库内的增量数据同步到所述目标数据库。3.根据权利要求2所述的一种数据库数据同步方法，其特征在于：所述方法包括，在所述任务展示窗口内设置多个功能按键和多个状态展示栏；将所有所述同步任务的运行状态与所述状态展示栏进行关联；将多个所述功能按键与所有所述同步任务进行关联。4.根据权利要求3所述的一种数据库数据同步方法，其特征在于：所述功能按键包括启动同步、暂停同步、展示同步内容、同步状态显示和同步周期修改。5.根据权利要求3所述的一种数据库数据同步方法，其特征在于：所...

【专利技术属性】
技术研发人员：王涌军，岳小波，王宇，
申请(专利权)人：四川互慧软件有限公司，
类型：发明
国别省市：