数据库数据同步方法及装置制造方法及图纸

技术编号:25756296 阅读:21 留言:0更新日期:2020-09-25 21:05
本申请实施例提供一种数据库数据同步方法及装置,方法包括:根据源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间;根据所述任务触发时间和所述数据同步任务,将所述目标数据表同步至目标数据库中;本申请能够便捷、有效、准确得实现主备数据库数据同步操作。

【技术实现步骤摘要】
数据库数据同步方法及装置
本申请涉及数据处理领域,具体涉及一种数据库数据同步方法及装置。
技术介绍
传统关系型数据库多园区热备部署是很多企业存量应用实现高可用架构的核心基础,涉及园区间数据同步机制。目前已有的商业或开源数据库实时同步工具有较高的使用成本和运维门槛,而不使用第三方工具,通过同源多写改造实现数据库多活对存量应用来说成本很高,业务层改动范围广,异常风险也较大。
技术实现思路
针对现有技术中的问题,本申请提供一种数据库数据同步方法及装置,能够便捷、有效、准确得实现主备数据库数据同步操作。为了解决上述问题中的至少一个,本申请提供以下技术方案:第一方面,本申请提供一种数据库数据同步方法,包括:根据源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间;根据所述任务触发时间和所述数据同步任务,将所述目标数据表同步至目标数据库中。进一步地,所述根据源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:根据所述源数据库中目标数据表的依赖关系确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。进一步地,根据所述源数据库中目标数据表的依赖关系确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:判断所述源数据库中目标数据表的依赖关系中是否存在与交易态节点的读写关系,若是,则判定所述数据同步任务的任务类型为增量同步任务以及所述增量同步任务的任务触发时间为实时或定时触发。进一步地,在判断所述源数据库中目标数据表的依赖关系中不存在与交易态节点的读写关系之后,包括:根据所述源数据库中目标数据表的表结构特征确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。进一步地,所述根据所述源数据库中目标数据表的表结构特征确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:判断所述源数据库中目标数据表的表结构特征中是否含有唯一索引信息,若无,则判定所述数据同步任务的任务类型为离线补偿同步任务以及所述离线补偿同步任务的任务触发时间为定时触发或主备切换触发。进一步地,在判断所述源数据库中目标数据表的表结构特征中含有唯一索引信息之后,包括:根据所述源数据库中目标数据表的数据量确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。进一步地,所述根据所述源数据库中目标数据表的数据量确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:判断所述源数据库中目标数据表的数据量是否超过预设数据量阈值,若是,则对所述目标数据表进行水平数据表拆分,直至经过所述水平数据表拆分后的目标数据表的数据量小于预设数据量阈值,并判定所述数据同步任务的任务类型为联机补偿同步任务以及所述联机补偿同步任务的任务触发时间为定时触发或主备切换触发。第二方面,本申请提供一种数据库数据同步装置,包括:数据同步任务创建模块,用于根据源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间;数据同步任务执行模块,用于根据所述任务触发时间和所述数据同步任务,将所述目标数据表同步至目标数据库中。进一步地,所述数据同步任务创建模块包括:增量同步任务创建单元,用于根据所述源数据库中目标数据表的依赖关系确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。进一步地,所述增量同步任务创建单元包括:依赖关系判断子单元,用于判断所述源数据库中目标数据表的依赖关系中是否存在与交易态节点的读写关系,若是,则判定所述数据同步任务的任务类型为增量同步任务以及所述增量同步任务的任务触发时间为实时或定时触发。进一步地,所述数据同步任务创建模块包括:离线补偿同步任务创建单元,用于根据所述源数据库中目标数据表的表结构特征确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。进一步地,所述离线补偿同步任务创建单元包括:表结构判断子单元,用于判断所述源数据库中目标数据表的表结构特征中是否含有唯一索引信息,若无,则判定所述数据同步任务的任务类型为离线补偿同步任务以及所述离线补偿同步任务的任务触发时间为定时触发或主备切换触发。进一步地,所述数据同步任务创建模块包括:联机补偿同步任务创建单元,用于根据所述源数据库中目标数据表的数据量确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。进一步地,所述联机补偿同步任务创建单元包括:数据量判断子单元,用于判断所述源数据库中目标数据表的数据量是否超过预设数据量阈值,若是,则对所述目标数据表进行水平数据表拆分,直至经过所述水平数据表拆分后的目标数据表的数据量小于预设数据量阈值,并判定所述数据同步任务的任务类型为联机补偿同步任务以及所述联机补偿同步任务的任务触发时间为定时触发或主备切换触发。第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的数据库数据同步方法的步骤。第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的数据库数据同步方法的步骤。由上述技术方案可知,本申请提供一种数据库数据同步方法及装置,通过分析源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,然后根据所述任务触发时间和所述数据同步任务,将所述目标数据表同步至目标数据库中,完成数据库之间的数据同步操作,由于本申请的数据同步任务以目标数据表的特征信息进行划分确定,即不同特征的数据表可以对应不同的数据同步方法,且还对应有不同的数据同步的时机(即任务触发时间),由此保障数据库数据同步时的数据一致性,能够便捷、有效、准确得实现主备数据库数据同步操作。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本申请实施例中的数据库数据同步方法的流程示意图;图2为本申请实施例中的数据库数据同步装置的结构图之一;图3为本申请实施例中的数据库数据同步装置的结构图之二;图4为本申请实施例中的数据库数据同步装置的结构图之三;图5为本申请实施例中的数据库数据同步装置的结构图之四;图6为本申请一具体实施例中的数据库数据同步系统的架构图;图7为本申请一具体实施例中的数据同步任务定义判断的流程示意图;图8为本申请一具体实施例中的数据同步任务状态变化的示意图;图9为本申请一具体实施例中的增量同步任务处理的流程示意图;本文档来自技高网...

【技术保护点】
1.一种数据库数据同步方法,其特征在于,所述方法包括:/n根据源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间;/n根据所述任务触发时间和所述数据同步任务,将所述目标数据表同步至目标数据库中。/n

【技术特征摘要】
1.一种数据库数据同步方法,其特征在于,所述方法包括:
根据源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间;
根据所述任务触发时间和所述数据同步任务,将所述目标数据表同步至目标数据库中。


2.根据权利要求1所述的数据库数据同步方法,其特征在于,所述根据源数据库中目标数据表的特征信息,确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:
根据所述源数据库中目标数据表的依赖关系确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。


3.根据权利要求2所述的数据库数据同步方法,其特征在于,根据所述源数据库中目标数据表的依赖关系确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:
判断所述源数据库中目标数据表的依赖关系中是否存在与交易态节点的读写关系,若是,则判定所述数据同步任务的任务类型为增量同步任务以及所述增量同步任务的任务触发时间为实时或定时触发。


4.根据权利要求3所述的数据库数据同步方法,其特征在于,在判断所述源数据库中目标数据表的依赖关系中不存在与交易态节点的读写关系之后,包括:
根据所述源数据库中目标数据表的表结构特征确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。


5.根据权利要求4所述的数据库数据同步方法,其特征在于,所述根据所述源数据库中目标数据表的表结构特征确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:
判断所述源数据库中目标数据表的表结构特征中是否含有唯一索引信息,若无,则判定所述数据同步任务的任务类型为离线补偿同步任务以及所述离线补偿同步任务的任务触发时间为定时触发或主备切换触发。


6.根据权利要求5所述的数据库数据同步方法,其特征在于,在判断所述源数据库中目标数据表的表结构特征中含有唯一索引信息之后,包括:
根据所述源数据库中目标数据表的数据量确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间。


7.根据权利要求6所述的数据库数据同步方法,其特征在于,所述根据所述源数据库中目标数据表的数据量确定对应的数据同步任务和与所述数据同步任务对应的任务触发时间,包括:
判断所述源数据库中目标数据表的数据量是否超过预设数据量阈值,若是,则对所述目标数据表进行水平数据表拆分,直至经过所述水平数据表拆分后的目标数据表的数据量小于预设数据量阈值,并判定所述数据同步任务的任务类型为联机补偿同步任务以及所述联机补偿同步任务的任务触发时间为定时触发或主备切换触发。


8.一种数据库数据同步装置,其特征在于,包括:
数据同步任务创建模块,用于...

【专利技术属性】
技术研发人员:陈兴周歆易辛悦章磊
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1