【技术实现步骤摘要】
一种数据同步方法、装置及服务器
本专利技术涉及数据处理
,具体涉及一种数据同步方法、装置及服务器。
技术介绍
数据库的所有操作记录都包含在redolog(重做日志)中,如果数据库宕机导致数据丢失,可以通过解析redolog进行数据重做和恢复。但Redolog保存的重做日志数据经过加密保存,无法直接读取并使用。现有比较常见的数据库数据变更捕捉技术(ChangeDataCapature,CDC)有OGG、DataX等,这些技术产品基本都是收费的或者需要复杂的安装操作。在一些数据库备份数据实时性要求比较高的场景中,需要一种可以实现数据库实时数据同步的技术来实现该场景下的需求。
技术实现思路
有鉴于此,本专利技术实施例提供了一种数据同步方法、装置及服务器,以实现数据库实时数据同步,满足数据库备份数据的高实时性要求。根据第一方面,本专利技术实施例提供了一种数据同步方法,包括:获取同步关系,所述同步关系包括数据源信息及对应的数据目的信息,数据源信息包括源数据库信息及源数据库中的源数据表信息;数据目的信息包括目的数据库信息及目的数据库中的目的数据表信息;基于所述同步关系,通过数据库变更抽取任务抽取所述源数据库表的变化数据;所述数据库变更抽取任务使用数据库变更捕获工具来获取源数据库表中的变化数据;基于所述同步关系,通过数据库变更消费任务将获取的变化数据同步到目的数据表中。通过实施本专利技术,获取同步关系,使用该同步关系的抽取任务及消费任务,实现源数据库到目的数据库的数据同步,处理过程简单,无需依赖于传统的OGG、DataX等技术,以实现数据库实时数据同步,满足数据库备份 ...
【技术保护点】
1.一种数据同步方法,其特征在于,包括:获取同步关系,所述同步关系包括数据源信息及对应的数据目的信息,数据源信息包括源数据库信息及源数据库中的源数据表信息;数据目的信息包括目的数据库信息及目的数据库中的目的数据表信息;基于所述同步关系,通过数据库变更抽取任务抽取所述源数据库表的变化数据;所述数据库变更抽取任务使用数据库变更捕获工具来获取源数据库表中的变化数据;基于所述同步关系,通过数据库变更消费任务将获取的变化数据同步到目的数据表中。
【技术特征摘要】
1.一种数据同步方法,其特征在于,包括:获取同步关系,所述同步关系包括数据源信息及对应的数据目的信息,数据源信息包括源数据库信息及源数据库中的源数据表信息;数据目的信息包括目的数据库信息及目的数据库中的目的数据表信息;基于所述同步关系,通过数据库变更抽取任务抽取所述源数据库表的变化数据;所述数据库变更抽取任务使用数据库变更捕获工具来获取源数据库表中的变化数据;基于所述同步关系,通过数据库变更消费任务将获取的变化数据同步到目的数据表中。2.根据权利要求1所述的数据同步方法,其特征在于,在基于所述同步关系,通过数据库变更抽取任务抽取所述源数据库表的变化数据之后,还包括:将抽取的变化数据存储至存储中间件中;基于所述同步关系,通过数据库变更消费任务将获取的变化数据同步到目的数据表中,具体包括:基于所述同步关系,通过数据库变更消费任务将从所述存储中间件获取的变化数据同步至目的数据表中。3.根据权利要求2所述的数据同步方法,其特征在于,所述目的数据表具有多个,且数据库变更消费任务的数量与目的数据表的数量相匹配;则在所述基于所述同步关系,通过数据库变更抽取任务抽取所述源数据库表的变化数据之前,所述方法还包括:对各个数据库变更消费任务进行初始化,以将所述源数据库表中变化数据之前的原始数据同步至各个目的数据表中,并分别确定执行最后一条原始数据同步操作后,各个数据库变更消费任务分别对应的初始系统变化标识序列号;以及所述基于所述同步关系,通过数据库变更抽取任务抽取所述源数据库表的变化数据,包括:利用所述数据库变更抽取任务,比较各个数据库变更消费任务分别对应的初始系统变化标识序列号,以确定最小的初始系统变化标识序列号;并从最小的初始系统变化标识序列号对应的数据开始,从所述源数据表中抽取变化数据。4.如权利要求3所述的数据同步方法,其特征在于,将抽取的变化数据存储至存储中间件中,包括:将抽取的变化数据和变化数据的第一系统变化标识序列号存储至所述存储中间件中;在基于所述同步关系,通过数据库变更消费任务将从所述存储中间件获取的变化数据同步至目的数据表中之前,还包括:对所述存储中间件进行初始化,通过将变化数据的第一系统变化标识序列号分别与每个数据库变更消费任务对应的初始系统变化标识序列号进行比较,以分别确定出不低于每个数据库变更消费任务对应的初始系统变化标识序列号的第一系统变化标识序列号;基于所述同步关系,通过数据库变更消费任务将从所述存储中间件获取的变化数据同步至目的数据表中,包括:针对每个数据库变更消费任务,利用该数据库变更消费任务,从不低于该数据库变更消费任务对应的初始系统变化标识序列号的第一系统变化标识序列号对应的数据开始,从所述存储中间件中获取变化数据并同步至该数据库变更消费任务对应的目的数据表中。5.如权利要求2~4任一所述的数据同步方法,其特征在于,在所述基于所述同步关系,通过数据库变更抽取任务抽取所述源数据库表的变化数据之前,所述方法还包括:若确定未为所述源数据库建立同步任务,则为所述源数据库建立同步任务并根据所述同步关...
【专利技术属性】
技术研发人员:李洪雷,
申请(专利权)人:新华三大数据技术有限公司,
类型:发明
国别省市:河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。