一种异构数据库中数据的同步方法技术

本发明专利技术公开了一种异构数据库中数据的同步方法，属于数据库技术领域，包括第一数据同步机制和第二数据同步机制，第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测第一数据同步机制的状态；第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将源数据库中预定范围的数据同步至目标数据库；启用第二数据同步机制，包括：接收分布式资源管理平台推送的数据同步任务；数据同步任务包括数据恢复时间点及源数据库中的待同步数据库表的标识，检测第二数据同步机制的状态，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。

A method of data synchronization in heterogeneous database

【技术实现步骤摘要】
一种异构数据库中数据的同步方法
本专利技术涉及数据库
，更具体地说，涉及一种异构数据库中数据的同步方法。
技术介绍
对于异构数据库，目前现有的数据同步手段可通过DRC(DataReplicationCenter，数据同步中心)监听源数据库的binlog日志(这里的源数据库是基于mysql数据库技术)，然后通过消息将binlog日志发送到订阅端，订阅端拿到消息后生成相应的ETL(ExtractTransformLoading，数据抽取转化装载规则)任务，然后基于ETL任务将数据同步到目标数据库中。然而，一旦DRC异常(比如宕机)暂时无法自动恢复时，源数据库的增量数据则无法同步到目标数据库。由于增量数据未及时同步到目标数据库，往往也就丧失了其时效性，进而还可能影响基于该目标数据库的系统应用(比如系统无法及时向用户推送最新资讯)。
技术实现思路
针对现有技术的不足，本专利技术的目的在于提供一种异构数据库中数据的同步方法，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。本专利技术的目的可以通过以下技术方案实现：一种异构数据库的数据同步方法，包括以下步骤：包括第一数据同步机制和第二数据同步机制，第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测所述第一数据同步机制的状态；第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将所述源数据库中预定范围的数据同步至所述目标数据库；所述启用第二数据同步机制，包括：接收分布式资源管理平台推送的数据同步任务；所述数据同步任务包括数据恢复时间点及所述源数据库中的待同步数据库表的标识，检测所述第二数据同步机制的状态，检测第二数据同步机制的状态异常时，第二数据同步机制重新定时读取待同步数据库表中数据，并将第二数据同步机制的状态对第二数据同步机制作出标识；根据所述待同步数据库表的标识，从该待同步数据库表中定时读取，其创建时间点晚于所述数据恢复时间点的所有数据放入临时列表，并将所述临时列表中的数据插入所述目标数据库中对应的数据库表；所述定时读取接收到由调度中心定时发送的驱动消息时触发，每次触发读取范围为创建时间晚于上一次读取的截止时间的所有数据。作为本专利技术的一种优选方案，所述定时读取检测第二数据同步机制的状态异常时，定时读取将已读取的数据存储在新建临时列表。作为本专利技术的一种优选方案，所述新建临时列表的结构与异构数据库的列表相同。作为本专利技术的一种优选方案，所述定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空所述新建临时列表。作为本专利技术的一种优选方案，在第二数据同步机制自动清空所述新建临时列表步骤前，第二数据同步机制将所述新建临时列表里全部内容转录至错误信息列表。作为本专利技术的一种优选方案，所述错误信息列表由第二数据同步机制创建，所述错误信息列表的结构与异构数据库的列表相同。本专利技术的有益效果：定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空所述新建临时列表，在第二数据同步机制自动清空所述新建临时列表步骤前，第二数据同步机制将所述新建临时列表里全部内容转录至错误信息列表，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本实施例的异构数据库的数据同步方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。如图1所示，一种异构数据库的数据同步方法，其特征在于，包括以下步骤：包括第一数据同步机制和第二数据同步机制，第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测第一数据同步机制的状态；第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将源数据库中预定范围的数据同步至目标数据库；启用第二数据同步机制，包括：接收分布式资源管理平台推送的数据同步任务；数据同步任务包括数据恢复时间点及源数据库中的待同步数据库表的标识，检测第二数据同步机制的状态，检测第二数据同步机制的状态异常时，第二数据同步机制重新定时读取待同步数据库表中数据，并将第二数据同步机制的状态对第二数据同步机制作出标识；根据待同步数据库表的标识，从该待同步数据库表中定时读取，其创建时间点晚于数据恢复时间点的所有数据放入临时列表，并将临时列表中的数据插入目标数据库中对应的数据库表；定时读取接收到由调度中心定时发送的驱动消息时触发，每次触发读取范围为创建时间晚于上一次读取的截止时间的所有数据。定时读取检测第二数据同步机制的状态异常时，定时读取将已读取的数据存储在新建临时列表。新建临时列表的结构与异构数据库的列表相同。定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空新建临时列表。在第二数据同步机制自动清空新建临时列表步骤前，第二数据同步机制将新建临时列表里全部内容转录至错误信息列表。错误信息列表由第二数据同步机制创建，错误信息列表的结构与异构数据库的列表相同。定时读取第二次检测第二数据同步机制的状态正常时，第二数据同步机制自动清空新建临时列表，在第二数据同步机制自动清空新建临时列表步骤前，第二数据同步机制将新建临时列表里全部内容转录至错误信息列表，解决了现有技术中数据同步机制因异常错误信息无法记录的问题的问题。数据库检测异常时，数据库停止运行，该数据库启用第一数据同步机制和第二数据同步机制。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。以上显示和描述了本专利技术的基本原理、主要特征和本专利技术的优点。本行业的技术人员应该了解，本专利技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本专利技术的原理，在不脱离本专利技术精神和范围的前提下，本专利技术还会有各种变化和改进，这些变化和改进都落入要求保护的本专利技术范围内。本文档来自技高网...

【技术保护点】
1.一种异构数据库的数据同步方法，其特征在于，包括以下步骤：/n包括第一数据同步机制和第二数据同步机制，/n第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测所述第一数据同步机制的状态；/n第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将所述源数据库中预定范围的数据同步至所述目标数据库；/n所述启用第二数据同步机制，包括：/n接收分布式资源管理平台推送的数据同步任务；所述数据同步任务包括数据恢复时间点及所述源数据库中的待同步数据库表的标识，检测所述第二数据同步机制的状态，检测第二数据同步机制的状态异常时，第二数据同步机制重新定时读取待同步数据库表中数据，并将第二数据同步机制的状态对第二数据同步机制作出标识；/n根据所述待同步数据库表的标识，从该待同步数据库表中定时读取，其创建时间点晚于所述数据恢复时间点的所有数据放入临时列表，并将所述临时列表中的数据插入所述目标数据库中对应的数据库表；/n所述定时读取接收到由调度中心定时发送的驱动消息时触发，每次触发读取范围为创建时间晚于上一次读取的截止时间的所有数据。/n

【技术特征摘要】
1.一种异构数据库的数据同步方法，其特征在于，包括以下步骤：
包括第一数据同步机制和第二数据同步机制，
第一数据同步机制将原数据中预定范围的数据同步至目标数据库的过程中，检测所述第一数据同步机制的状态；
第二数据同步机制用于第一数据同步机制的状态异常时，启用第二数据同步机制，以将所述源数据库中预定范围的数据同步至所述目标数据库；
所述启用第二数据同步机制，包括：
接收分布式资源管理平台推送的数据同步任务；所述数据同步任务包括数据恢复时间点及所述源数据库中的待同步数据库表的标识，检测所述第二数据同步机制的状态，检测第二数据同步机制的状态异常时，第二数据同步机制重新定时读取待同步数据库表中数据，并将第二数据同步机制的状态对第二数据同步机制作出标识；
根据所述待同步数据库表的标识，从该待同步数据库表中定时读取，其创建时间点晚于所述数据恢复时间点的所有数据放入临时列表，并将所述临时列表中的数据插入所述目标数据库中对应的数据库表；
所述定时读取接收到由调度中心定时发送的驱动消息时触发，每次...

【专利技术属性】
技术研发人员：方小牛，张玄，段欢欢，陈慧清，
申请(专利权)人：安徽华典大数据科技有限公司，
类型：发明
国别省市：安徽;34