基于增量日志解析的数据同步方法和数据同步装置制造方法及图纸

本发明专利技术提出了一种基于增量日志解析的数据同步方法和数据同步装置，其中，所述基于增量日志解析的数据同步方法包括：配置主数据库与从数据库之间的映射信息；根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；接收来自所述主数据库的增量日志，并对所述增量日志进行解析；根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。通过本发明专利技术的技术方案，可以更加准确、安全的实现数据同步。

【技术实现步骤摘要】

本专利技术涉及数据同步
，具体而言，涉及一种基于增量日志解析的数据同步方法和一种基于增量日志解析的数据同步装置。
技术介绍
目前，随着Internet技术的迅速发展和信息共享要求的不断提高，数据库由小型化向大型化发展，由集中式向分布式发展。能处理分散地域的分布式数据库系统成为一个重要研究方向。对于分布式数据库系统来说，为了提高运行效率，数据就要分布在各个不同的节点，同一数据被存储在多个节点上，即存在多个副本(数据冗余)，这样就存在维护数据一致性即数据同步准确率低、安全性低。尤其是异地数据库间数据的同步。因此，如何更加准确、安全的实现数据同步成为亟待解决的技术问题。
技术实现思路
本专利技术正是基于上述问题，提出了一种新的技术方案，可以更加准确、安全的实现数据同步。有鉴于此，本专利技术的第一方面提出了一种基于增量日志解析的数据同步方法，包括：配置主数据库与从数据库之间的映射信息；根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；接收来自所述主数据库的增量日志，并对所述增量日志进行解析；根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。在该技术方案中，通过配置主数据库与从数据库之间的映射信息，保证了在异常情况下(例如，网络发生故障)也可实现从数据库中数据的同步，而且还提高了从数据库中数据同步的准确性。另外，通过从主数据库中获取其增量日志，以更新从数据库中数据，即实现主数据库与从数据库中数据的同步，不仅保证了增量日志在传输过程中的安全，还确保了增量日志在传输过程中不会出现丢包。其中，主数据库和从数据库不仅可以是本地数据库，还可以是异地数据库。在上述技术方案中，优选地，所述接收来自所述主数据库的增量日志之后，且所述对所述增量日志进行解析之前，还包括：生成所述主数据库与所述从数据库的数据同步状态反馈。在该技术方案中，在对增量日志进行解析之前，虽然未完成主数据库与从数据库之间的数据同步，但是在接收到增量日志之后，表示主数据库与从数据库之间将会进行数据同步，则生成主数据库与从数据库的数据同步状态反馈，从而提高了数据同步的速度。在上述任一技术方案中，优选地，还包括：监控所述从数据库中的数据是否更新成功；若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。在该技术方案中，通过监控从数据库的数据更新是否成功，以在更新失败时用户可以手动更新从数据库中的数据，从而保证了数据同步的可靠性。在上述任一技术方案中，优选地，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。在该技术方案中，通过配置上述的映射信息，实现了在故障时也可以进行数据同步。另外，配置主数据库与从数据库之间的映射信息的步骤，还包括：配置数据源，即配置抽象的数据介质源信息；配置节点，即配置数据同步过程中的工作节点，每一工作节点对应一个JVM(JavaVirtualMachine，Java虚拟机)；配置主数据库与从数据库之间的同步集群。在上述任一技术方案中，优选地，所述向所述主数据库发送增量日志获取请求之后，还包括：根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。在该技术方案中，根据资源总容量为主数据库所在的服务器分配资源，以使资源可以平均分配到各个服务器上，从而充分利用资源，进而使得数据同步效率达到最佳状态。本专利技术的第二方面提出了一种基于增量日志解析的数据同步装置，包括：配置单元，用于配置主数据库与从数据库之间的映射信息；发送单元，用于根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；解析单元，用于接收来自所述主数据库的增量日志，并对所述增量日志进行解析；同步单元，用于根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。在该技术方案中，通过配置主数据库与从数据库之间的映射信息，保证了在异常情况下(例如，网络发生故障)也可实现从数据库中数据的同步，而且还提高了从数据库中数据同步的准确性。另外，通过从主数据库中获取其增量日志，以更新从数据库中数据，即实现主数据库与从数据库中数据的同步，不仅保证了增量日志在传输过程中的安全，还确保了增量日志在传输过程中不会出现丢包。其中，主数据库和从数据库不仅可以是本地数据库，还可以是异地数据库。在上述技术方案中，优选地，还包括：生成单元，用于在所述接收来自所述主数据库的增量日志之后，且在所述对所述增量日志进行解析之前，生成所述主数据库与所述从数据库的数据同步状态反馈。在该技术方案中，在对增量日志进行解析之前，虽然未完成主数据库与从数据库之间的数据同步，但是在接收到增量日志之后，表示主数据库与从数据库之间将会进行数据同步，则生成主数据库与从数据库的数据同步状态反馈，从而提高了数据同步的速度。在上述任一技术方案中，优选地，还包括：监控单元，用于监控所述从数据库中的数据是否更新成功；提示单元，用于若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。在该技术方案中，通过监控从数据库的数据更新是否成功，以在更新失败时用户可以手动更新从数据库中的数据，从而保证了数据同步的可靠性。在上述任一技术方案中，优选地，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。在该技术方案中，通过配置上述的映射信息，实现了在故障时也可以进行数据同步。另外，配置主数据库与从数据库之间的映射信息的步骤，还包括：配置数据源，即配置抽象的数据介质源信息；配置节点，即配置数据同步过程中的工作节点，每一工作节点对应一个JVM(JavaVirtualMachine，Java虚拟机)；配置主数据库与从数据库之间的同步集群。在上述任一技术方案中，优选地，还包括：资源分配单元，用于根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。在该技术方案中，根据资源总容量为主数据库所在的服务器分配资源，以使资源可以平均分配到各个服务器上，从而充分利用资源，进而使得数据同步效率达到最佳状态。通过本专利技术的技术方案，可以更加准确、安全的实现数据同步。附图说明图1示出了根据本专利技术的一个实施例的基于增量日志解析的数据同步方法的流程示意图；图2示出了根据本专利技术的一个实施例的基于增量日志解析的数据同步装置的结构示意图。具体实施方式为了可以更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。图1示出了根据本专利技术的一个实本文档来自技高网...

【技术保护点】
一种基于增量日志解析的数据同步方法，其特征在于，包括：配置主数据库与从数据库之间的映射信息；根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；接收来自所述主数据库的增量日志，并对所述增量日志进行解析；根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。

【技术特征摘要】
1.一种基于增量日志解析的数据同步方法，其特征在于，包括：配置主数据库与从数据库之间的映射信息；根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；接收来自所述主数据库的增量日志，并对所述增量日志进行解析；根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。2.根据权利要求1所述的基于增量日志解析的数据同步方法，其特征在于，所述接收来自所述主数据库的增量日志之后，且所述对所述增量日志进行解析之前，还包括：生成所述主数据库与所述从数据库的数据同步状态反馈。3.根据权利要求1所述的基于增量日志解析的数据同步方法，其特征在于，还包括：监控所述从数据库中的数据是否更新成功；若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。4.根据权利要求1至3中任一项所述的基于增量日志解析的数据同步方法，其特征在于，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。5.根据权利要求1至3中任一项所述的基于增量日志解析的数据同步方法，其特征在于，所述向所述主数据库发送增量日志获取请求之后，还包括：根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。6.一种基于增量日志解析的数据同步装置...

【专利技术属性】
技术研发人员：张志红，
申请(专利权)人：深圳中兴网信科技有限公司，
类型：发明
国别省市：广东;44