一种基于消息中间件集群的数据同步方法及系统技术方案

本发明专利技术提供了一种基于消息中间件集群的数据同步方法及系统，其中，该基于消息中间件集群的数据同步方法包括：为消息中间件集群配置一个主节点以及多个从节点，从节点包括本地从节点以及虚拟从节点，其中，每一数据中心配置有一消息中间件集群；接收目标消息中间件集群的节点注册请求，从配置的虚拟从节点中，为目标消息中间件集群分配虚拟从节点，构建配置的本地从节点以及分配的虚拟从节点的同步节点集；维护同步节点集；在接收到生产者上传的生产数据后，存储至主节点，将生产数据的副本同步至维护的所述同步节点集中的各从节点，以使从节点对获取的同步数据进行重命名，存储重命名的同步数据。可以实现多数据中心的数据同步，降低数据损失。降低数据损失。降低数据损失。

【技术实现步骤摘要】
一种基于消息中间件集群的数据同步方法及系统


[0001]本专利技术涉及数据同步
，具体而言，涉及一种基于消息中间件集群的数据同步方法及系统。

技术介绍

[0002]随着企业业务的不断发展，产生了大量的数据。为了保障数据的安全性，分散数据故障对企业业务的影响，通过设置多个数据中心，例如，是一些大型企业为了避免自然灾害影响，而选择在不同城市的机房搭建数据中心，实现数据的多地存储，保障数据安全性。其中，每一数据中心独立部署一套分布式文件系统集群，例如，消息中间件(RocketMQ)集群，从而实现数据的存储和访问，从而在一数据中心的数据异常无法恢复时，能够保障其他数据中心的数据。但该数据的存储方法，在数据中心异常时，还是会导致一部分数据丢失或无法恢复，造成数据损失，影响企业业务服务的运行。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供基于消息中间件集群的数据同步方法及系统，以实现多数据中心的数据同步，降低数据损失。
[0004]第一方面，本专利技术实施例提供了基于消息中间件集群的数据同步方法，包括：
[0005]为消息中间件集群配置一个主节点以及多个从节点，所述从节点包括本地从节点以及虚拟从节点，其中，每一数据中心配置有一消息中间件集群；
[0006]接收目标消息中间件集群的节点注册请求，从配置的虚拟从节点中，为所述目标消息中间件集群分配虚拟从节点，构建配置的本地从节点以及分配的虚拟从节点的同步节点集；
[0007]维护所述同步节点集；
[0008]在接收到生产者上传的生产数据后，存储至所述主节点，将生产数据的副本同步至维护的所述同步节点集中的各从节点，以使从节点对获取的同步数据进行重命名，存储重命名的同步数据。
[0009]结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述对获取的同步数据进行重命名，包括：
[0010]在获取的同步数据的名称前，添加获取该同步数据的消息中间件集群名称。
[0011]结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，在所述维护所述同步节点集的步骤之后，所述方法还包括：
[0012]在检测到当前数据中心的消息中间件集群发生异常后，依据维护的所述同步节点集，选举一从节点以接管发生异常的消息中间件集群。
[0013]结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，在所述选举一从节点接管发生异常的消息中间件集群的步骤之后，所述方法还包括：
[0014]设置选举的从节点的运行状态为只读。
[0015]结合第一方面、第一方面的第一种可能的实施方式至第三种可能的实施方式中的任一种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述为该消息中间件集群配置一个主节点以及多个从节点，包括：
[0016]在消息中间件集群中，设置本地主节点、本地从节点以及虚拟从节点，所述本地从节点为所述消息中间件集群中的节点，所述虚拟从节点用于配置除所述消息中间件集群之外的其它消息中间件集群中的节点，本地主节点存储生产者的上传数据，并将存储的上传数据的副本同步至本地从节点以及虚拟从节点。
[0017]结合第一方面、第一方面的第一种可能的实施方式至第三种可能的实施方式中的任一种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述将生产数据的副本同步至维护的所述同步节点集中的各从节点，包括：
[0018]针对所述同步节点集中的每一从节点，查询从节点数据偏移记录集，获取该从节点的数据偏移记录值；
[0019]从所述主节点存储的数据中，将数据偏移记录值往后的数据同步至该从节点，更新该从节点的数据偏移记录值。
[0020]结合第一方面、第一方面的第一种可能的实施方式至第三种可能的实施方式中的任一种可能的实施方式，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述将生产数据的副本同步至维护的所述同步节点集中的各从节点，包括：
[0021]针对所述同步节点集中的每一从节点，获取自上一次同步该从节点的数据后，存储生产者上传数据时生成的针对该从节点的写操作日志；
[0022]将存储的写操作日志发送至对应的从节点，以使所述从节点从存储所述写操作日志的消息中间件集群中，拉取所述写操作日志对应的数据。
[0023]第二方面，本专利技术实施例还提供了一种基于消息中间件集群的数据同步装置，包括：
[0024]节点配置模块，用于为消息中间件集群配置一个主节点以及多个从节点，所述从节点包括本地从节点以及虚拟从节点，其中，每一数据中心配置有一消息中间件集群；
[0025]节点分配模块，用于接收目标消息中间件集群的节点注册请求，从配置的虚拟从节点中，为所述目标消息中间件集群分配虚拟从节点，构建配置的本地从节点以及分配的虚拟从节点的同步节点集；
[0026]节点维护模块，用于维护所述同步节点集；
[0027]数据同步模块，用于在接收到生产者上传的生产数据后，存储至所述主节点，将生产数据的副本同步至维护的所述同步节点集中的各从节点，以使从节点对获取的同步数据进行重命名，存储重命名的同步数据。
[0028]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0029]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
[0030]本专利技术实施例提供的基于消息中间件集群的数据同步方法及系统，通过为消息中
间件集群配置一个主节点以及多个从节点，所述从节点包括本地从节点以及虚拟从节点，其中，每一数据中心配置有一消息中间件集群；接收目标消息中间件集群的节点注册请求，从配置的虚拟从节点中，为所述目标消息中间件集群分配虚拟从节点，构建配置的本地从节点以及分配的虚拟从节点的同步节点集；维护所述同步节点集；在接收到生产者上传的生产数据后，存储至所述主节点，将生产数据的副本同步至维护的所述同步节点集中的各从节点，以使从节点对获取的同步数据进行重命名，存储重命名的同步数据。这样，将消息中间件集群的数据同步到其它消息中间件集群，从而实现数据同步，可以有效降低消息中间件集群发生异常后的数据损失。
[0031]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0032]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0033]图1示出了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消息中间件集群的数据同步方法，其特征在于，包括：为消息中间件集群配置一个主节点以及多个从节点，所述从节点包括本地从节点以及虚拟从节点，其中，每一数据中心配置有一消息中间件集群；接收目标消息中间件集群的节点注册请求，从配置的虚拟从节点中，为所述目标消息中间件集群分配虚拟从节点，构建配置的本地从节点以及分配的虚拟从节点的同步节点集；维护所述同步节点集；在接收到生产者上传的生产数据后，存储至所述主节点，将生产数据的副本同步至维护的所述同步节点集中的各从节点，以使从节点对获取的同步数据进行重命名，存储重命名的同步数据。2.根据权利要求1所述的方法，其特征在于，所述对获取的同步数据进行重命名，包括：在获取的同步数据的名称前，添加获取该同步数据的消息中间件集群名称。3.根据权利要求1所述的方法，其特征在于，在所述维护所述同步节点集的步骤之后，所述方法还包括：在检测到当前数据中心的消息中间件集群发生异常后，依据维护的所述同步节点集，选举一从节点接管发生异常的消息中间件集群。4.根据权利要求3所述的方法，其特征在于，在所述选举一从节点接管发生异常的消息中间件集群的步骤之后，所述方法还包括：设置选举的从节点的运行状态为只读。5.根据权利要求1至4任一项所述的方法，其特征在于，所述为消息中间件集群配置一个主节点以及多个从节点，包括：在消息中间件集群中，设置本地主节点、本地从节点以及虚拟从节点，所述本地从节点为所述消息中间件集群中的节点，所述虚拟从节点用于配置除所述消息中间件集群之外的其它消息中间件集群中的节点，本地主节点存储生产者的上传数据，并将存储的上传数据的副本同步至本地从节点以及虚拟从节点。6.根据权利要求1至4任一项所述的方法，其特征在于，所述将生产数据的副本同步至维护的所述同步节点集中的各从节点，包括：针对所述同步节点集中的每一从节点，查询从节点数据...

【专利技术属性】
技术研发人员：平凯，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：