【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种kafka集群的热备方法、消息中转站、计算机设备和存储介质。
技术介绍
1、kafka是一种分布式流处理平台，广泛应用于大规模数据集的实时处理和存储。kafka的应用场景往往对高可用性和容灾有较高的要求。
2、为了满足高可用性和容灾的要求，目前的解决方案往往是需要进行手动干预的或者需要较长的切换时间，从而无法在故障发生时提供无缝的切换或者进行快速的恢复。通常kafka集群采用分布式模型部署，具备基本的可扩展性、可靠性、可用性，但是存在一个比较明显的问题：单点故障。
3、虽然分布式集群方案可以提供高可用性，但如果整个城市或地区发生故障(例如，电力中断、网络故障或自然灾害等)，kafka集群可能会受到影响，严重的情况，整个城市的机房或者系统可能都不可用，系统不可用的情况可能会造成当地的业务中断，并带来经济损失，降低了系统的可用性。
4、因此，分布式集群方案并不能完全消除单点故障的风险，当单个区域出现故障时，传统的高可用方式无法满足快速恢复的需求，比如无法提供同城、异地双机房，多机房之间的数据热备。
技术实现思路
1、本专利技术所要解决的技术问题是：现有技术中分布式集群方案并不能完全消除单点故障的风险的问题。
2、针对现有技术的上述不足，提供以下方案：
3、第一方面，本专利技术提供一种一种kafka集群的热备方法，应用于消息中转站，包括：接收来自控制台或者命令行的指令。响应于接收到的来自控制台
4、可选地，实时向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中的数据，包括：将第一源集群中已有的数据进行复制，并向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中已有的数据。以及，实时检测第一源集群中新增的主题以及分区，并将第一源集群中新增的主题以及分区进行复制，并向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中新增的主题以及分区的信息。其中，第一源集群中已有的数据包括第一源集群中已有的消费群组信息，消费群组消费的主题的偏移量信息，与第一源集群中已有的主题相关的数据和配置信息，以及访问控制列表。
5、可选地，还包括：响应于接收到的来自控制台或者命令行的指令为第二指令，等待来自控制台或者命令行的第三指令。以及，响应于接收到第三指令，建立第一源集群与至少一个第一备用集群中的每一个第一备用集群之间的连接，并向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中待传输的数据。其中，第二指令用于指示当前的热备模式为手动热备模式。第三指令包括至少一个源集群的信息，至少一个备用集群的信息，第一源集群与至少一个第一备用集群之间的对应关系以及第一源集群中待传输的数据。第三指令用于指示将第一源集群中待传输的数据向至少一个第一备用集群中的每一个第一备用集群传输。第一源集群是第三指令包括的至少一个源集群中的任一个源集群，至少一个第一备用集群是第三指令包括的至少一个备用集群中与第一源集群对应的备用集群。第一源集群与至少一个第一备用集群中的任一个第一备用集群分别设置在不同的机房或者区域或者城市。
6、可选地，第一源集群中待传输的数据包括第一源集群的主题中预设的主题的信息。
7、可选地，还包括：对第一源集群与至少一个第一备用集群中的每一个第一备用集群之间进行数据传输过程中的操作和/或参数进行记录，以生成传输日志。
8、可选地，还包括：响应于接收到来自控制台或者命令行的第四指令，对第一源集群进行写入限制，停止向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中的数据，或者停止向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中待传输的数据。以及，验证第一源集群中的数据与至少一个第一备用集群中的每一个第一备用集群中数据是否一致。若是，则从至少一个第一备用集群中选择一个第一备用集群作为第二源集群，并使用第二源集群替代第一源集群。其中，第四指令用于指示将第一源集群和至少一个第一备用集群中的任一个第一备用集群进行主备切换。
9、可选地，还包括：确定至少一个第二备用集群。响应于接收到的来自控制台或者命令行的指令为第一指令，建立第二源集群与至少一个第二备用集群中的每一个第二备用集群之间的连接，并实时向至少一个第二备用集群中的每一个第二备用集群传输第二源集群中的数据。响应于接收到的来自控制台或者命令行的指令为第二指令，等待第五指令。以及，响应于接收到第五指令，建立第二源集群与至少一个第二备用集群中的每一个第二备用集群之间的连接，并向至少一个第二备用集群中的每一个第二备用集群传输第二源集群中待传输的数据。其中，至少一个第二备用集群中的任一个第二备用集群是第二源集群的备用集群。第二源集群与至少一个第二备用集群中的任一个第二备用集群分别设置在不同的机房或者区域或者城市。第一指令用于指示当前的热备模式为自动热备模式。第二指令用于指示当前的热备模式为手动热备模式。第五指令包括第二源集群中待传输的数据。第五指令用于指示将第二源集群中待传输的数据向至少一个第二备用集群中的每一个第二备用集群传输。
10、可选地，至少一个第二备用集群包括第一源集群或者格式化之后的第一源集群。
11、第二方面，本专利技术提供一种消息中转站，包括指令接收模块和第一指令执行模块。其中，指令接收模块设置为：接收来自控制台或者命令行的指令。第一指令执行模块，其设置为：响应于接收到的接收来自控制台或者命令行的指令为第一指令，确定至少一个源集群与至少一个备用集群。建立第一源集群与至少一个第一备用集群中的每一个第一备用集群之间的连接，并实时向至少一个第一备用集群中的每一个第一备用集群传输第一源集群中的数据。其中，第一指令用于指示当前的热备模式为自动热备模式。第一源集群是至少一个源集群中的任一个源集群，至少一个第一备用集群是至少一个备用集群中与第一源集群对应的备用集群。
12、第三方面，本专利技术提供一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，当处理器运行存储器存储的计算机程序时，处理器执行上述kafka集群的热备方法。
13、第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，处理器执行上述kafka集群的热备方法。
14、本专利技术提供的kafka集群的热备方法、消息中转站、计算机设备和存储介质，提供了不局限于地域的两地热备，既可以提供同城、本文档来自技高网...
【技术保护点】
1.一种Kafka集群的热备方法，其特征在于，应用于消息中转站，包括：
2.根据权利要求1所述的Kafka集群的热备方法，其特征在于，所述实时向所述至少一个第一备用集群中的每一个第一备用集群传输所述第一源集群中的数据，包括：
3.根据权要求1所述的Kafka集群的热备方法，其特征在于，还包括：
4.根据权利要求3所述的Kafka集群的热备方法，其特征在于，所述第一源集群中待传输的数据包括所述第一源集群的主题中预设的主题的信息。
5.根据权利要求1或3所述的Kafka集群的热备方法，其特征在于，还包括：
6.根据权利要求1或3所述的Kafka集群的热备方法，其特征在于，还包括：
7.根据权利要求6所述的Kafka集群的热备方法，其特征在于，还包括：
8.根据权利要求7所述的Kafka集群的热备方法，其特征在于，所述至少一个第二备用集群包括所述第一源集群或者格式化之后的第一源集群。
9.一种消息中转站，其特征在于，包括：
10.一种计算机设备，其特征在于，包括存储器和处理器，所
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，所述处理器执行根据权利要求1至8中任一项所述的Kafka集群的热备方法。
...【技术特征摘要】
1.一种kafka集群的热备方法，其特征在于，应用于消息中转站，包括：
2.根据权利要求1所述的kafka集群的热备方法，其特征在于，所述实时向所述至少一个第一备用集群中的每一个第一备用集群传输所述第一源集群中的数据，包括：
3.根据权要求1所述的kafka集群的热备方法，其特征在于，还包括：
4.根据权利要求3所述的kafka集群的热备方法，其特征在于，所述第一源集群中待传输的数据包括所述第一源集群的主题中预设的主题的信息。
5.根据权利要求1或3所述的kafka集群的热备方法，其特征在于，还包括：
6.根据权利要求1或3所述的kafka集群的热备方法，其特征在于，还包括：
7....
【专利技术属性】
技术研发人员：李研，何非，许冬勇，白涛，李国华，刘玉宏，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。