本公开实施例公开了一种集群间数据同步备份方法、装置、计算机可读存储介质、电子设备及计算机程序产品，其中，该方法包括：从配置端口接收数据同步配置信息；基于数据同步配置信息，从源服务器集群获取流式数据集合并存入数据存储区；从数据存储区中提取目标数据，并对目标数据进行格式化处理，得到格式化目标数据；基于数据同步配置信息，确定格式化目标数据对应的分区定位方式；按照分区定位方式，在目标服务器集群中确定格式化目标数据对应的目标分区，并将格式化目标数据发送至目标分区中存储。本公开实施例利用数据存储区持久保存数据流，从而支持容灾恢复的功能，并且通过设置与用户交互的配置端口，实现低代码量动态配置的功能。置的功能。置的功能。
【技术实现步骤摘要】
集群间数据同步备份方法、装置、存储介质及电子设备
[0001]本公开涉及计算机
，尤其是一种集群间数据同步备份方法、装置、计算机可读存储介质、计算机程序产品及电子设备。
技术介绍
[0002]随着互联网
的不断发展，各种业务的数据量不断增多。例如用户商机行为回收场景中，商机生成利用的是消息队列数据流，如用户和经纪人聊天数据流。由于日益增长的业务量，消息呈现爆炸式增长，现有消息主题的数据分区已经无法支持高峰业务的数据需求。带来消息积压、吞吐量低、系统延迟高等问题，而原本的消息主题与多种业务深度耦合，切换主题成本极高。
[0003]为了降低上述问题的影响，目前的解决方案是利用消息队列同步工具(例如Kafka Mirror Maker)，实时对数据流进行同步备份。然而目前的数据同步方法大多采用一个生产消费进程，无法实现熔灾恢复、动态配置、进程监控等功能，无法稳定的支持更多的业务需求。
技术实现思路
[0004]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种集群间数据同步备份方法、装置、计算机可读存储介质、电子设备及计算机程序产品。
[0005]本公开的实施例提供了一种集群间数据同步备份方法，该方法包括：从预设的与用户交互的配置端口接收针对目标同步任务设置的数据同步配置信息；基于数据同步配置信息，从源服务器集群获取流式数据集合，并将流式数据集合存入预设的数据存储区；从数据存储区中提取目标数据，并对目标数据进行格式化处理，得到符合数据同步配置信息指示的目标格式的格式化目标数据；基于数据同步配置信息，确定格式化目标数据对应的分区定位方式；按照分区定位方式，在目标服务器集群中确定格式化目标数据对应的目标分区，并将格式化目标数据发送至目标分区中存储。
[0006]在一些实施例中，对目标数据进行格式化处理，得到符合数据同步配置信息指示的目标格式的格式化目标数据，包括：确定目标数据的主题关键值；基于主题关键值和目标数据，生成符合目标格式的格式化目标数据。
[0007]在一些实施例中，确定目标数据的主题关键值，包括：响应于确定目标数据不包括主题关键值，按照数据同步配置信息表示的主题关键值生成方式，生成目标数据的主题关键值。
[0008]在一些实施例中，按照分区定位方式，在目标服务器集群中确定格式化目标数据对应的目标分区，包括：基于格式化目标数据包括的主题关键值，在目标服务器集群中确定与主题关键值对应的至少一个分区；基于分区定位方式，在至少一个分区中确定用于存储格式化目标数据对应的目标分区。
[0009]在一些实施例中，在从预设的与用户交互的配置端口接收针对目标同步任务设置
的数据同步配置信息之后，方法还包括：将数据同步配置信息存储到预设的配置信息管理表中；响应于接收到配置信息查询指令，从配置信息管理表中提取配置信息查询指令对应的目标数据同步配置信息；输出目标数据同步配置信息。
[0010]在一些实施例中，基于数据同步配置信息，从源服务器集群获取流式数据集合，并将流式数据集合存入预设的数据存储区，包括：基于数据同步配置信息，设置至少两个数据获取进程；通过至少两个数据获取进程，并发地从源服务器集群获取流式数据集合，并将流式数据集合中的流式数据并发地存入数据存储区。
[0011]在一些实施例中，该方法还包括：获取针对目标同步任务在执行期间实时采集的至少一条监控信息；将至少一条监控信息存储到预设的监控信息表中；响应于接收到监控信息展示指令，从监控信息表中，提取监控信息展示指令对应的目标监控信息，并输出目标监控信息。
[0012]在一些实施例中，在获取针对目标同步任务在执行期间实时采集的至少一条监控信息之后，该方法还包括：响应于确定当前采集的至少一条监控信息包括符合预设异常条件的异常监控信息，生成并输出异常监控信息对应的警告信息。
[0013]在一些实施例中，该方法还包括：在目标同步任务在执行期间，响应于从配置端口接收到用于管理目标同步任务的任务管理配置信息，基于任务管理配置信息，对目标同步任务的运行状态进行调整。
[0014]在一些实施例中，在将格式化目标数据发送至目标分区中存储之后，该方法还包括：确定目标数据在流式数据集合中的偏移量，并将偏移量存储至数据存储区；响应于确定格式化目标数据未成功存入分区，提取偏移量，并基于偏移量，重新获取目标数据并重新对目标数据进行数据同步备份操作。
[0015]根据本公开实施例的另一个方面，提供了一种集群间数据同步备份装置，该装置包括：接收模块，用于从预设的与用户交互的配置端口接收针对目标同步任务设置的数据同步配置信息；第一获取模块，用于基于数据同步配置信息，从源服务器集群获取流式数据集合，并将流式数据集合存入预设的数据存储区；格式化模块，用于从数据存储区中提取目标数据，并对目标数据进行格式化处理，得到符合数据同步配置信息指示的目标格式的格式化目标数据；确定模块，用于基于数据同步配置信息，确定格式化目标数据对应的分区定位方式；发送模块，用于按照分区定位方式，在目标服务器集群中确定格式化目标数据对应的目标分区，并将格式化目标数据发送至目标分区中存储。
[0016]根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时，实现上述集群间数据同步备份方法的步骤。
[0017]根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述集群间数据同步备份方法。
[0018]根据本公开实施例的另一个方面，提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令被处理器执行时实现上述集群间数据同步备份方法的步骤。
[0019]基于本公开上述实施例提供的集群间数据同步备份方法、装置、计算机可读存储介质、电子设备及计算机程序产品，通过从与用户交互的配置端口接收数据同步配置信息，
基于数据同步配置信息，从源服务器集群获取流式数据集合，并将流式数据集合存入预设的数据存储区，然后从数据存储区中提取目标数据，并对目标数据进行格式化处理，得到符合目标格式的格式化目标数据，再基于数据同步配置信息，确定格式化目标数据对应的分区定位方式，最后按照分区定位方式，在目标服务器集群中确定格式化目标数据对应的目标分区，并将格式化目标数据发送至目标分区中存储。本公开实施例实现了利用数据存储区持久保存从源服务器集群拉取的数据流，从而支持容灾恢复的功能，并且通过设置与用户交互的配置端口，实现用户可以通过配置端口动态地对数据同步任务进行配置，实现低代码量动态配置的功能。
[0020]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0021]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种集群间数据同步备份方法，包括：从预设的与用户交互的配置端口接收针对目标同步任务设置的数据同步配置信息；基于所述数据同步配置信息，从源服务器集群获取流式数据集合，并将所述流式数据集合存入预设的数据存储区；从所述数据存储区中提取目标数据，并对所述目标数据进行格式化处理，得到符合所述数据同步配置信息指示的目标格式的格式化目标数据；基于所述数据同步配置信息，确定所述格式化目标数据对应的分区定位方式；按照所述分区定位方式，在目标服务器集群中确定所述格式化目标数据对应的目标分区，并将所述格式化目标数据发送至所述目标分区中存储。2.根据权利要求1所述的方法，其中，所述对所述目标数据进行格式化处理，得到符合所述数据同步配置信息指示的目标格式的格式化目标数据，包括：确定所述目标数据的主题关键值；基于所述主题关键值和所述目标数据，生成符合所述目标格式的格式化目标数据。3.根据权利要求2所述的方法，其中，所述确定所述目标数据的主题关键值，包括：响应于确定所述目标数据不包括主题关键值，按照所述数据同步配置信息表示的主题关键值生成方式，生成所述目标数据的主题关键值。4.根据权利要求2或3所述的方法，其中，所述按照所述分区定位方式，在目标服务器集群中确定所述格式化目标数据对应的目标分区，包括：基于所述格式化目标数据包括的主题关键值，在所述目标服务器集群中确定与所述主题关键值对应的至少一个分区；基于所述分区定位方式，在所述至少一个分区中确定用于存储所述格式化目标数据对应的目标分区。5.根据权利要求1所述的方法，其中，在所述从预设的与用户交互的配置端口接收针对目标同步任务设置的数据同步配置信息之后，所述方法还包括：将所述数据同步配置信息存储到预...
【专利技术属性】
技术研发人员：曹远鹏，
申请(专利权)人：贝壳找房北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。