数据的容灾恢复方法、系统、终端设备及计算机存储介质技术方案

本发明专利技术涉及金融科技技术领域，公开了一种数据的容灾恢复方法、系统、终端设备以及计算机存储介质。该数据的容灾恢复方法通过数据容灾恢复设备建立与预设主集群的灾备数据库之间的通信连接；通过所述通信连接读取所述预设主集群执行的工作流；根据预设的关系链模型获取所述工作流中各任务节点的任务参数，其中，所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到；检测所述任务参数的同步状态，以根据所述同步状态确定各所述任务节点中待重新执行的目标节点，并触发容灾恢复机制执行所述目标节点。本发明专利技术能达成快速和精细化进行容灾切换的目的，从而提高容灾恢复效率。从而提高容灾恢复效率。从而提高容灾恢复效率。

【技术实现步骤摘要】
数据的容灾恢复方法、系统、终端设备及计算机存储介质


[0001]本专利技术涉及金融科技(Fintech)
，尤其涉及一种数据的容灾恢复方法、系统、终端设备以及计算机存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性以及稳定性等要求，也对技术提出了更高的要求。
[0003]时下，大数据异地容灾的场景下，主、备集群分别运行在两个不同的机房中，分别运行独立的账户系统并使用独立的运维管控系统。目前大数据异地容灾方案只考虑离线侧的数据容灾，涉及的基础组件主要是Hadoop(Apac he Hadoop，一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架)、Hive(Apache Hive，基于Hadoop的一个数据仓库工具)以及大数据平台任务调度系统(Big Data Platform Job Scheduling S ystem)。
[0004]现有大数据集群容灾策略是：通过跨机房数据同步工具将主集群每天变化的数据同步到容灾集群，从而当主集群不可用时，切换到灾备集群。然而，现有的大数据集群容灾方案中，在切换到容灾环境之后还需要在容灾环境下重跑执行将业务数据导入、加工，和再导出到业务系统的整个流程，才能够完成整个容灾切换过程，如此，导致容灾切换耗时较长，不能快速高效的完成容灾切换。

技术实现思路

[0005]本专利技术的主要目的在于提供一种数据的容灾恢复方法、系统、终端设备以及计算机存储介质，旨在实现在主集群发生灾难无法提供服务时，快速和精细化的进行容灾切换，进而提高容灾恢复效率。
[0006]为实现上述目的，本专利技术提供一种数据的容灾恢复方法，所述数据的容灾恢复方法应用于数据容灾恢复设备，所述数据的容灾恢复方法包括：
[0007]建立与预设主集群的灾备数据库之间的通信连接；
[0008]通过所述通信连接读取所述预设主集群执行的工作流；
[0009]根据预设的关系链模型获取所述工作流中各任务节点的任务参数，其中，所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到；
[0010]检测所述任务参数的同步状态，以根据所述同步状态确定各所述任务节点中待重新执行的目标节点，并触发容灾恢复机制执行所述目标节点。
[0011]此外，为实现上述目的，本专利技术还提供一种数据的容灾恢复系统，所述数据的容灾恢复系统，包括：
[0012]连接模块，用于建立与预设主集群的灾备数据库之间的通信连接；
[0013]工作流读取模块，用于通过所述通信连接读取所述预设主集群执行的工作流；
[0014]获取模块，用于根据预设的关系链模型获取所述工作流中各任务节点的任务参数，其中，所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到；
[0015]恢复模块，用于检测所述任务参数的同步状态，以根据所述同步状态确定各所述任务节点中待重新执行的目标节点，并触发容灾恢复机制执行所述目标节点。
[0016]其中，本专利技术数据的容灾恢复系统的各个功能模块各自在运行时均实现如上所述的数据的容灾恢复方法的步骤。
[0017]此外，为实现上述目的，本专利技术还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据的容灾恢复程序，所述数据的容灾恢复程序被所述处理器执行时实现如上所述的数据的容灾恢复方法的步骤。
[0018]此外，为实现上述目的，本专利技术还提供一种计算机存储介质，所述计算机存储介质上存储有数据的容灾恢复程序，所述数据的容灾恢复程序被处理器执行时实现如上所述的数据的容灾恢复方法的步骤。
[0019]此外，为实现上述目的，本专利技术还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的数据的容灾恢复方法的步骤。
[0020]本专利技术提供一种数据的容灾恢复方法、系统、终端设备、计算机存储介质以及计算机程序产品，通过数据容灾恢复设备建立与预设主集群的灾备数据库之间的通信连接；通过所述通信连接读取所述预设主集群执行的工作流；根据预设的关系链模型获取所述工作流中各任务节点的任务参数，其中，所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到；检测所述任务参数的同步状态，以根据所述同步状态确定各所述任务节点中待重新执行的目标节点，并触发容灾恢复机制执行所述目标节点。
[0021]本专利技术在主集群发生灾难从而无法继续提供服务，从而需要进行容灾切换有容灾集群代替主集群提供服务的过程中，通过容灾集群下的数据容灾恢复设备，建立起与预设主集群的灾备数据库之间的通信连接，从而通过该通信连接读取出该预设主集群在发生灾难时正在执行的工作流；然后，数据容灾恢复设备进一步根据基于数据与数据处理任务之间的血缘关系构建得到的关系链模型，获取该工作流当中各个任务节点的任务参数；最后，检测该各个任务节点各自任务参数的同步状态，从而根据该同步状态确定该各个任务节点当中待重新执行的目标节点，并在确定到该目标节点时出发容灾恢复机制来重新执行该目标节点。
[0022]本专利技术相比于传统的大数据集群容灾方案，通过预先基于数据与数据处理任务之间的血缘关系构建的完整的关系链模型，并结合工作流中任务节点各自任务参数的同步状态，来进行主集群发生灾难情况下切换容灾集群的容灾恢复操作，无需在容灾环境下再针对主集群发生灾难时的全部业务数据任务都执行重跑，而是仅基于结合关系链模型和同步状态确定得出的待重新执行的任务节点进行重跑，如此，可以实现快速进行容灾切换和快速恢复待重新执行的任务节点，达成了快速和精细化进行容灾切换的目的，从而提高了容灾恢复效率。
附图说明
[0023]图1为本专利技术实施例方案涉及的终端设备硬件运行环境的设备结构示意图；
[0024]图2为本专利技术数据的容灾恢复方法一实施例的流程示意图；
[0025]图3为本专利技术数据的容灾恢复方法一实施例所涉及的血缘数据获取和加工流程；
[0026]图4为本专利技术数据的容灾恢复方法一实施例所涉及的数据处理执行任务与数据之间的第一血缘关系；
[0027]图5为本专利技术数据的容灾恢复方法一实施例所涉及的数据处理执行任务与数据处理任务之间的第二血缘关系；
[0028]图6为本专利技术数据的容灾恢复方法一实施例所涉及的数据处理的工作流样例；
[0029]图7为本专利技术数据的容灾恢复方法一实施例所涉及的第二血缘关系的加工流程；
[0030]图8为本专利技术数据的容灾恢复方法一实施例所涉及的数据处理任务与任务执行ID的关系；
[0031]图9为本专利技术数据的容灾恢复方法一实施例所涉及的数据与数据处理任务之间的血缘关系；
[0032]图10为本专利技术数据的容灾恢复方法一实施例所涉及的数据同步流程；
[0033]图11为本专利技术数据的容灾恢复方法一实施例所涉及的容灾恢复处理流程；...

【技术保护点】

【技术特征摘要】
1.一种数据的容灾恢复方法，其特征在于，所述数据的容灾恢复方法应用于数据容灾恢复设备，所述数据的容灾恢复方法包括：建立与预设主集群的灾备数据库之间的通信连接；通过所述通信连接读取所述预设主集群执行的工作流；根据预设的关系链模型获取所述工作流中各任务节点的任务参数，其中，所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到；检测所述任务参数的同步状态，以根据所述同步状态确定各所述任务节点中待重新执行的目标节点，并触发容灾恢复机制执行所述目标节点。2.如权利要求1所述的数据的容灾恢复方法，其特征在于，所述方法还包括：基于数据与数据处理任务之间的血缘关系构建关系链模型；所述基于数据与数据处理任务之间的血缘关系构建关系链模型的步骤，包括：从所述预设主集群中获取血缘数据建立数据处理执行任务与数据之间的第一血缘关系；解析对象简谱文件建立所述数据处理执行任务与数据处理任务之间的第二血缘关系；融合所述第一血缘关系和所述第二血缘关系确定所述数据与所述数据处理任务之间的血缘关系以构建得到关系链模型。3.如权利要求1所述的数据的容灾恢复方法，其特征在于，所述任务参数包括所述任务节点的输入数据和输出数据，所述根据预设的关系链模型获取所述工作流中各任务节点的任务参数的步骤，包括：确定所述工作流的各所述任务节点；根据各所述任务节点分别构建查询语句，根据所述查询语句从所述关系链模型中索引各所述任务节点各自的输入数据和输出数据。4.如权利要求1所述的数据的容灾恢复方法，其特征在于，在所述建立与预设主集群的灾备数据库之间的通信连接的步骤之前，还包括：执行预设的数据同步任务以令所述预设主集群的数据库同步数据至所述灾备数据库。5.如权利要求4所述的数据的容灾恢复方法，其特征在于，所述执行预设的数据同步任务以令所述预设主集群的数据库同步数据至所述灾备数据库的步骤，包括：接收所述数据同步任务，并从所述预设主集群的数据库中读取所述数据同步任务指向的待同步元数据；执行所述数据同步任务，将所述待同步元数据拉取至所述灾备数据库中进行...

【专利技术属性】
技术研发人员：周可，崖飞虎，范筝，乔一航，邸帅，卢道和，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：