一种数据链路熔断方法及装置和电子设备制造方法及图纸

本公开提供一种数据链路熔断方法及装置和电子设备，数据链路包括多个任务节点，多个任务节点之间具有任务依赖关系，所述方法包括：在目标任务节点执行任务的过程中，检测目标任务节点的业务数据是否满足熔断策略；确定业务数据满足熔断策略的情况下，熔断目标任务节点与目标任务节点的直接后继节点之间的数据链路。本公开提供的方法可以在检测到目标任务节点的业务数据满足熔断策略时，及时熔断目标任务节点与目标任务节点的直接后继节点之间的数据链路，阻止目标任务节点之后的任务节点继续调用目标任务节点的业务数据，从而缩短异常持续时间；同时，在异常恢复后，无需重新调度目标任务节点之前的所有任务节点，从而提高异常检测效率。异常检测效率。异常检测效率。

【技术实现步骤摘要】
一种数据链路熔断方法及装置和电子设备


[0001]本公开涉及数据异常检测
，尤其涉及一种数据链路熔断方法及装置和电子设备。

技术介绍

[0002]数据仓库(Data Warehouse，可简写为DW或DWH)中的数据通常包含大量的历史信息，记录了企业从过去某一时间点到当前的各个阶段的信息，通过这些信息，可以为企业的发展历程和未来趋势做出定量分析和预测。在分析任务或预测任务过程中，当检测到数据异常而发生任务熔断时，还需要分析任务熔断原因并恢复任务。
[0003]在相关技术中，当任务熔断后发出异常报警时，通过人工介入的方式，先定位导致任务熔断的异常点，然后重新调度异常点之前的前驱任务节点，查找任务熔断原因并恢复任务。

技术实现思路

[0004]根据本公开的一方面，提供了一种数据链路熔断方法，数据链路包括多个任务节点，多个任务节点之间具有任务依赖关系，所述方法包括：
[0005]在目标任务节点执行任务的过程中，检测目标任务节点的业务数据是否满足熔断策略，目标任务节点为多个任务节点中的一个；
[0006]确定业务数据满足熔断策略的情况下，熔断目标任务节点与目标任务节点的直接后继节点之间的数据链路，直接后继节点的输入数据为目标任务节点的业务数据。
[0007]根据本公开的另一方面，提供了一种数据链路熔断装置，数据链路包括多个任务节点，多个任务节点之间具有任务依赖关系，所述装置包括：
[0008]检测模块，用于在目标任务节点执行任务的过程中，检测目标任务节点的业务数据是否满足熔断策略，目标任务节点为多个任务节点中的一个；
[0009]熔断模块，用于确定业务数据满足熔断策略的情况下，熔断目标任务节点与目标任务节点的直接后继节点之间的数据链路，直接后继节点的输入数据为目标任务节点的业务数据。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：
[0011]处理器；以及，
[0012]存储程序的存储器；
[0013]其中，程序包括指令，指令在由处理器执行时使处理器执行根据本公开示例性实施例所述的方法。
[0014]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据本公开示例性实施例所述的方法。
[0015]本公开示例性实施例中提供的一个或多个技术方案，可以在目标任务节点执行任务的过程中，检测目标任务节点的业务数据是否满足熔断策略，而目标任务节点为数据链
路包括的多个任务节点中的一个，且多个任务节点之间具有任务依赖关系。基于此，确定业务数据满足熔断策略的情况下，可以熔断目标任务节点与目标任务节点的直接后继节点之间的数据链路，直接后继节点对输入数据为目标任务节点的业务数据。可见，本公开示例性实施例的方法可以利用多个任务节点之间具有任务依赖关系这一特点，当检测到目标任务节点的业务数据满足熔断策略时，无需人工介入，便能及时熔断目标任务节点与目标任务节点的直接后继节点之间的数据链路，避免异常扩散，从而缩短异常持续时间；同时，可以实现在异常恢复后，无需重新调度目标任务节点之前的所有任务节点，修正目标任务节点之前的所有任务节点的业务数据，从而提高异常检测效率。
附图说明
[0016]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
[0017]图1示出了本公开示例性实施例的数据链路熔断方法的流程图；
[0018]图2示出了本公开示例性实施例的获取目标任务节点的业务数据的流程图；
[0019]图3示出了本公开示例性实施例的一种异常检测任务的布置示意图；
[0020]图4示出了本公开示例性实施例的另一种异常检测任务的布置示意图；
[0021]图5示出了本公开示例性实施例的预测模型的架构示意图；
[0022]图6示出了本公开示例性实施例的数据链路熔断装置的模块示意性框图；
[0023]图7示出了本公开示例性实施例的芯片的示意性框图；
[0024]图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0025]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0026]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0027]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0028]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0029]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0030]在介绍本公开实施例之前首先对本公开实施例中涉及到的相关名词作如下释义：
[0031]数据仓库(Data Warehouse，可简写为DW或DWH)，是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non
‑
Volatile)、反映历史变化(Time Variant)的数据集合。数据仓库中的数据通常包含大量的历史信息，记录了企业从过去某一时间点到当前的各个阶段的信息，通过这些信息，可以用于支持企业或组织的决策分析处理，为需要业务智能的企业，为需要指导业务流程改进、监视时间，成本，质量以及控制等。数据仓库可以依照分析需求、分析维度、分析指标进行设计。
[0032]数据链路，是两个结点间的逻辑通道，在一条链路上传输数据时，数据链路除物理链路之外，还必须有通信协议来控制数据的传输。若把实现这些协议的硬件和软件加到链路上，就构成了数据链路。数据链路具有连接具有检测、确认和重传功能，才使不太可靠的链路变成可靠的数据链路，进行可靠的数据传输。数据链路的本质是以数据传输为媒介构成的链路总和，包括链路、链路节点和链路关系。
[0033]数据链路通常存在两种基本的拓扑结构，即点对点型数据链路和一点对多点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据链路熔断方法，其特征在于，所述数据链路包括多个任务节点，多个所述任务节点之间具有任务依赖关系，所述方法包括：在目标任务节点执行任务的过程中，检测所述目标任务节点的业务数据是否满足熔断策略，所述目标任务节点为所述多个任务节点中的一个；确定所述业务数据满足所述熔断策略的情况下，熔断所述目标任务节点与所述目标任务节点的直接后继节点之间的数据链路，所述直接后继节点的输入数据为所述目标任务节点的业务数据。2.根据权利要求1所述的方法，其特征在于，所述熔断所述目标任务节点与所述目标任务节点的直接后继节点之间的数据链路前，所述方法还包括：将所述目标任务节点的业务数据传输至所述直接后继节点。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述业务数据不满足所述熔断策略的情况下，将所述目标任务节点的业务数据传输至所述直接后继节点。4.根据权利要求1所述的方法，其特征在于，所述业务数据的数据维度信息包括数据量维度的业务数据和/或数据质量维度的业务数据。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：解析所述目标任务节点的业务数据表结构，获得数据维度信息；若所述数据维度信息包括数据量维度，从所述目标任务节点的业务数据获取到所述数据量维度的业务数据；若所述数据维度信息包括数据质量维度，从所述目标任务节点的业务数据获取到所述数据质量维度的业务数据。6.根据权利要求1～5任一项所述的方法，其特征在于，所述熔断策略包括：所述目标任务节点的业务数据与业务数据异常阈值匹配。7.根据权利要求6所述的方法，其特征在于，所述目标任务节点的业务数据包括多个维度的业务数据，所述业务数据异常阈值包括多个所述维度的业务数据异常阈值，每个所述维度的业务数据具有一个异常检测结果，所述熔断策略包括多个所述维度的业务数据的...

【专利技术属性】
技术研发人员：陈斌涛，王敏，冯朝明，沈嵊酥，严鹏，宋宇航，
申请(专利权)人：北京新唐思创教育科技有限公司，
类型：发明
国别省市：