一种数据链路的熔断方法和装置制造方法及图纸

本公开提供一种数据链路的熔断方法和装置，涉及大数据处理技术领域

【技术实现步骤摘要】
一种数据链路的熔断方法和装置


[0001]本公开涉及大数据处理
，尤其涉及一种数据链路的熔断方法和装置
。

技术介绍

[0002]数据链路是指从上游数据经过加工处理流转至下游目的地的过程，体现了数据的变化过程，通过对数据链路的观测，可以发现数据存在的异常，对数据的表现进行评估，以及时修复异常数据或者择取表现优异的数据借鉴使用
。
[0003]现有的数据链路观测过程中，通常采用数据监控看板的方式呈现数据链路的历史数据指标，通过观察历史数据指标的变化，鉴别数据的异常，以评估数据优劣
。
[0004]然而，由于监控的是历史数据指标，观察到数据异常时通常距离异常的产生时刻较为久远，随着数据流转已经波及到后续的链路环节，一方面，不仅异常修复需要的回溯计算的成本过高，而且流转时间越长异常排查成本越高；另一方面，用户使用链路的异常数据制定的决策错误率高，导致决策损失较大，有些甚至无法挽回，使得风险成本增加
。

技术实现思路

[0005]有鉴于此，本公开实施例提供一种数据链路的熔断方法和装置，能够解决异常修复回溯计算的成本过高
、
排查成本高
、
损失较大
、
风险成本增加的问题
。
[0006]为实现上述目的，根据本公开的一方面，提供了一种数据链路的熔断方法，包括：
[0007]接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据
、
业务节点和数据处理指令；/>[0008]对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识
、
所述业务节点的业务类型一一对应；
[0009]在所述输入数据
、
和
/
或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前
、
或者所述业务节点与前一节点之间的数据链路
。
[0010]根据本公开的另一方面，提供了一种数据链路的熔断装置，包括：
[0011]接收模块，用于接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据
、
业务节点和数据处理指令；
[0012]检测模块，用于对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识
、
所述业务节点的业务类型一一对应；
[0013]熔断模块，用于在所述输入数据
、
和
/
或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前
、
或者所述业务节点与前一节点之间的数据链路
。
[0014]根据本公开的再一方面，提供了一种电子设备，包括：
[0015]处理器；以及
[0016]存储程序的存储器，
[0017]其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行所述数据链路的熔断方法
。
[0018]根据本公开实施例的还一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述数据链路的熔断方法
。
[0019]本申请实施例中提供的一个或多个技术方案，通过输入数据的数据存在性检测和结果数据的数据质量检测，针对输入数据和结果数据的异常数据，实施不同的应对策略，及时熔断数据链路，可以实现异常输入和异常输出的及时阻隔，从源头和输出之前进行把控，保证输入数据和输出数据的准确性，缩减数据异常的人力
、
时间
、
计算资源等成本的消耗，降低决策风险和异常数据流转造成的损失，提升数据链路的稳定性和流转效率的技术效果
。
附图说明
[0020]在下面结合附图对于示例性实施例的描述中，本公开的更多细节
、
特征和优点被公开，在附图中：
[0021]图1示出了根据本公开示例性实施例的数据链路的熔断方法的流程图；
[0022]图2示出了根据本公开示例性实施例的数据链路的示意图；
[0023]图3示出了根据本公开示例性实施例的数据存在性的检测方法的流程图；
[0024]图4示出了根据本公开示例性实施例的数据存在性检测的熔断方法的流程图；
[0025]图5示出了根据本公开示例性实施例的数据质量检测的熔断方法的流程图；
[0026]图6示出了根据本公开示例性实施例的数据链路的熔断装置的示意性框图；
[0027]图7示出了根据本公开示例性实施例的数据链路的熔断系统的示意图；
[0028]图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图
。
具体实施方式
[0029]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0030]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和
/
或并行执行
。
此外，方法实施方式可以包括附加的步骤和
/
或省略执行示出的步骤
。
本公开的范围在此方面不受限制
。
[0031]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。
术语“基于”是“至少部分地基于”。
术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。
其他术语的相关定义将在下文描述中给出
。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置
、
模块或单元进行区分，并非用于限定这些装置
、
模块或单元所执行的功能的顺序或者相互依存关系
。
[0032]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0033]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制
。
[0034]数据熔断：是指在数据链路中检测到数据异常波动时
(
比如，参数值超过规定阈值等异常
)
，断开链路停止数据流转的一种机制
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据链路的熔断方法，其特征在于，包括：接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据
、
业务节点和数据处理指令；对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识
、
所述业务节点的业务类型一一对应；在所述输入数据
、
和
/
或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前
、
或者所述业务节点与前一节点之间的数据链路
。2.
如权利要求1所述的熔断方法，其特征在于，所述对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板，包括：获取所述业务节点的资源空闲率，判断所述业务节点的资源空闲率是否超过所述存在性模板的空闲率阈值；在所述业务节点的资源空闲率超过所述存在性模板的空闲率阈值的情况下，确定所述业务节点符合所述流通机制；将所述输入数据与所述存在性模板的数据存在项
、
数据完整项
、
数据量大小
、
字段空值率
、
特殊字段格式的属性值进行逐项对比，确定所述输入数据是否符合所述流通机制
。3.
如权利要求2所述的熔断方法，其特征在于，所述将所述输入数据与所述存在性模板的数据存在项
、
数据完整项
、
数据量大小
、
字段空值率
、
特殊字段格式的属性值进行逐项对比，包括：判断所述输入数据的数据内容是否为空，得到所述数据处理请求的数据存在项的属性值是否等于所述存在性模板的数据存在项的属性值；根据所述存在性模板的数据完整项，检测所述输入数据的数据来源是否完整；通过所述存在性模板的更新频率，确定所述输入数据的数据量大小是否超过所述存在性模板的数据量大小的属性值；统计所述输入数据中数据值为空的数据字段占总字段的字段空值率，判断所述输入数据的字段空值率与所述存在性模板的字段空值率的空值率差值是否小于等于空值率阈值；校验所述输入数据中的特殊字段的属性值是否符合所述存在性模板的特殊字段格式
。4.
如权利要求3所述的熔断方法，其特征在于，所述更新频率包括更新时间；所述通过所述存在性模板的更新频率，确定所述输入数据的数据量大小是否超过所述存在性模板的数据量大小的属性值，包括：将所述数据处理请求的数据处理指令的指示时间与所述存在性模板的数据量大小的更新时间进行对比，确定早于且最接近所述指示时间的更新时间为目标时间；判断所述输入数据的主键值是否大于所述目标时间对应的主键值，在所述输入数据的主键值大于所述目标时间的主键值的情况下，确定所述输入数据的数据量大小超过所述存在性模板的数据量大小的属性值
。5.
如权利要求2至4中任一项所述的熔断方法，其特征在于，所述确定所述输入数据是否符合所述流通机制，包括：在所述输入数据不符合所述存在性模板的所述数据存在项
、
所述数据完整项
、
所述数
据量大小
、
所述字段空值率
、
所述特殊字段格式中任一项的要求的情况下，确定所述输入数据不符合所述流通机制
。6.
如权利要求3所述的熔断方法，其特征在于，所述熔断所述业务节点之前
、
或者所述业务节点与前一节点之间的数据链路，包括：获取所述输入数据
、
和
/
或所述业务节点的输入熔断标识；其中，所述输入熔断标识包括空闲率不足
、
存在项为
F、
完整项不符
、
数据量隐患
、
空值率偏差
、
特殊字段有误；在所述输入熔断标识为延时型的情况下，等待所述输入数据和所述业务节点恢复，重新对所述输入数据和所述目标节点进行数据存在性检测；其...

【专利技术属性】
技术研发人员：张亚周，许泽灏，杨青，
申请(专利权)人：度小满科技，
类型：发明
国别省市：