【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据延迟检测方法、装置、电子设备、计算机可读介质。
技术介绍
1、对于一些应用场景，如数据时效性要求较高的场景来说，这些场景可能会存在以下需求：利用多个实时任务处理实时数据流，以满足这些场景的数据时效性要求。其中，该实时任务是指参与实时数据流处理过程的任务。该多个实时任务之间存在预先设定的某种关系，比如，当上文多个实时任务包括任务1、任务2和任务3时，如果该任务1需要针对由该任务2所产出的数据进行处理，而且该任务3需要针对由该任务1所产出的数据进行处理，则该多个实时任务之间的关系具体可以为：该任务2是该任务1的上游任务，该任务1是该任务2的下游任务，该任务1是该任务3的上游任务，以及该任务3是该任务1的下游任务。
2、另外，对于上述多个实时任务来说，因该多个实时任务用于处理实时数据流，以使该多个实时任务在数据延迟方面要求比较高，如此使得如何确定该多个实时任务的数据延迟情况成为一项亟待解决的技术问题。
技术实现思路
1、为了解决上述技术问题，本申请提供了一种数据延迟检测方法、装置、电子设备、计算机可读介质。
2、为了实现上述目的，本申请提供的技术方案如下：
3、本申请提供一种数据延迟检测方法，所述方法包括：
4、获取基线构建参数；
5、依据所述基线构建参数构建基线实例；所述基线实例包括任务链路图和所述任务链路图中各节点的节点参数；所述任务链路图用于描述至少两个实时任务之间的数据依赖关系；所述任
6、获取各所述实时任务的数据延迟检测结果；
7、依据所述至少两个实时任务的数据延迟检测结果，确定所述基线实例的延迟状态表征数据。
8、在一种可能的实施方式下，所述基线构建参数包括基线保障任务的任务标识、基线承诺延迟、基线预警延迟和任务延迟增益系数；
9、所述依据所述基线构建参数构建基线实例，包括：
10、依据预先构建的任务链路关系和所述基线保障任务的任务标识，确定所述至少两个实时任务以及所述至少两个实时任务之间的数据依赖关系；所述任务链路关系包括所述至少两个实时任务之间的数据依赖关系；所述至少两个实时任务包括所述基线保障任务以及用于向所述基线保障任务直接或者间接提供数据的任务；
11、依据所述至少两个实时任务、所述至少两个实时任务之间的数据依赖关系、所述基线承诺延迟、所述基线预警延迟以及所述任务延迟增益系数，构建所述基线实例。
12、在一种可能的实施方式下，所述基线实例的构建过程，包括：
13、在所述任务链路图中构建所述基线保障任务对应的节点，以及依据所述基线承诺延迟和所述基线预警延迟确定所述基线保障任务对应的节点的节点参数；
14、依据所述至少两个实时任务之间的数据依赖关系，从所述至少两个实时任务中确定目标任务的上游任务；所述目标任务的初始值为所述基线保障任务；所述至少两个实时任务之间的数据依赖关系包括所述目标任务与所述上游任务之间的数据依赖关系；
15、在所述任务链路图中构建所述上游任务对应的节点，在所述任务链路图中构建所述上游任务对应的节点与所述目标任务对应的节点之间的连接关系，以及依据所述任务延迟增益系数以及所述目标任务对应的节点的节点参数确定所述上游任务对应的节点的节点参数；
16、将所述目标任务对应的节点的遍历描述状态更新为已遍历状态，利用所述任务链路图中处于未遍历状态的节点对应的任务更新所述目标任务，以及继续执行所述依据所述至少两个实时任务之间的数据依赖关系，从所述至少两个实时任务中确定目标任务的上游任务的步骤，直至所述任务链路图中所有节点均处于已遍历状态。
17、在一种可能的实施方式下，所述从所述至少两个实时任务中确定目标任务的上游任务之后，所述方法还包括：
18、判断所述任务链路图中是否存在所述上游任务对应的节点；
19、若所述任务链路图中存在所述上游任务对应的节点，则在所述任务链路图中构建所述上游任务对应的节点与所述目标任务对应的节点之间的连接关系，以及依据所述任务延迟增益系数以及所述目标任务对应的节点的节点参数更新所述上游任务对应的节点的节点参数；
20、所述在所述任务链路图中构建所述上游任务对应的节点，包括：
21、若所述任务链路图中不存在所述上游任务对应的节点，则在所述任务链路图中构建所述上游任务对应的节点。
22、在一种可能的实施方式下，所述节点参数包括任务延迟约束；所述基线保障任务对应的节点的任务延迟约束包括所述基线承诺延迟和所述基线预警延迟；所述上游任务对应的节点的任务延迟约束是依据所述任务延迟增益系数与所述目标任务对应的节点的任务延迟约束之间的乘积所确定的。
23、在一种可能的实施方式下，所述节点参数包括任务层级；所述基线保障任务对应的节点的任务层级为预设层级；所述上游任务对应的节点的任务层级是依据预设层级步长与所述目标任务对应的节点的任务层级之间的和值所确定的。
24、在一种可能的实施方式下，所述节点参数包括任务层级；
25、所述任务链路图中处于未遍历状态的节点包括至少一个候选节点；
26、所述利用所述任务链路图中处于未遍历状态的节点对应的任务更新所述目标任务，包括：
27、依据各所述候选节点的任务层级，从所述至少一个候选节点中选择待使用节点；所述待使用节点的任务层级不高于所述至少一个候选节点中除了所述待使用节点以外的其他节点的任务层级；
28、利用所述待使用节点对应的任务，更新所述目标任务。
29、在一种可能的实施方式下，所述上游任务对应的节点的节点参数包括影响任务标识；若所述目标任务为所述基线保障任务，则所述上游任务对应的节点的影响任务标识是依据所述目标任务的任务标识所确定的；若所述目标任务不是所述基线保障任务，则所述上游任务对应的节点的影响任务标识是依据所述目标任务对应的节点的影响任务标识所确定的。
30、在一种可能的实施方式下，所述节点参数包括任务延迟约束；
31、所述依据所述至少两个实时任务的数据延迟检测结果，确定所述基线实例的延迟状态表征数据，包括：
32、依据所述至少两个实时任务的数据延迟检测结果以及所述任务链路图中各节点的任务延迟约束，确定所述基线实例的延迟状态表征数据。
33、在一种可能的实施方式下，所述至少两个实时任务包括至少一个基线保障任务；所述延迟状态表征数据包括基线状态；
34、所述基线状态的确定过程，包括：
35、对于任一所述基线保障任务，依据该基线保障任务的数据延迟检测结果与用于代表该基线保障任务的节点的任务延迟约束之间的比较结果，确定该基线保障任务对应的数据延迟状态；
36、依据各所述基线保障任务对应的数据延迟状态的本文档来自技高网...
【技术保护点】
1.一种数据延迟检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基线构建参数包括基线保障任务的任务标识、基线承诺延迟、基线预警延迟和任务延迟增益系数；
3.根据权利要求2所述的方法，其特征在于，所述基线实例的构建过程，包括：
4.根据权利要求3所述的方法，其特征在于，所述从所述至少两个实时任务中确定目标任务的上游任务之后，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述节点参数包括任务延迟约束；
6.根据权利要求3所述的方法，其特征在于，所述节点参数包括任务层级；
7.根据权利要求3所述的方法，其特征在于，所述节点参数包括任务层级；
8.根据权利要求3所述的方法，其特征在于，所述上游任务对应的节点的节点参数包括影响任务标识；
9.根据权利要求1所述的方法，其特征在于，所述节点参数包括任务延迟约束；
10.根据权利要求9所述的方法，其特征在于，所述至少两个实时任务包括至少一个基线保障任务；
11.根据权利要求9所
12.根据权利要求11所述的方法，其特征在于，所述触发所述目标节点对应的基线事件，包括：
13.根据权利要求11所述的方法，其特征在于，所述方法还包括：
14.根据权利要求1所述的方法，其特征在于，所述节点参数包括任务延迟约束；
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
16.根据权利要求1-15任一项所述的方法，其特征在于，所述方法应用于客户端；
17.一种数据延迟检测装置，其特征在于，包括：
18.一种电子设备，其特征在于，所述设备包括：处理器和存储器；
19.一种计算机可读介质，其特征在于，所述计算机可读介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行权利要求1-16任一项所述的方法。
...【技术特征摘要】
1.一种数据延迟检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基线构建参数包括基线保障任务的任务标识、基线承诺延迟、基线预警延迟和任务延迟增益系数；
3.根据权利要求2所述的方法，其特征在于，所述基线实例的构建过程，包括：
4.根据权利要求3所述的方法，其特征在于，所述从所述至少两个实时任务中确定目标任务的上游任务之后，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述节点参数包括任务延迟约束；
6.根据权利要求3所述的方法，其特征在于，所述节点参数包括任务层级；
7.根据权利要求3所述的方法，其特征在于，所述节点参数包括任务层级；
8.根据权利要求3所述的方法，其特征在于，所述上游任务对应的节点的节点参数包括影响任务标识；
9.根据权利要求1所述的方法，其特征在于，所述节点参数包括任务延迟约束；
10.根据权利要求9所述的方法，其特征在于，所述至少两个实时任务包括至少一个基...
【专利技术属性】
技术研发人员：孟贺，张华蕊，闵佳，黎洲，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。