【技术实现步骤摘要】
本专利技术涉及计算机软件，具体涉及一种基于流式计算的堵点检测预测方法。
技术介绍
1、在现有的流式计算技术中，检测和预测节点的拥堵情况主要通过以下几种方式实现。一是通过实时数据处理的方式，通过节点传感器等收集设备数据并实时处理，以监测当前节点状况；二是根据历史数据进行分析，记录上述传感器收集记录的节点发生拥堵的模式，建立相应的对应关系，判断当前节点发生拥堵的概率情况；三是通过性能指标进行监控，通过对节点的数据流通的关键指标(如延迟时间、吞吐量、系统可用性、资源利用率等)进行分析，判断当前节点的运行状态，从而判断节点的拥堵情况。
2、在现有的实现方法中，主要存在以下几个缺点。一是数据存在延迟，在某些情况下，流式计算可能无法实现零延迟，尤其是当数据量大或者处理逻辑复杂时。这可能导致实时分析的结果不够及时，影响决策的制定。二是需要进行状态管理和容错，上述流式计算中的实现方法往往需要对中间状态进行管理，同时也需要妥善出现故障之后的状态一致性保持和容错恢复。三是系统开销比较大，需要更多的资源来维持数据的成本，需要更高的硬件成本和能源消耗。四是数据倾斜问题，在分布式计算环境中，不均匀的数据分布及处理步骤会某些节点负载过重，而其他节点负载较轻，影响整个系统的性能和稳定性。
3、因此，亟需一种针对现有技术导致流式计算中的数据延迟、状态管理、系统开销和数据倾斜等问题的堵点检测预测方法。
技术实现思路
1、针对现有技术导致流式计算中的数据延迟、状态管理、系统开销和数据倾斜等问题
2、本专利技术通过下述技术方案实现：
3、一种基于流式计算的堵点检测预测方法，包括：
4、通过快照机制，从快照起始点根据数据流依次向网络中的节点发起快照请求得到所述网络的系统快照信息并发送给服务器；
5、所述服务器接收所述系统快照信息后，根据所述系统快照信息检测所述网络中每个节点是否拥堵，同时预测每个节点是否即将发生拥堵；
6、若检测到已经有节点拥堵，则判断该节点的拥堵类型，并根据该节点的拥堵类型制定相应的解决措施；
7、若预测到有节点即将拥堵，则制定相应的解决措施。
8、作为优化，所述系统快照信息包括所述网络中每个节点的节点快照信息，从快照起始点根据数据流依次向网络中的节点发起快照请求得到所述网络的系统快照信息具体过程为：
9、a1、对所述快照起始点根据快照命令发起快照请求，得到所述快照起始点的节点快照信息；
10、a2、将所述快照起始点的节点快照信息以及快照命令根据数据流方向发送至位于数据下游相邻的中间节点；
11、a3、对所述中间节点根据快照命令发起快照请求，得到所述中间节点的节点快照信息；
12、a4、将位于该中间节点数据上游的所有节点的节点快照信息以及该中间节点的节点快照信息、快照命令根据数据流方向发送至位于该中间节点数据下游相邻的中间节点；
13、a5、重复a3-a4，直到沿数据流方向对所述网络中的最后一个节点进行了快照请求，得到该最后一个节点的节点快照信息；
14、a6、将该数据流方向涉及到的所有的节点快照信息作为系统快照信息发送至服务器。
15、作为优化，所述节点快照信息包括每个节点的数据流和传感器信息，所述数据流包括该节点的数据队列长度信息。
16、作为优化，所述节点的拥堵类型包括三类：
17、第一类：节点本身崩溃造成的拥堵；
18、第二类：节点的计算能力小于接收到的数据量所造成的拥堵；
19、第三类：某一节点的数据下游的节点发生拥堵导致该节点拥堵。
20、作为优化，令已经拥堵的节点为堵点，针对某一个堵点，判断该堵点的拥堵类型，并根据该堵点的拥堵类型制定相应的解决措施的具体过程为：
21、b1、通过心跳机制判断某一当前堵点是否崩溃，若是，跳转至b2，否则，跳转至b3；
22、b2、判断该当前堵点的拥堵类型为第一类，重启该当前堵点或者使用备用节点；
23、b3、判断该当前堵点的传感器信息是否不低于第一阈值，若是，则跳转至b4，否则，跳转至b5；
24、b4、判断该当前堵点的拥堵类型为第二类，对该当前堵点进行扩容处理；
25、b5、判断该当前堵点的拥堵类型为第三类，找到该当前堵点所有数据下游的堵点；
26、b6、令该当前堵点的数据下游的堵点为新的当前堵点，然后返回b2，从而对新的当前堵点的类型进行判断并解决。
27、作为优化，所述快照请求间隔时间与所述网络的拥堵发生频率呈反比，且所述快照请求间隔时间与网络负载波动量成反比。
28、作为优化，通过节点的数据处理队列长度来预测每个节点是否即将发生拥堵，具体过程为：
29、c1、获取某一快照请求得到的节点的数据队列长度信息；
30、c2、判断该数据队列长度信息是否超过长度阈值，若是，则跳转至c3，否则，返回c1；
31、c3、将包括该数据队列长度信息和与该数据队列长度信息相邻前n次相邻快照请求得到的数据队列长度信息的连续时间点的数据队列长度信息根据时间顺序依次进行差分运算，得到相邻时间点的数据处理队列长度增量；
32、c4、根据所述数据处理队列长度增量得到该节点的数据处理队列长度的上升速率；
33、c5、判断所述上升速率是否或超过第二阈值，若是，则发出预警，表明该节点即将发生拥堵，否则，返回c1。
34、作为优化，c4中，通过计算相邻时间点的数据处理队列长度增量的平均值作为该节点的数据处理队列长度的上升速率。
35、作为优化，c4中，通过计算相邻时间点的上升数据处理队列长度增量的斜率作为该节点的数据处理队列长度的上升速率。
36、作为优化，通过基于历史数据建立的深度计算模型来预测每个节点是否即将发生拥堵，建立所述深度计算模型具体过程为：
37、d1、收集所述网络的历史数据，所述历史数据包括网络关键指标；
38、d2、将所述第一中间数据转换为适合深度学习模型输入的格式得到第一中间数据；
39、d3、选择深度学习模型长短期记忆网络作为深度学习模型，根据所述历史数据的特征和预测目本文档来自技高网...
【技术保护点】
1.一种基于流式计算的堵点检测预测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于流式计算的堵点检测预测方法，其特征在于，所述系统快照信息包括所述网络中每个节点的节点快照信息，从快照起始点根据数据流依次向网络中的节点发起快照请求得到所述网络的系统快照信息具体过程为：
3.根据权利要求2所述的一种基于流式计算的堵点检测预测方法，其特征在于，所述节点快照信息包括每个节点的数据流和传感器信息，所述数据流包括该节点的数据队列长度信息。
4.根据权利要求3所述的一种基于流式计算的堵点检测预测方法，其特征在于，所述节点的拥堵类型包括三类：
5.根据权利要求4所述的一种基于流式计算的堵点检测预测方法，其特征在于，令已经拥堵的节点为堵点，针对某一个堵点，判断该堵点的拥堵类型，并根据该堵点的拥堵类型制定相应的解决措施的具体过程为：
6.根据权利要求1所述的一种基于流式计算的堵点检测预测方法，其特征在于，所述快照请求间隔时间与所述网络的拥堵发生频率呈反比，且所述快照请求间隔时间与网络负载波动量成反比。
7.根据权利要求
8.根据权利要求7所述的一种基于流式计算的堵点检测预测方法，其特征在于，C4中，通过计算相邻时间点的上升数据处理队列长度增量的斜率作为该节点的数据处理队列长度的上升速率。
9.根据权利要求7所述的一种基于流式计算的堵点检测预测方法，其特征在于，C5中，预测节点的拥堵时间的具体过程为：
10.根据权利要求3所述的一种基于流式计算的堵点检测预测方法，其特征在于，通过基于历史数据建立的深度计算模型来预测每个节点是否即将发生拥堵，建立所述深度计算模型具体过程为：
...【技术特征摘要】
1.一种基于流式计算的堵点检测预测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于流式计算的堵点检测预测方法，其特征在于，所述系统快照信息包括所述网络中每个节点的节点快照信息，从快照起始点根据数据流依次向网络中的节点发起快照请求得到所述网络的系统快照信息具体过程为：
3.根据权利要求2所述的一种基于流式计算的堵点检测预测方法，其特征在于，所述节点快照信息包括每个节点的数据流和传感器信息，所述数据流包括该节点的数据队列长度信息。
4.根据权利要求3所述的一种基于流式计算的堵点检测预测方法，其特征在于，所述节点的拥堵类型包括三类：
5.根据权利要求4所述的一种基于流式计算的堵点检测预测方法，其特征在于，令已经拥堵的节点为堵点，针对某一个堵点，判断该堵点的拥堵类型，并根据该堵点的拥堵类型制定相应的解决措施的具体过程为：
6.根据权利要...
【专利技术属性】
技术研发人员：邹浩，段翰聪，黄彬，张建，李林，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。