一种基于节点热度的心跳间隔动态调整方法、装置及系统制造方法及图纸

本发明专利技术提供了一种基于节点热度的心跳间隔动态调整方法、装置及系统。方法包括：分别获取DataNode从节点i在当前时刻j所在周期的前m个连续周期的访问频率，其中m为预设的整数参数；根据前m个连续周期的访问频率计算出DataNode从节点i在当前时刻j的预测访问热度；根据预测访问热度计算出DataNode从节点i在当前时刻j的心跳发送间隔；根据心跳发送间隔进行自动调整处理。本方法通过计算DataNode从节点在每个周期的访问热度，来预测下一时刻的访问热度，并且通过该访问热度计算出心跳发送间隔，以此用来动态调节DataNode从节点的心跳发送间隔，解决了现有技术中不能根据DataNode从节点被访问的频率即DataNode从节点访问热度来动态调整心跳发送间隔的缺陷，提高了HDFS系统的性能。

A dynamic adjustment method, device and system of heartbeat interval based on node heat

【技术实现步骤摘要】
一种基于节点热度的心跳间隔动态调整方法、装置及系统
本专利技术涉及大数据
，特别是涉及一种基于节点热度的心跳间隔动态调整方法、装置及系统。
技术介绍
心跳机制是保证分布式文件文件系统HDFS中NameNode主节点与DataNode从节点之间进行通信、保证节点运行正常的关键技术。所谓的心跳机制，就是收发心跳数据包的机制，从节点周期性地主动向主节点发送心跳信息，报告该节点的存储的数据块信息以及节点的健康状态。心跳间隔的大小预先在配置文件中配置，不会随着节点访问需求、数据中心状态的变化而调整，因此，对于访问频率特别大的节点会因为心跳间隔过大，部分访问请求不能及时响应而降低系统的服务性能，对于访问频率特别小的节点可能又会因为心跳间隔过小而增大了心跳包发送的传输代价，造成了巨大的压力。由于在HDFS系统中NameNode主节点与DataNode从节点之间是利用心跳机制来进行通信、保证节点运行正常的，而传统的心跳信息传输方式是在HDFS的配置文件中设定的固定周期发送的。若该心跳间隔设置的太小，NameNode主节点即需要同时处理大量高并发的心跳信息，这样势必会给其造成很大的压力，同时也会增加DataNode从节点的心跳包发送的传输代价；若该心跳间隔设置的太大，则会导致NameNode主节点发送任务不及时，同时DataNode从节点信息更新不实时。所以若都以相同的心跳发送周期发送心跳包，节点不能有效的自动调节心跳间隔，从而降低了HDFS的性能。当分布式集群节点被访问的频率差异过大时，心跳包发送间隔周期不能根据节点访问热度进行调节，没有充分满足自适应不同的节点访问热度来提高心跳机制的调节能力。例如：传统的HDFS系统上的心跳发送间隔默认为3秒，该时间间隔可以在系统配置文件中修改，设置完成后，整个集群中的DataNode从节点都以该时间间隔向NameNode主节点发送心跳包。当某个DataNode从节点被访问的频率很大时，默认的心跳间隔会使部分节点不能及时响应而降低系统的服务性能，导致DataNode从节点信息更新不实时。当某个DataNode从节点被访问的频率很小时，默认的心跳间隔导致NameNode主节点需要处理大量高并发的无用的心跳信息，这样很容易会给其造成很大的处理压力，同时也会增加DataNode从节点的心跳包发送的传输代价；综上，传统的周期性心跳发送机制不能根据每个节点被访问的频率也即节点热度来动态调整心跳发送间隔，这样不利于提高HDFS系统的性能。
技术实现思路
本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于节点热度的心跳间隔动态调整方法、装置及系统。本专利技术解决其问题所采用的技术方案是：本专利技术的第一方面，提供了一种基于节点热度的心跳间隔动态调整方法，应用于HDFS系统，包括以下步骤：分别获取DataNode从节点i在当前时刻j所在周期的前m个连续周期的访问频率，其中m为预设的整数参数；根据所述前m个连续周期的访问频率计算出所述DataNode从节点i在当前时刻j的预测访问热度；根据所述预测访问热度计算出所述DataNode从节点i在当前时刻j的心跳发送间隔；根据所述心跳发送间隔进行自动调整处理。本专利技术第一方面提供的一种基于节点热度的心跳间隔动态调整方法，至少具有以下有益效果：本方法通过计算DataNode从节点在每个周期的访问热度，来预测下一时刻的访问热度，并且通过该访问热度能够计算出心跳发送间隔，以此可用来进行动态调节DataNode从节点的心跳发送间隔，解决了现有技术中不能根据每个DataNode从节点被访问的频率即DataNode从节点访问热度来动态调整心跳发送间隔的缺陷，提高了HDFS系统的性能。进一步，所述根据所述前m个连续周期的访问频率计算出所述DataNode从节点i在当前时刻j的预测访问热度，进一步包括：计算所述DataNode从节点i在当前时刻j的预测访问热度：j位于第x个周期其中，hij为所述DataNode从节点i在当前时刻j的预测访问热度；r为整数参数且取值范围为：r∈[1，m]；fi(x-r)为所述DataNode从节点i在第x-r个周期的访问频率；αr为预设的参数，用于表示第r个周期对第x个周期的热度影响程度，并且满足进一步，αr的取值大小与r的取值大小呈反相关。进一步，所述根据所述预测访问热度计算出所述DataNode从节点i在当前时刻j的心跳发送间隔，进一步包括：对预测访问热度进行归一化处理：Hij＝ρ·hij其中，ρ为预设的归一化参数；计算出所述DataNode从节点i在当前时刻j的心跳发送间隔：其中，Gij为所述DataNode从节点i在当前时刻j的心跳发送间隔；λ为预设的心跳调节因子；ω为初始心跳发送间隔。进一步包括：对计算出的Gij进行四舍五入取整。本专利技术的第二方面，提供了一种基于节点热度的心跳间隔动态调整装置，包括：历史周期访问频率获取单元、当前时刻访问热度计算单元、心跳间隔计算单元以及心跳间隔调整单元；所述历史周期访问频率获取单元用于分别获取DataNode从节点i在当前时刻j所在周期的前m个连续周期的访问频率，其中m为预设的整数参数；所述当前时刻访问热度计算单元用于根据所述前m个连续周期的访问频率计算出所述DataNode从节点i在当前时刻j的预测访问热度；所述心跳间隔计算单元用于根据所述预测访问热度计算出所述DataNode从节点i在当前时刻j的心跳发送间隔；所述心跳间隔调整单元用于根据所述心跳发送间隔进行自动调整处理。本专利技术第二方面提供的一种基于节点热度的心跳间隔动态调整装置，至少具有以下有益效果：本专利技术装置可以实现本专利技术第一方面所述的一种基于节点热度的心跳间隔动态调整方法，解决了现有技术中不能根据每个DataNode从节点被访问的频率即DataNode从节点访问热度来动态调整心跳发送间隔的缺陷，提高了HDFS系统的性能。本专利技术的第三方面，提供了一种系统，所述系统包括本专利技术第二方面所述的一种基于节点热度的心跳间隔动态调整装置。本专利技术第三方面提供的一种系统，至少具有以下有益效果：本专利技术系统中包括本专利技术第二方面所述的基于节点热度的心跳间隔动态调整装置，解决了现有技术中不能根据每个DataNode从节点被访问的频率即DataNode从节点访问热度来动态调整心跳发送间隔的缺陷，提高了HDFS系统的性能。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明下面结合附图和实施例对本专利技术进一步地说明；图1为本专利技术实施例提供的基于节点热度的心跳间隔动态调整方法的流程示意图；图2为本专利技术另一个实施例提供的基于节点热度的心跳间隔动态调整方法的流程示意图；图3为本专利技术实施例提供的基于节点热度本文档来自技高网...

【技术保护点】
1.一种基于节点热度的心跳间隔动态调整方法，应用于HDFS系统，其特征在于，包括以下步骤：/n分别获取DataNode从节点i在当前时刻j所在周期的前m个连续周期的访问频率，其中m为预设的整数参数；/n根据所述前m个连续周期的访问频率计算出所述DataNode从节点i在当前时刻j的预测访问热度；/n根据所述预测访问热度计算出所述DataNode从节点i在当前时刻j的心跳发送间隔；/n根据所述心跳发送间隔进行自动调整处理。/n

【技术特征摘要】
1.一种基于节点热度的心跳间隔动态调整方法，应用于HDFS系统，其特征在于，包括以下步骤：
分别获取DataNode从节点i在当前时刻j所在周期的前m个连续周期的访问频率，其中m为预设的整数参数；
根据所述前m个连续周期的访问频率计算出所述DataNode从节点i在当前时刻j的预测访问热度；
根据所述预测访问热度计算出所述DataNode从节点i在当前时刻j的心跳发送间隔；
根据所述心跳发送间隔进行自动调整处理。


2.根据权利要求1所述的一种基于节点热度的心跳间隔动态调整方法，其特征在于，所述根据所述前m个连续周期的访问频率计算出所述DataNode从节点i在当前时刻j的预测访问热度，进一步包括：
计算所述DataNode从节点i在当前时刻j的预测访问热度：

j位于第x个周期
其中，hij为所述DataNode从节点i在当前时刻j的预测访问热度；r为整数参数且取值范围为：r∈[1，m]；fi(x-r)为所述DataNode从节点i在第x-r个周期的访问频率；αr为预设的参数，用于表示第r个周期对第x个周期的热度影响程度，并且满足


3.根据权利要求2所述的一种基于节点热度的心跳间隔动态调整方法，其特征在于，αr的取值大小与r的取值大小呈反相关。


4.根据权利要求2所述的一种基于节点热度的心跳间隔动态调整方法，其特征在于，所述根据所述预测访问热度计算出所...

【专利技术属性】
技术研发人员：王进，杨娅琼，张经宇，王磊，李文军，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43