一种数据传输限流的方法、系统、设备和存储介质技术方案

本发明专利技术提供一种数据传输限流的方法、系统、设备和存储介质，方法包括：响应于创建复制任务，设置每个复制任务对应的优先级；通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌；通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点；以及响应于节点中任意一项资源的占用率超过远程复制限流值，降低复制频率。本发明专利技术基于任务优先级和节点空闲令牌进行限流，在不影响集群正常业务的前提下，尽可能的利用节点资源，将资源向高优先级的任务倾斜。倾斜。倾斜。

【技术实现步骤摘要】
一种数据传输限流的方法、系统、设备和存储介质


[0001]本专利技术涉及分布式文件系统领域，更具体地，特别是指一种数据传输限流的方法、系统、设备和存储介质。

技术介绍

[0002]文件远程复制是主从集群之间的文件复制，数据从主集群传输到从集群。分布式文件系统集群通常包含多个节点，每个节点的已使用资源和空闲资源(CPU、内存、带宽)各不相同。远程复制根据实际情况可配置为多个任务，每个复制任务都会占用所在节点的资源，当复制任务的压力比较大的时候必然会和节点上承载的其它业务抢占资源，从而降低其它业务的效率。
[0003]远程复制通常作为容灾业务的一项子功能，理论上不应该和集群上正常的业务抢资源，为实现这一目的远程复制必须包含限流功能。传统的限流功能一般都是限制任务的带宽，远程复制作为一种读写客户端，影响的资源不光包括带宽，还包括CPU、内存等；另一方面分布式集群的各节点的资源分布情况并不均衡。如果过多的复制任务分配给了业务压力比较大的节点，节点的正常业务就会因远程复制的影响而变慢，从而降低整个集群的业务性能。

技术实现思路

[0004]有鉴于此，本专利技术实施例的目的在于提出一种数据传输限流的方法、系统、电子设备及计算机可读存储介质，本专利技术在创建远程复制任务时指定优先级，并按照空闲资源给节点分配令牌，将高优先级的任务优先分配到令牌数丰富的节点上运行，限流值按系统资源的百分比进行配置，各节点的远程复制进程根据限流值动态调整复制频率使其资源占用不超限，主节点将高优先级的任务分配到令牌数较多的节点上，从而在尽量不占用正常的业务资源的前提下尽可能的多使用各个节点的空闲资源，进而提高了远程复制的效率。
[0005]基于上述目的，本专利技术实施例的一方面提供了一种数据传输限流的方法，包括如下步骤：响应于创建复制任务，设置每个复制任务对应的优先级；通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌；通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点；以及响应于节点中任意一项资源的占用率超过远程复制限流值，降低复制频率。
[0006]在一些实施方式中，所述通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌的步骤包括：每个节点上的远程复制进程定时检测当前节点CPU、内存和带宽的空闲资源占用率，并将CPU、内存和带宽中最低的空闲资源占用率作为当前节点的空闲资源占用率。
[0007]在一些实施方式中，所述通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌的步骤包括：响
应于所述当前节点的空闲资源占用率每超过预设值，则给所述当前节点分配一个资源令牌。
[0008]在一些实施方式中，所述通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点的步骤包括：确定当前优先级最高的复制任务，并确定当前资源令牌最多的节点；以及将所述当前优先级最高的复制任务分配到所述当前资源令牌最多的节点。
[0009]在一些实施方式中，所述通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点的步骤包括：判断当前资源令牌最多的节点对应的资源令牌是否为零；以及响应于当前资源令牌最多的节点对应的资源令牌为零，停止分配复制任务。
[0010]在一些实施方式中，所述响应于节点中任意一项资源的占用率超过远程复制限流值，降低复制频率的步骤包括：响应于节点中存在多个复制任务，按照优先级从低到高的顺序依次降低复制频率。
[0011]在一些实施方式中，所述方法还包括：响应于节点中任意一项资源的占用率均小于预设值，提高复制频率。
[0012]本专利技术实施例的另一方面，提供了一种数据传输限流的系统，包括：设置模块，用于响应于创建复制任务，设置每个复制任务对应的优先级；令牌模块，用于通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌；分配模块，用于通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点；以及限流模块，用于响应于节点中任意一项资源的占用率超过远程复制限流值，降低复制频率。
[0013]本专利技术实施例的又一方面，还提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
[0014]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0015]本专利技术具有以下有益技术效果：在创建远程复制任务时指定优先级，并按照空闲资源给节点分配令牌，将高优先级的任务优先分配到令牌数丰富的节点上运行，限流值按系统资源的百分比进行配置，各节点的远程复制进程根据限流值动态调整复制频率使其资源占用不超限，主节点将高优先级的任务分配到令牌数较多的节点上，从而在尽量不占用正常的业务资源的前提下尽可能的多使用各个节点的空闲资源，进而提高了远程复制的效率。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0017]图1为本专利技术提供的数据传输限流的方法的实施例的示意图；
[0018]图2为本专利技术提供的将远程复制限流值发送到各个节点的示意图；
[0019]图3为本专利技术提供的数据传输限流的方法的实施例的流程图；
[0020]图4为本专利技术提供的数据传输限流的系统的实施例的示意图；
[0021]图5为本专利技术提供的数据传输限流的电子设备的实施例的硬件结构示意图；
[0022]图6为本专利技术提供的数据传输限流的计算机存储介质的实施例的示意图。
具体实施方式
[0023]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0024]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0025]本专利技术实施例的第一个方面，提出了一种数据传输限流的方法的实施例。图1示出的是本专利技术提供的数据传输限流的方法的实施例的示意图。
[0026]如图1所示，本专利技术实施例包括如下步骤：
[0027]S1、响应于创建复制任务，设置每个复制任务对应的优先级；
[0028]S2、通过每个节点上的远程复制进程定时检测当前节点的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输限流的方法，其特征在于，包括如下步骤：响应于创建复制任务，设置每个复制任务对应的优先级；通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌；通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点；以及响应于节点中任意一项资源的占用率超过远程复制限流值，降低复制频率。2.根据权利要求1所述的数据传输限流的方法，其特征在于，所述通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌的步骤包括：每个节点上的远程复制进程定时检测当前节点CPU、内存和带宽的空闲资源占用率，并将CPU、内存和带宽中最低的空闲资源占用率作为当前节点的空闲资源占用率。3.根据权利要求2所述的数据传输限流的方法，其特征在于，所述通过每个节点上的远程复制进程定时检测当前节点的空闲资源占用率，并根据所述空闲资源占用率确定所述当前节点的资源令牌的步骤包括：响应于所述当前节点的空闲资源占用率每超过预设值，则给所述当前节点分配一个资源令牌。4.根据权利要求1所述的数据传输限流的方法，其特征在于，所述通过主节点按照优先级从高到低的顺序依次将复制任务分配到当前资源令牌最多的节点的步骤包括：确定当前优先级最高的复制任务，并确定当前资源令牌最多的节点；以及将所述当前优先级最高的复制任务分配到所述当前资源令牌最多的节点。5.根据权利要求4所述的数据传输限流的方法，其特征在于，所述通过主节点按照优先级从高到低的顺序依次...

【专利技术属性】
技术研发人员：夏令洲，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：