System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种分布式学习资源管理系统技术方案_技高网
当前位置: 首页 > 专利查询>临沂大学专利>正文

一种分布式学习资源管理系统技术方案

技术编号:42425111 阅读:9 留言:0更新日期:2024-08-16 16:39
本发明专利技术公开了一种分布式学习资源管理系统,涉及电子数字数据处理技术领域。首先监控采集各节点中各用户的需求数据,并进行分析得到各节点中学习资源需求表征值,进而匹配得到服务器中各节点的计算资源,有助于减少系统资源过度分配或不足分配的情况,同时监控采集服务器中各节点的负载数据,分析得到服务器中各节点的负载指数,有助于系统实现动态的负载平衡,减少因负载不均衡而导致的性能下降或系统崩溃的风险,最后根据服务器中各节点的负载指数调度服务器中各节点的计算资源,并进行提示,有助于系统实现资源的分配优化,使每个节点都能够按需获取计算资源,减少资源空闲或过载的情况,提升系统整体的计算效率和响应速度。

【技术实现步骤摘要】

本专利技术涉及电子数字数据处理,具体为一种分布式学习资源管理系统


技术介绍

1、在科学研究和工业应用领域中,分布式资源管理系统通常被用于天文学、生物学和气候研究中的大规模数据分析,以及智能制造中的质量控制和预测维护,在这些领域中分布式资源管理系统可以有效地管理大规模的计算资源,进而进行智能的资源分配和调度,可以实现资源的高效利用,提高计算能力和数据处理速度,同时降低运行成本。

2、现有技术如公告号为:cn108431796b的专利技术专利公告的一种分布式资源管理系统和方法,包括:接收资源请求,所述资源请求包括标识至少一个请求资源属性的数据;通过对所述至少一个请求资源属性对应的一个或多个资源属性元素集执行元素运算,从多个资源中标识一个或多个候选资源,每个资源属性元素集包括所述多个资源中的每个资源的元素,每个元素表示所述多个资源中的相应资源的资源属性;以及基于所述一个或多个标识的候选资源来调度关联于所述资源请求的工作负载以进行执行操作。

3、现有技术如公告号为:cn110537169b的专利技术专利公告的一种分布式计算系统中的集群资源管理,包括:经由计算机网络接收指示服务器从第一集群被重新分配给第二集群的资源重新分配消息,并且响应于所接收的资源重新分配消息,经由计算机网络与从第一集群重新分配给第二集群的服务器建立通信。该方法还包括在经由计算机网络与服务器建立通信之后,将计算负载分配给从第一集群重新分配给第二集群的服务器,而无需将服务器在物理上从第一集群重新分配给第二集群。

4、结合上述方案发现,当前在分布式资源管理
中,通常只是采用分布式资源管理技术对资源进行分析和调度,实现了资源使用优化的目的,但是分析过程不够灵活,可能会影响资源的分配和利用,导致不能达到负载平衡和资源使用优化的目的。


技术实现思路

1、针对现有技术的不足,本专利技术提供了一种分布式学习资源管理系统,能够有效解决上述
技术介绍
中涉及的问题。

2、为实现以上目的,本专利技术通过以下技术方案予以实现:一种分布式学习资源管理系统,包括学习资源调度分配模块,用于监控采集各节点中各用户的需求数据,并进行分析得到各节点中学习资源需求表征值,并根据各节点中学习资源需求表征值匹配得到服务器中各节点的计算资源。

3、学习资源监控模块,用于监控采集服务器中各节点的负载数据,分析得到服务器中各节点的负载指数。

4、服务器资源控制模块,用于根据服务器中各节点的负载指数调度服务器中各节点的计算资源,并进行提示。

5、进一步地,所述各节点中各用户的需求数据包括各节点中各用户的累计使用次数、各用户的总使用次数、各节点中各用户的使用时间和各节点中用户的总数量。

6、所述服务器中各节点的负载数据包括各节点的cpu的工作时间、内存最高使用率和磁盘i/o最高利用率。

7、进一步地,所述分析得到各节点中学习资源需求表征值,具体分析过程为:统计各节点中各用户的累计使用次数,提取各用户的总使用次数,将各节点中各用户的累计使用次数除以各用户的总使用次数得到各节点中各用户的使用频率。

8、提取各节点中各用户的各次使用时间进行累加,得到各节点中各用户的累计使用时间。

9、统计各节点中用户的总数量,并根据各节点中各用户的使用频率和各节点中各用户的累计使用时间,综合分析得到各节点中学习资源需求表征值。

10、进一步地,所述各节点中学习资源需求表征值是对各节点中各用户的需求数据进行分析得到的数值量化结果,用于量化用户的使用情况变化对节点的计算资源的影响程度。

11、进一步地,所述根据各节点中学习资源需求表征值匹配得到服务器中各节点的计算资源,具体匹配过程为:将各节点中学习资源需求表征值与设定的各节点中学习资源需求表征值区间对应的服务器的计算资源进行匹配,得到服务器中各节点的计算资源。

12、所述服务器中各节点的计算资源包括cpu时间片、带宽和网络流量的传输速率。

13、进一步地,所述分析得到服务器中各节点的负载指数,具体分析过程为:布置监测周期,在监测周期中设置若干监测时间段,统计各监测时间段中各节点的cpu的工作时间,并提取监测时间段的时长,将各监测时间段中各节点的cpu的工作时间除以监测时间段的时长得到各监测时间段中各节点的cpu的使用率。

14、根据各监测时间段中各节点的cpu的使用率,提取各监测时间段中服务器各节点的内存最高使用率和磁盘i/o最高利用率,整合得到服务器中各节点的负载指数。

15、进一步地,所述服务器中各节点的负载指数是对服务器中各节点的负载数据进行监测分析得到的数值量化结果,用于量化节点的负载变化对节点的计算资源分配的影响程度。

16、进一步地,所述根据服务器中各节点的负载指数调度服务器中各节点的计算资源,并进行提示,具体过程为:将服务器中各节点的负载指数与设定的服务器中各节点的负载指数阈值进行比对,若服务器中某节点的负载指数高于设定的服务器中各节点的负载指数阈值,则对服务器中该节点的计算资源进行调度。

17、进一步地,所述各节点中学习资源需求表征值,具体分析条件为:

18、;式中,表示第个节点中学习资源需求表征值,第个节点中用户的总数量,表示设定的参照用户的总数量,表示设定的用户的总数量对应的补偿因子,表示第个节点中第个用户的使用频率,表示设定的参照使用频率,表示设定的使用频率对应的补偿因子,表示第个节点中第个用户的累计使用时间,表示设定的参照累计使用时间,表示设定的累计使用时间对应的补偿因子,i表示各节点的编号,,表示节点的总数,表示各用户的编号,,表示用户的总数,e表示自然常数。

19、进一步地,所述服务器中各节点的负载指数,具体分析条件为:

20、;式中,表示服务器中第个节点的负载指数,表示第个监测时间段中第个节点的cpu的使用率,表示设定的参照cpu的使用率,表示设定的cpu的使用率对应的权重因子,表示第个监测时间段中服务器第个节点的内存最高使用率,表示设定的参照内存最高使用率,表示设定的内存最高使用率对应的权重因子,表示第个监测时间段中服务器第个节点的磁盘i/o最高利用率,表示设定的参照磁盘i/o最高利用率,表示设定的磁盘i/o最高利用率对应的权重因子,i表示各节点的编号,,表示节点的总数,表示各监测时间段的编号,,表示监测时间段的总数。

21、本专利技术具有以下有益效果:

22、(1)本专利技术提供一种分布式学习资源管理系统,首先分析得到各节点中学习资源需求表征值,进而匹配得到服务器中各节点的计算资源,有助于有效地分配和利用服务器中各节点的计算资源,同时分析得到服务器中各节点的负载指数可以及时发现负载过高和过低的情况,最后根据服务器中各节点的负载情况调度服务器中各节点的计算资源,并进行提示,有助于减少因节点负载过高而导致的性能下降,提高系统的稳定性和可靠性。

23、(2)本专利技术通过分析得到本文档来自技高网...

【技术保护点】

1.一种分布式学习资源管理系统,其特征在于,包括:

2.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述各节点中各用户的需求数据包括各节点中各用户的累计使用次数、各用户的总使用次数、各节点中各用户的使用时间和各节点中用户的总数量;

3.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述分析得到各节点中学习资源需求表征值,具体分析过程为:

4.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述各节点中学习资源需求表征值是对各节点中各用户的需求数据进行分析得到的数值量化结果,用于量化用户的使用情况变化对节点的计算资源的影响程度。

5.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述根据各节点中学习资源需求表征值匹配得到服务器中各节点的计算资源,具体匹配过程为:

6.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述分析得到服务器中各节点的负载指数,具体分析过程为:

7.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述服务器中各节点的负载指数是对服务器中各节点的负载数据进行监测分析得到的数值量化结果,用于量化节点的负载变化对节点的计算资源分配的影响程度。

8.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述根据服务器中各节点的负载指数调度服务器中各节点的计算资源,并进行提示,具体过程为:

9.根据权利要求3所述的一种分布式学习资源管理系统,其特征在于:所述各节点中学习资源需求表征值,具体分析条件为:

10.根据权利要求6所述的一种分布式学习资源管理系统,其特征在于:所述服务器中各节点的负载指数,具体分析条件为:

...

【技术特征摘要】

1.一种分布式学习资源管理系统,其特征在于,包括:

2.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述各节点中各用户的需求数据包括各节点中各用户的累计使用次数、各用户的总使用次数、各节点中各用户的使用时间和各节点中用户的总数量;

3.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述分析得到各节点中学习资源需求表征值,具体分析过程为:

4.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述各节点中学习资源需求表征值是对各节点中各用户的需求数据进行分析得到的数值量化结果,用于量化用户的使用情况变化对节点的计算资源的影响程度。

5.根据权利要求1所述的一种分布式学习资源管理系统,其特征在于:所述根据各节点中学习资源需求表征值匹配得到服务器中各节点的计算资源,具体匹配过程为...

【专利技术属性】
技术研发人员:张瑞魏秀春
申请(专利权)人:临沂大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1