System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于大模型分层计算的系统优化方法及装置、电子设备制造方法及图纸_技高网

用于大模型分层计算的系统优化方法及装置、电子设备制造方法及图纸

技术编号:43103889 阅读:7 留言:0更新日期:2024-10-26 09:46
本申请涉及智慧家庭技术领域,公开一种用于大模型分层计算的系统优化方法,包括:在对大模型的计算任务进行调度的情况下,收集大模型计算系统的状态数据;将收集到的大模型计算系统的状态数据输入经过训练的状态评估模型,获得大模型计算系统的状态评估值;在状态评估值触发大模型计算系统的反馈机制的情况下,获取大模型计算系统的反馈机制中的预设阈值;在状态评估值大于或等于预设阈值的情况下,向任务调度器传输状态评估值,以使任务调度器重新对大模型的计算任务进行调度。实现了对调度策略的优化,减少了因为调度策略不够合理从而导致大模型计算系统的运行情况不佳,分层计算效率低的问题。

【技术实现步骤摘要】

本申请涉及智慧家庭,具体而言,涉及一种用于大模型分层计算的系统优化方法及装置、电子设备


技术介绍

1、目前,随着物联网和人工智能技术的不断发展,越来越多的智能设备被应用到家庭环境中,智能设备需要执行的任务也越来越复杂。如何对任务进行处理和优化是当前关键的问题。尤其,当任务难以在同一设备执行时,需要将任务分层,并分配至不同设备。

2、为了对任务进行分配,相关技术提供一种第一处理器,包括:接口模块被配置为从外部设备接收任务处理源数据和任务配置数据,以及向外部设备发送任务处理结果数据;并行计算架构,所述并行计算架构包括由多个处理单元组成的分层结构,各个处理单元是具备独立任务处理能力的最小处理单元;以及任务管理模块,被配置为根据所述任务配置数据,将所述任务处理源数据分发给所述并行计算架构中的各个处理单元来并行处理,得到任务处理结果数据,以及将所述任务处理结果数据提供给所述外部设备。

3、在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:

4、相关技术中,将任务处理结果数据提供给外部设备后,并没有收集外部设备的运行状态。难以对任务处理结果数据进行评估,从而无法根据评估结果优化任务管理模块。

5、需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。

2、本公开实施例提供了一种用于大模型分层计算的系统优化方法及装置、电子设备,能够提高分层计算的效率。

3、在一些实施例中,所述用于大模型分层计算的系统优化方法包括:在对大模型的计算任务进行调度的情况下,收集大模型计算系统的状态数据;将收集到的大模型计算系统的状态数据输入经过训练的状态评估模型,获得大模型计算系统的状态评估值;在状态评估值触发大模型计算系统的反馈机制的情况下,获取大模型计算系统的反馈机制中的预设阈值;在状态评估值大于或等于预设阈值的情况下,向任务调度器传输状态评估值,以使任务调度器重新对大模型的计算任务进行调度。

4、可选地,收集大模型计算系统的状态数据,包括:根据收集间隔时间,通过编程技术收集大模型计算系统的状态数据;其中,编程技术包括系统调用、进程间通信和日志记录中的一种或多种;将收集到的状态数据存储至数据库。

5、可选地,在状态评估值大于或等于预设阈值的情况下,向任务调度器传输状态评估值,包括:在状态评估值大于或等于预设阈值的情况下,通过消息队列将状态评估值传输至任务调度器。

6、可选地,所述用于大模型分层计算的系统优化方法还包括:在状态评估值小于大模型计算系统的异常阈值的情况下,将异常计算任务标记为需要限制资源的计算任务,并修改需要限制资源的计算任务的权限或优先级;修改需要限制资源的计算任务的权限或优先级后,在计算任务出现异常的情况下,调整计算任务的参数或重启服务。

7、可选地,所述用于大模型分层计算的系统优化方法还包括:将异常计算任务的任务信息反馈至状态评估模型,以更新状态评估模型。

8、可选地,所述用于大模型分层计算的系统优化方法还包括:根据收集到的大模型计算系统的状态数据,对系统的中央处理器cpu、图形处理器gpu和现场可编程门阵列fpga中的一种或多种进行并行优化。

9、可选地,所述用于大模型分层计算的系统优化方法按照如下方式获得状态评估模型:从收集到的大模型计算系统的状态数据中筛选关键特征;将筛选出的关键特征输入基础模型,以训练基础模型;将训练后的基础模型作为状态评估模型。

10、在一些实施例中,所述用于大模型分层计算的系统优化装置,包括:状态收集模块,被配置为在对大模型的计算任务进行调度的情况下,收集大模型计算系统的状态数据;状态评估模块,被配置为将收集到的大模型计算系统的状态数据输入经过训练的状态评估模型,获得大模型计算系统的状态评估值;任务调度模块,被配置为在状态评估值触发大模型计算系统的反馈机制的情况下,向任务调度器传输状态评估值,以使任务调度器重新对大模型的计算任务进行调度。

11、在一些实施例中,所述用于大模型分层计算的系统优化装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行上述的用于大模型分层计算的系统优化方法。

12、在一些实施例中,所述电子设备,包括:电子设备本体;和,如上述的用于大模型分层计算的系统优化装置,安装于电子设备本体。

13、本公开实施例提供的用于大模型分层计算的系统优化方法及装置、电子设备,可以实现以下技术效果:

14、本公开实施例中,能够收集大模型计算系统的状态数据,这些状态数据可以表示系统在进行调度操作后的运行情况。将收集到的大模型计算系统的状态数据输入经过训练的状态评估模型,可以对系统的运行情况进行评估,获得大模型计算系统的状态评估值。大模型计算系统设置有反馈机制,在状态评估值大于或等于反馈机制中的预设阈值的情况下,向任务调度器传输状态评估值,以使任务调度器重新对大模型的计算任务进行调度。这样,任务调度器能够根据状态评估值判断调度策略是否合理,从而可以对调度策略进行调整,进而重新对大模型的计算任务进行调度。实现了对调度策略的优化,减少了因为调度策略不够合理从而导致大模型计算系统的运行情况不佳,分层计算效率低的问题。

15、以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。

本文档来自技高网...

【技术保护点】

1.一种用于大模型分层计算的系统优化方法,其特征在于,包括:

2.根据权利要求1所述的用于大模型分层计算的系统优化方法,其特征在于,收集大模型计算系统的状态数据,包括:

3.根据权利要求1所述的用于大模型分层计算的系统优化方法,其特征在于,在状态评估值大于或等于预设阈值的情况下,向任务调度器传输状态评估值,包括:

4.根据权利要求1至3任一项所述的用于大模型分层计算的系统优化方法,其特征在于,还包括:

5.根据权利要求4所述的用于大模型分层计算的系统优化方法,其特征在于,还包括:

6.根据权利要求1至3任一项所述的用于大模型分层计算的系统优化方法,其特征在于,还包括:

7.根据权利要求1至3任一项所述的用于大模型分层计算的系统优化方法,其特征在于,按照如下方式获得状态评估模型:

8.一种用于大模型分层计算的系统优化装置,其特征在于,包括:

9.一种用于大模型分层计算的系统优化装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的用于大模型分层计算的系统优化方法。

10.一种电子设备,其特征在于,包括:

...

【技术特征摘要】

1.一种用于大模型分层计算的系统优化方法,其特征在于,包括:

2.根据权利要求1所述的用于大模型分层计算的系统优化方法,其特征在于,收集大模型计算系统的状态数据,包括:

3.根据权利要求1所述的用于大模型分层计算的系统优化方法,其特征在于,在状态评估值大于或等于预设阈值的情况下,向任务调度器传输状态评估值,包括:

4.根据权利要求1至3任一项所述的用于大模型分层计算的系统优化方法,其特征在于,还包括:

5.根据权利要求4所述的用于大模型分层计算的系统优化方法,其特征在于,还包括:

6.根...

【专利技术属性】
技术研发人员:杜永杰窦方正田云龙王平辉牛丽陈天璐
申请(专利权)人:青岛海尔科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1