【技术实现步骤摘要】
本专利技术属于人工智能，具体涉及一种基于云边端协同的大模型分割和部署方法、装置、可读存储介质。
技术介绍
1、在智能制造领域中，随着生产规模的扩大和产品复杂度的增加，传统的制造模式已经难以满足高精度、高效率的生产需求。随着人工智能和云计算技术的飞速发展，大型神经网络模型被广泛应用于智能制造的各个环节，以实现智能化决策、优化生产过程和提高生产效率。大型神经网络模型的复杂性和计算资源的有限性成为了限制其在智能制造中应用的主要问题。一方面，大型模型需要巨大的计算资源来支持其训练和推理过程，这对于资源有限的边缘设备来说是一个巨大的挑战；另一方面，智能制造对实时性和响应速度的要求非常高，而大型模型在云端进行推理往往存在延迟和带宽限制的问题。
技术实现思路
1、针对现有技术的不足，本专利技术提出一种基于云边端协同的大模型分割和部署方法、装置、可读存储介质，该方法可以在保证模型性能的同时，降低对计算资源的需求，提高响应速度，适用于智能制造领域需求。
2、为了实现上述目的，本专利技术一方面提供一种基于云边端协同的大模型分割和部署方法，包含：
3、给定一预训练的大模型作为输入，评估该大模型在云边端部署时的性能表现与资源消耗情况；
4、根据该性能表现与资源消耗情况，确定该大模型的分割点；
5、根据该分割点将该大模型分解为多个子模型；
6、将各个子模型部署在云端、边缘端；
7、建立一云边端的协同工作机制，使得各子模型在云端、边缘端协
8、在一些实施例中，根据该大模型的计算复杂度，评估该大模型在云边端部署时的资源消耗，
9、其中，该计算复杂度由该大模型的理论计算量与参数数量确定。
10、在一些实施例中，该理论计算量由理论浮点计算速度表示，该理论浮点计算速度由主频、 每时钟周期浮点计算次数、每个cpu核数、每节点cpu个数的乘积得到；
11、该参数数量由输入的通道数与输出的通道数确定，该参数数量表示为：其中，co代表输入的通道数，ci代表输出的通道数，为卷积核的大小。
12、在一些实施例中，采用知识分解技术，根据确定的分割点，识别该大模型中的多个分割部件，该多个分割部件包含关键组件、模块或层；
13、评估每个分割部件的独立性、可重用性和复杂性，以确定该分割部件是否适合作为独立的子模型。
14、在一些实施例中，将各个子模型部署在云端与边缘端，包含：
15、根据每一子模型的功能和任务特性，确定该子模型在部署环境中需要的资源；
16、评估云端、边缘端的资源情况；
17、根据各子模型的资源，以及云端、边缘端的资源评估结果，确定适合部署在云端的子模型，确定适合在部署在边缘端的子模型；
18、其中，部署于云端的子模型为计算复杂度超过一复杂度阈值，且数据处理量超过一处理量阈值的子模型；
19、部署于边缘端的子模型为计算复杂度未超过该复杂度阈值，和/或，数据处理量未超过该处理量阈值，或者，需要实时数据采集和快速响应的子模型。
20、在一些实施例中，建立云边端的协同工作机制，包含：
21、根据系统数据处理需求和任务计算类型，选择适合的分布式计算框架；
22、在该分布式计算框架中，定义各个子模型的任务和角色，确定各个子模型之间的协作方式和关系；
23、制定各子模型之间的通信方式和协作规则；
24、制定任务调度和分配机制，根据系统需求和资源情况，将任务合理地分配至各个子模型进行处理；
25、建立数据交换和共享机制，使得各子模型之间实时共享数据和信息。
26、在一些实施例中，还包含：
27、对部署在边缘端的各子模型进行自适应优化。具体而言，在一实施例中，实时监测各个子模型在边缘端的性能指标；根据各子模型的性能指标，动态调整该子模型参数、资源分配情况。
28、本专利技术另一方面还提供一种基于云边端协同的大模型分割和部署装置，采取上述的基于云边端协同的大模型分割和部署方法，该基于云边端协同的大模型分割和部署装置包含：
29、评估模块，用以给定一预训练的大模型作为输入，评估该大模型在云边端部署时的性能表现与资源消耗情况；
30、分割模块，用以根据性能评估结果与资源消耗情况，确定该大模型的分割点；以及
31、根据确定的分割点将该大模型分解为多个子模型；
32、部署模块，用以将各个子模型部署在云端、边缘端；
33、协同模块，用以建立一云边端的协同工作机制，使得各子模型在云端、边缘端协同工作。
34、本专利技术另一方面还提供了一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述基于云边端协同的大模型分割和部署方法的步骤，且能达到相同的技术效果。
35、由以上方案可知，本专利技术的优点在于：
36、本专利技术提供的基于云边端协同的大模型分割和部署方法，通过云边端协同的方式，将大模型分割为多个子模型，部分子模型部署在云端，部分子模型部署在边缘端，实现了大型神经网络模型的高效分割与部署，在保证模型性能的同时，降低了对计算资源的需求，提高资源的利用率，提高了响应速度，适用于智能制造的需求。同时，该方法还可以根据实际需求进行自适应优化，提高边缘端子模型的处理能力和稳定性，进一步满足智能制造对高精度、高效率的生产需求。
本文档来自技高网...【技术保护点】
1.一种基于云边端协同的大模型分割和部署方法，其特征在于，包含：
2.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，
3.根据权利要求2所述的基于云边端协同的大模型分割和部署方法，其特征在于，
4.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，
5.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，将各个子模型部署在云端与边缘端，包含：
6.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，建立云边端的协同工作机制，包含：
7.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，还包含：
8.根据权利要求7所述的基于云边端协同的大模型分割和部署方法，其特征在于，
9.一种基于云边端协同的大模型分割和部署装置，其特征在于，采取权
10.一种可读存储介质，可读存储介质上存储有程序或指令，其特征在于，该程序或指令被处理器执行时实现权利要求1-8任一项所述的基于云边端协同的大模
...【技术特征摘要】
1.一种基于云边端协同的大模型分割和部署方法，其特征在于，包含：
2.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，
3.根据权利要求2所述的基于云边端协同的大模型分割和部署方法，其特征在于，
4.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，
5.根据权利要求1所述的基于云边端协同的大模型分割和部署方法，其特征在于，将各个子模型部署在云端与边缘端，包含：
6.根据权利要求1所述的基于云边端协同的大...
【专利技术属性】
技术研发人员：刘娈琦，田凤，李娜，雷腾飞，王迎勋，王香，于钰娜，韩童彤，于欣宁，
申请(专利权)人：齐鲁理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。