【技术实现步骤摘要】
本专利技术涉及物联网，尤其涉及一种基于分布式边缘云的高效大语言模型推理方法、设备和存储介质。
技术介绍
1、随着万物互联时代到来以及5g通信网络普及，互联网数据规模呈现指数级增长。边缘云的超低时延、海量数据、边缘智能等特性促使更多的企业选择边缘云技术方案的原因，也使得边缘云计算在市场中成为构筑在中心云与终端之间的重要组成。大型语言模型（llm）的出现引起了公众、工业界和学术界的广泛关注，代表了人工智能（ai）的重大突破。llm的出色能力使其在广泛的应用中具有价值和良好的性能，从聊天机器人和内容生成（例如，文本汇总和代码生成），以辅助教育和研究的工具。在此背景下，传统的云计算的中心化架构已经无法满足终端用户对于时效、容量、算力的需求。
2、随着人工智能技术的飞速发展，越来越多的应用场景需要在边缘侧进行实时、高效的数据处理与决策，这推动了大模型边缘部署的需求快速增长。目前市场规模尚未达到巨大，但随着边缘计算设备的性能持续提升和算法优化技术的突破。llm如此令人印象深刻的生成潜力源于其具有数十亿神经元的复杂结构，这导致了资源密集型的训练和推理。因此，llm主要托管在云中。然而，这种集中化的方法带来了隐私问题、使用限制和延迟等挑战，阻碍了gai的更广泛接受。
技术实现思路
1、本专利技术的目的是为了解决现有技术中存在的缺点，而提供了一种基于分布式边缘云的高效大语言模型推理方法，包括以下步骤：
2、s1：将用户设备ue和边缘节点en根据深度优先搜索树分配到包括gpu优
3、s2：马尔可夫决策过程根据训练集得到分裂点，根据所述分裂点将推理模型进行划分得到划分模型，并将所述划分模型部署到在所述分类群组的每一个组中，得到优化模型；
4、s3：将测试集输入到所述优化模型进行推理得到推理结果。
5、优选地，在步骤s1中，所述将用户设备ue和边缘节点en根据深度优先搜索树分配到包括gpu优先组、内存优先组和混合组的分类群组，包括以下步骤：
6、s11：所述用户设备和所述边缘节点根据gpu性能和/或内存容量构建所述深度优先搜索树；
7、s12：在所述深度优先搜索树中选取若干gpu性能好的所述用户设备和/或所述边缘节点加入gpu优先组，并选取若干内存容量大的所述用户设备和/或所述边缘节点加入内存优先组；
8、s13:从所述gpu优先组和所述内存优先组中选择所述用户设备和/或所述边缘节点加入所述混合组。
9、优选地，在步骤s2中，所述马尔可夫决策过程根据训练集得到分裂点，根据所述分裂点将推理模型进行划分得到划分模型，进一步包括：
10、所述策略梯度强化ppo获得所述训练集，根据策略网络和价值函数网络获得预期贴现回报；
11、所述马尔可夫决策过程根据所述预期贴现回报获得分裂点。
12、优选地，所述策略梯度强化ppo获得所述训练集，根据策略网络和价值函数网络获得预期贴现回报，进一步包括：
13、所述策略梯度强化ppo获得所述训练集，所述策略网络根据所述训练集计算当前策略参数和上次策略参数，根据所述当前策略参数和所述上次策略参数计算策略比率；
14、根据所述价值函数网络计算参数，根据所述参数通过广义估计优势计算优势估计，根据所述优势估计来限制策略更新幅度；
15、截断代理目标函数根据所述策略比率和所述优势估计得到预期贴现回报。
16、优选地，所述根据所述参数通过广义估计优势计算优势估计，根据所述优势估计来限制策略更新幅度，进一步包括：
17、通过广义估计优势计算优势估计，所述优势估计的计算公式如下：
18、其中，表示时间差异误差，是折扣因子，是控制偏差-方差权衡的gae参数，是当前时刻的状态，是时间步长的索引。
19、优选地，截断代理目标函数根据所述优势估计和所述策略估计得到预期贴现回报，进一步包括：
20、根据所述截断代理目标函数获得代理目标，根据所述代理目标得到所述预期贴现回报，所述截断代理目标函数的计算公式如下：
21、
22、其中，表示所述训练集的策略参数，为当前时刻的动作，为当前时刻的状态，为超参数，为策略比率，通过确保策略比率不会显著偏离1，以防止大的、不稳定的更新；
23、其中，截断代理目标根据所述阶段代理目标函数更新策略参数，根据所述更新策略参数计算预期贴现回报，所述更新策略参数的计算公式如下：
24、
25、其中，为学习率。
26、优选地，所述马尔可夫决策过程根据所述预期贴现回报获得分裂点，进一步包括：
27、所述预期贴现回报近似于长期总体目标，根据所述长期总体目标计算未来状态；
28、根据所述未来状态计算在ue网络的奖励，根据所述奖励获得分裂点，其中所述奖励的计算公式为：
29、 所述马尔可夫决策过程是由一个元组组成，其中，状态空间包含噪声强度、瑞利衰落尺度和当前分裂点在内的关键因素，即，动作空间包含将所述分裂点向上移动或向下移动三种可能的动作，或者保持当前的分裂点0，数学上，,对于时间步长，给定状态下的动作，环境状态将根据转移概率p，也即分裂点p过渡到下一个状态，这取决于选择的动作和实时通道条件。
30、优选地，所述解码层网络根据所述工作负载序列、所述最有效静态特征编码器层输出的编码参数得到预测工作负载，进一步包括：
31、其中，所述长期总体目标的计算公式如下：
32、
33、其中，为参数，折扣因子涉及未来奖励的重要性，且折扣因子学习由 参数化的策略参数以获得所述长期总体目标的计算公式的最大值。
34、基于相同的构思本专利技术还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如实施例中任一项所述的基于分布式边缘云的高效大语言模型推理方法的步骤。
35、基于相同的构思本专利技术还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如实施例中任一项所述的基于分布式边缘云的高效大语言模型推理方法的步骤。
36、与现有技术相比，本专利技术的有益效果是：
37、本专利技术通过将用户设备ue和边缘节点en根据深度优先搜索树分配到包括gpu优先组、内存优先组和混合组的分类群组，在充分利用异构设备的情况下加快了推理速度，并通过深度优先搜索树提高了边缘计算环境中大型语言模型推理的性能，还确保了在满足复杂用户需求的同时优化资源使用，展示了在实际部署中的高效性和实用。
38、本专利技术通过将马尔可夫决策过程根据训练集得到分裂点，根据所述分裂点将推理模型进行划分得到划分模型，并将划分模型部署到在所述分类群组的每一个组中，从而降低用户设备的负载。...
【技术保护点】
1.一种基于分布式边缘云的高效大语言模型推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，在步骤S1中，所述将用户设备UE和边缘节点EN根据深度优先搜索树分配到包括GPU优先组、内存优先组和混合组的分类群组，包括以下步骤：
3.根据权利要求2所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，在步骤S2中，所述马尔可夫决策过程根据训练集得到分裂点，根据所述分裂点将推理模型进行划分得到划分模型，进一步包括：
4.根据权利要求3所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，所述策略梯度强化PPO获得所述训练集，根据策略网络和价值函数网络获得预期贴现回报，进一步包括：
5.根据4所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，所述根据所述参数通过广义估计优势计算优势估计，根据所述优势估计来限制策略更新幅度，进一步包括：
6.根据权利要求5所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，截断代理目标函数根据所述优势估计
7.根据权利要求6所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，所述马尔可夫决策过程根据所述预期贴现回报获得分裂点，进一步包括：
8.根据权利要求7所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，所述解码层网络根据所述工作负载序列、所述最有效静态特征编码器层输出的编码参数得到预测工作负载，进一步包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的基于分布式边缘云的高效大语言模型推理方法的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中任一项所述的基于分布式边缘云的高效大语言模型推理方法的步骤。
...【技术特征摘要】
1.一种基于分布式边缘云的高效大语言模型推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，在步骤s1中，所述将用户设备ue和边缘节点en根据深度优先搜索树分配到包括gpu优先组、内存优先组和混合组的分类群组，包括以下步骤：
3.根据权利要求2所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，在步骤s2中，所述马尔可夫决策过程根据训练集得到分裂点，根据所述分裂点将推理模型进行划分得到划分模型，进一步包括：
4.根据权利要求3所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，所述策略梯度强化ppo获得所述训练集，根据策略网络和价值函数网络获得预期贴现回报，进一步包括：
5.根据4所述的基于分布式边缘云的高效大语言模型推理方法，其特征在于，所述根据所述参数通过广义估计优势计算优势估计，根据所述优势估计来限制策略更新幅度，进一步包括：
6.根据权利要求5所述的基于分布式边...
【专利技术属性】
技术研发人员：王闻宇，张青青，王晓飞，
申请(专利权)人：派欧云计算上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。