一种基于多智能体的端边云3C资源联合优化方法技术

本发明专利技术涉及多智能体资源联合优化技术领域，且公开了一种基于多智能体的端边云3C资源联合优化方法，包括以下步骤：S1、计算任务信息、S2、学习算法模块、S3、优化目标定义、S4、状态定义、S5、动作定义、S6、奖励定义。一种基于多智能体的端边云3C资源联合优化方法，针对异构网络中不同用户产生不同类型的计算任务，研究一种端

【技术实现步骤摘要】
一种基于多智能体的端边云3C资源联合优化方法


[0001]本专利技术涉及多智能体资源联合优化
，具体为一种基于多智能体的端边云3C资源联合优化方法。

技术介绍

[0002]3C联合优化算法一般是将热门内容缓存到离用户更近的位置，可以降低用户下载时延；将计算任务卸载到算力充足的计算节点可以降低计算完成时延，提升用户体验，云中心具有充沛的缓存和计算资源，但距离用户较远，传输时延高，带宽开销大，通过在边缘节点部署缓存和计算资源，可以降低内容下载和计算完成时延，缓解云中心和骨干网压力，将计算任务的输入或输出数据缓存在离用户更近的位置中，可以有效地降低任务完成时延，缓存的本质是利用缓存资源换取通信资源，计算卸载的本质则是利用通信资源换取计算资源，缓存、计算、通信资源三者息息相关，共同决定任务完成时延。
[0003]缓存的本质是利用缓存资源换取通信资源，计算卸载的本质则是利用通信资源换取计算资源，缓存、计算、通信资源三者息息相关，共同决定任务完成时延，因此，对三者进行联合优化至关重要，现有的3C联合优化算法大多针对某一特点类型应用，无法适应包含多种类型应用的异构网络，此外，大多联合优化算法仅针对端
‑
边计算架构，没有充分利用云中心大量的计算和存储资源。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种基于多智能体的端边云3C资源联合优化方法，具备利用计算、缓存和全局奖励函数对3C资源之间的联系进行建模，以降低整体网络的时延。本专利技术定义的计算奖励用于衡量计算卸载决策为产生计算任务的用户带来的时延收益；缓存奖励函数用于衡量缓存决策为网络带来的计算资源收益等优点，解决了现有的3C联合优化算法大多针对某一特点类型应用，无法适应包含多种类型应用的异构网络，此外，大多联合优化算法仅针对端
‑
边计算架构，没有充分利用云中心大量的计算和存储资源的问题。
[0006](二)技术方案
[0007]为实现上述实现异构网络中端
‑
边
‑
云协同的3C资源联合优化，利用计算、缓存和全局奖励函数对3C资源之间的联系进行建模，以降低整体网络的时延目的，本专利技术提供如下技术方案：一种基于多智能体的端边云3C资源联合优化方法，包括以下步骤：
[0008]S1、计算任务信息
[0009]位于端层的用户u∈N＝{1，2，
…
，N}产生的计算任务i∈H＝{1，2，
…
，H}使用五元组ξ
i
来表示，ξ
i
＝{I
i
，O
i
，ω
i
，τ
i
，p
i
}，其中I
i
和O
i
分别表示输入数据和计算结果，ω
i
表示任务的计算密度；τ
i
表示任务的约束时延；p
i
表示任务流行度；输入数据I
i
＝[I
i，1
，I
i，2
，I
i，3
]，其中I
i，1
∈{0，1}表示任务的输入数据来自于用户(I
i，1
＝1)或云服务器(I
i，1
＝0)；I
i，2
表示
输入数据量；I
i，3
∈{0，1}表示缓存标识，当I
i，3
＝1表示允许缓存，否则不允许缓存，计算结果O
i
＝[O
i，1
，O
i，2
，O
i，3
]，定义与输入数据I
i
类似。
[0010]S2、学习算法模块
[0011]当本地计算资源无法满足任务需求时，可以将任务卸载到邻近的空闲终端、边缘服务器或是云服务器中执行，定义Z＝N∪{N+1，N+2}为计算节点集合，N+1和N+2分别表示边缘服务器E和云服务器C。
[0012]S3、优化目标定义
[0013]优化目标是最小化所有任务的完成时延，定义如下：
[0014][0015][0016]S4、状态定义
[0017]状态S(t)＝{ξ
i
，ψ
D
(t)，ψ
E
(t)，ψ
E
(t)，c
i
(t)}。
[0018]S5、动作定义
[0019]MADRL由两个智能体组成，即计算智能体和缓存智能体，分别制定计算卸载和缓存决策。
[0020]S6、奖励定义
[0021]当智能体执行动作后，接收到即时奖励，为了实现3C资源优化，本文定义三种奖励：计算奖励r
com
(t)，缓存奖励r
cac
(t)，和全局奖励，r
b
(t)。
[0022]优选的，所述步骤S3中，当用户u产生的计算任务i卸载到节点j处理时，任务完成时延包含三部分：输入数据传输时延、计算时延和计算结果传输时延，定义如下：
[0023][0024][0025]优选的，所述步骤S3中，表示将输入数据从数据源传输到计算节点的时延，表示将输入数据从缓存节点k传输到计算节点j的时延，表示任务的计算时延，为计算节点j分配给任务i的计算资源，表示将计算结果传输给目的地的时延，
[0026]R
l
数据转发路径上第l条链路的数据率，c
i，j
∈{0，1}表示任务i在节点j中的缓存状态，c
i，j
＝1表示有缓存，否则无缓存。
[0027]优选的，所述步骤S3中，为任务完成时延，约束条件C2表示终端d分配给任务i的计算资源不得超过其可用计算资源，F
d
，卸载到边缘服务器和云服务器的所有任务计算资源之和不得超过边缘服务器和云服务器的可用计算资源，即F
E
和F
C
，约束条件C3表示缓存在节点j的任务数据不得超过节点j的缓存空间C
j
。
[0028]优选的，所述步骤S4中，ξ
i
为任务i的信息；ψ
D
(t)为D2D网络可用的计算、缓存和带宽资源；ψ
E
(t)为边缘服务器可用的计算、缓存和带宽资源；ψ
c
(t)为云服务器可用的计算、缓存和带宽资源；c
i
(t)为任务i在网络中的缓存状态。
[0029]优选的，所述步骤S5中，计算智能体的动作a
com
(t)定义为：
[0030]a
com
(t)＝[a
com，1
(t)，a
com，2
(t)，a
com，3
(t)]，其中，a
com，i
(t)∈{0，1}表示任务是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体的端边云3C资源联合优化方法，其特征在于，包括以下步骤：S1、计算任务信息位于端层的用户u∈Ν＝{1,2,
…
,N}产生的计算任务i∈Η＝{1,2,
…
,H}使用五元组ξ
i
来表示，ξ
i
＝{I
i
，O
i
，ω
i
，τ
i
，p
i
}，其中I
i
和o
i
分别表示输入数据和计算结果，ω
i
表示任务的计算密度；τ
i
表示任务的约束时延；p
i
表示任务流行度；输入数据I
i
＝[I
i，1
，I
i，2
，I
i，3
]，其中I
i，1
∈{0，1}表示任务的输入数据来自于用户(I
i，1
＝1)或云服务器(I
i，1
＝0)；I
i，2
表示输入数据量；I
i，3
∈{0，1}表示缓存标识，当I
i，3
＝1表示允许缓存，否则不允许缓存，计算结果O
i
＝[O
i，1
，O
i，2
，O
i，3
]，定义与输入数据I
i
类似。S2、学习算法模块当本地计算资源无法满足任务需求时，可以将任务卸载到邻近的空闲终端、边缘服务器或是云服务器中执行，定义Z＝N∪{N+1，N+2}为计算节点集合，N+1和N+2分别表示边缘服务器E和云服务器C。S3、优化目标定义优化目标是最小化所有任务的完成时延，定义如下：s.t.C1：C2：C3：S4、状态定义状态S(t)＝{ξ
i
,ψ
D
(t),ψ
E
(t),ψ
E
(t),c
i
(t)}。S5、动作定义MADRL由两个智能体组成，即计算智能体和缓存智能体，分别制定计算卸载和缓存决策。S6、奖励定义当智能体执行动作后，接收到即时奖励，为了实现3C资源优化，本文定义三种奖励：计算奖励r
com
(t)，缓存奖励r
cac
(t)，和全局奖励，r
b
(t)。2.根据权利要求1所述的一种基于多智能体的端边云3C资源联合优化方法，其特征在于，所述步骤S3中，当用户u产生的计算任务i卸载到节点j处理时，任务完成时延包含三部分：输入数据传输时延、计算时延和计算结果传输时延，定义如下：三部分：输入数据传输时延、计算时延和计算结果传输时延，定义如下：3.根据权利要求2所述的一种基于多智能体的端边云3C资源联合优化方法，其特征在
于，所述步骤S3中，表示将输入数据从数据源传输到计算节点的时延，表示将输入数据从缓存节点k传输到计算节点j的时延，表示任务的计算时延，为计算节点j分配给任务i的计算资源，表示将计算结果传输给目的地的时延，R
l
数据转发路径上第l条链路的数据率，c
i，j
∈(0，1}表示任务i在节点j中的缓存状态，c
i，j
＝1表...

【专利技术属性】
技术研发人员：刘燕，黄太秦，蔡君，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：