一种基于联邦强化学习的服务功能链部署方法技术

本发明专利技术涉及一种基于联邦强化学习的服务功能链部署方法，属于移动通信技术领域，包括以下步骤：S1：在云边协同网络场景下，联合网络边缘端和云端共同进行服务功能链SFC部署，实现部署成本和部署能耗联合优化；S2：对时延敏感和资源密集这两大类型的物联网网络应用请求，分别建立两种不同时间尺度的基于参数化深度Q学习P

【技术实现步骤摘要】
一种基于联邦强化学习的服务功能链部署方法


[0001]本专利技术属于移动通信
，涉及一种基于联邦强化学习的服务功能链部署方法。

技术介绍

[0002]随着5G时代到来，万物互联已经成为全球网络未来的发展趋势，物联网技术为更智能的环境提供了解决方案。物联网应用场景对网络性能有低延迟、高可靠、高安全性和高数据率的要求，传统以云计算为范式的数据处理方式将大量物联网计算任务传送到核心网，不仅造成较大的数据传输延迟同时也给核心网带来较高的数据处理压力，甚至由于过度的数据传输导致用户服务质量下降。边缘计算通过将具有计算处理能力的服务器部署在基站附近，就近为用户提供可靠的云服务从而降低网络延迟。然而，由于边缘服务器的资源相对有限，边缘计算无法完全取代云计算，因此，集成云计算和边缘计算的云边协作架构在网络中至关重要。
[0003]利用NFV技术，虚拟网络功能(VNF)可以根据网络业务要求在不同位置进行实例化，灵活引导网络业务流量通过严格有序的VNF形成服务功能链(SFC)提供网络服务，而且引入基于SDN的网络编程实现了数据平面和控制平面的分离，允许网络管理采取集中控制方式和利用动态路由规划快速实现物联网业务的SFC部署。物联网网络应用SFC，一方面使得物联网网络部署的VNF可以根据用户网络业务需求灵活调整；另一方面物联网应用产生的网络数据可以尽快地由所需VNF处理，从而有效提高Qos，减少网络资源浪费。
[0004]现有SFC部署技术应用于实际复杂多变的物联网网络并不适用，这些解决方案要么带来一定的求解时延，要么极易陷入局部最优，要么因为探索巨大的物联网网络空间存在收敛缓慢的问题，而现有的深度强化学习允许代理与环境相互作用，能够快速适应不断变化的网络环境，有助于处理大量随机变化的网络流量。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于联邦强化学习的服务功能链部署方法
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种基于联邦强化学习的服务功能链部署方法，包括以下步骤：
[0008]S1：在云边协同网络场景下，联合网络边缘端和云端共同进行服务功能链SFC部署，实现部署成本和部署能耗联合优化；
[0009]S2：对时延敏感和资源密集这两大类型的物联网网络应用请求，分别建立两种不同时间尺度的基于参数化深度Q学习(P
‑
DQN)的本地SFC部署算法；
[0010]S3：根据步骤S2得到的多个本地P
‑
DQN算法参数，建立一种基于联邦学习的全局SFC部署模型训练方法，对时延敏感型的小时间尺度SFC部署建立一种基于窗口值的异步联邦参数聚合方式，对资源密集型的大时间尺度SFC部署建立一种弹性参数更新的同步联邦参数聚合方式。
[0011]进一步，在步骤S1中，所述云边协同网络场景包括四架构：物联网设备层支挣用户连接网络，由联网的设备组成；边缘网络层提供边缘计算的物理资源，由基站、路由器和边缘服务器组成；云数据中心层提供云计算的物理资源，由云服务器组成；网络切片层用来处理网络业务，由一系列虚拟网络功能VNF组成的SFC处理；所述SFC部署是为SFC上的VNF和链路选择映射的服务器和物理链路。
[0012]进一步，步骤S1中所述部署成本为VNF映射到服务器后所消耗的成本，包括VNF设置成本和VNF运营成本；所述VNF设置成本是指在网络中通过引导虚拟机激活需部署VNF实例的总成本，时刻t的VNF部署成本为：
[0013][0014]κ
i,j
表示在网络中设置单个VNFj的成本；
[0015]所述VNF运营成本是指在网络运行期间系统运行各种类型的VNF成本，时刻t的VNF运营成本为：
[0016][0017]表示单位时间内运行VNF j的成本。
[0018]进一步，步骤S1中所述部署能耗为VNF映射到服务器后的系统能耗，包括服务器运行能耗和路由器运行能耗；所述服务器运行能耗为服务器空载能耗和负载能耗之和，物理节点n在时刻t的运行能耗表示为：
[0019][0020]和分别为云服务器或边缘服务器这一类型物理节点n的空载能耗和满载能耗，为云服务器或边缘服务器这类型的物理节点n在时刻t是否开启的二进制变量，只要有VNF映射到物理节点n上，则物理节点n保持开启状态且否则否则为物理节点n的计算资源利用率；
[0021]所述路由器运行能耗为路由器运行基础能耗和路由器端口被打开能耗，时刻t的路由器的运行能耗表示如下：
[0022][0023]β
e
(t)为时刻t路由器e是否开启的二进制变量，δ
e,s
(t)为时刻t路由器e的端口s是否被开启的二进制变量，设和分别为路由器e的基础运行能耗和路由器e上的端口s被开启的能耗。
[0024]进一步，步骤S2中所述物理节点的资源利用率为物理节点上所有VNF的CPU资源需求之和与物理节点的CPU容量的比值；所述资源使用过载或者资源使用轻载的物理节点为物理节点的资源利用率高于物理节点的最高CPU资源使用阈值或者低于最低CPU资源使用阈值；所述网络性能为满足用户的网络服务质量。
[0025]进一步，步骤S2中所述时延敏感型网络应用请求为对网络时延要求极低的网络业
务，资源密集型网络应用请求为对计算、带宽要求极高的网络业务；
[0026]所述两种不同时间尺度的SFC部署为在大时间尺度上对资源密集型网络请求进行SFC部署，在小时间尺度上对时延敏感型网络请求进行SFC部署；
[0027]所述基于参数化深度Q学习(P
‑
DQN)的本地SFC部署算法为将网络分为几个区域，各个区域设置的智能体进行基于P
‑
DQN算法的SFC部署模型训练，互不干扰；所述智能体为可以进行深度强化学习训练的代理。
[0028]进一步，步骤S2具体包括以下步骤：
[0029]S21：按照云服务器数量、边缘服务器数量、路由器数量将网络区域等分为几个本地区域；
[0030]S22：各个区域的智能体在各自的本地区域进行本地P
‑
DQN算法训练；
[0031]S23：各个智能体将所探寻得到的所有映射动作输入P
‑
DQN结构中的深度Q网络中，并输出各个映射动作对应的动作值函数；
[0032]S24：各个智能体将深度Q网络输出的动作值函数集合输出P
‑
DQN结构中的深度确定性策略网络中评估动作值函数的高低，深度确定性策略网络输出动作值函数最高的映射动作；
[0033]S25：各区域智能体输出映射对应的深度Q网络参数和深度确定性策略网络参数。
[0034]进一步，步骤S3中所述的基于联邦学习的全局SFC部署模型训练方法为选定一个云服务器作为模型聚合节点，模型聚合节点收集各个区域智能体的P
‑
DQN参数并作平均；具体包括以下步骤：
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦强化学习的服务功能链部署方法，其特征在于：包括以下步骤：S1：在云边协同网络场景下，联合网络边缘端和云端共同进行服务功能链SFC部署，实现部署成本和部署能耗联合优化；S2：对时延敏感和资源密集这两大类型的物联网网络应用请求，分别建立两种不同时间尺度的基于参数化深度Q学习P
‑
DQN的本地SFC部署算法；S3：根据步骤S2得到的多个本地P
‑
DQN算法参数，建立一种基于联邦学习的全局SFC部署模型训练方法，对时延敏感型的小时间尺度SFC部署建立一种基于窗口值的异步联邦参数聚合方式，对资源密集型的大时间尺度SFC部署建立一种弹性参数更新的同步联邦参数聚合方式。2.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法，其特征在于：在步骤S1中，所述云边协同网络场景包括四架构：物联网设备层支挣用户连接网络，由联网的设备组成；边缘网络层提供边缘计算的物理资源，由基站、路由器和边缘服务器组成；云数据中心层提供云计算的物理资源，由云服务器组成；网络切片层用来处理网络业务，由一系列虚拟网络功能VNF组成的SFC处理；所述SFC部署是为SFC上的VNF和链路选择映射的服务器和物理链路。3.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法，其特征在于：步骤S1中所述部署成本为VNF映射到服务器后所消耗的成本，包括VNF设置成本和VNF运营成本；所述VNF设置成本是指在网络中通过引导虚拟机激活需部署VNF实例的总成本，时刻t的VNF部署成本为：κ
i,j
表示在网络中设置单个VNFj的成本；所述VNF运营成本是指在网络运行期间系统运行各种类型的VNF成本，时刻t的VNF运营成本为：成本为：表示单位时间内运行VNF j的成本。4.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法，其特征在于：步骤S1中所述部署能耗为VNF映射到服务器后的系统能耗，包括服务器运行能耗和路由器运行能耗；所述服务器运行能耗为服务器空载能耗和负载能耗之和，物理节点n在时刻t的运行能耗表示为：表示为：和分别为云服务器或边缘服务器这一类型物理节点n的空载能耗和满载能耗，为云服务器或边缘服务器这类型的物理节点n在时刻t是否开启的二进制变量，只要有VNF映射到物理节点n上，则物理节点n保持开启状态且否则否则为物理节点n的计算资源利用率；所述路由器运行能耗为路由器运行基础能耗和路由器端口被打开能耗，时刻t的路由
器的运行能耗表示如下：β
e
(t)为时刻t路由器e是否开启的二进制变量，δ
e,s
(t)为时刻t路由器e的端口s是否被开启的二进制变量，设和分别为路由器e的基础运行能耗和路由器e上的端口s被开启的能耗。5.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法，其特征在于：步骤S2中所述物理节点的资源利用率为物理节点上所有VNF的CPU资源需求之和与物理节点的CPU容量的比值；所述资源使用过载或者资源使用轻载的物理节点为物理节点的资源利用率高于物理节点的最高CPU资源使用阈值或者低于最低CPU资源使用阈值；所述网络性能为满足用户的网络服务质量。6.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法，其特征在于：步骤S2中所述时延敏感型网络应用请求为对网络时延要求极低的网络业务，资源密集型网络应用请求为对计算、带宽要求极高的网络业务；所述两种不同时间尺度的SFC部署为在大时间尺度上对资源密集型网络请求进行SFC部署，在小时间尺度上对时延敏感型网络请求进行SFC部署；所述基于参数化深度Q学习P
‑
DQN的本地SFC部署算法为将网络分为几个区域，各个区域设置的智能体进行基于P
‑
DQN算法的SFC部署模型训练，互不干扰；所述智能体为可以进行深度强化学习训练的代理。7.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法，其特征在于：步骤S2具体包括以下步骤：S21：按照云服务器数量、边缘服务器数量、路由器数量将网络区域等分为几个本地区域；S22：各个区域的智能体在各自的本地区域进行本地P
‑
DQN算法训练；S23：各个智能体将所探寻得到的所有映射动作输入P
‑
DQN结构中的深度Q网络中，并输出各个映射动作对应的动作值函数；S24：各个智能体将深度Q网络输出的动作值函数集合输出P
‑
DQN结构中的深度确定性策略网络中评估动作值函数的...

【专利技术属性】
技术研发人员：唐伦，吴婷，周鑫隆，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：