车联网中深度强化学习辅助的RAN切片和任务卸载联合优化方法技术

本发明专利技术提出一种车联网中深度强化学习辅助的RAN切片和任务卸载联合优化方法，目的是最大化车联网任务完成数量，首先，采用多时间尺度、多维资源切片框架，为不同类型任务的卸载提供差异化服务质量保障。在该框架下，任务完成数量最大化问题被建模为一个带约束的长时累积优化问题。该问题被解耦为大时间尺度上的RAN切片子问题与小时间尺度上的协作式任务调度子问题。每当一个新切片窗口到来，控制器通过最优化方法划分频谱和计算资源给各个切片。然后在切片窗口的各个时隙内，基于深度强化学习的任务调度算法综合考虑车速、行驶方向、基站资源等因素决定任务调度。仿真结果表明，所提方案在任务完成率、环境适应性等方面优于现有典型的基准方法。优于现有典型的基准方法。优于现有典型的基准方法。

【技术实现步骤摘要】
车联网中深度强化学习辅助的RAN切片和任务卸载联合优化方法


[0001]本专利技术属于车联网
，具体是一种车联网中深度强化学习辅助的RAN切片和任务卸载联合优化方法。

技术介绍

[0002]车联网(Internet of Vehicles,IoV)基于车用无线通信技术，将车辆、路边单元(Road
‑
Side
‑
Unit,RSU)、基站和服务提供商连接为一个有机的整体，实现全方信息实时共享
[1]。车载用户可以获得自动驾驶、路径规划、碰撞预警、车载娱乐、高清地图下载等服务
[2]。一般而言，车辆搭载的计算设备能力有限。车联网中有许多对延迟敏感的计算任务，若任务被卸载至远端的云服务器，远程传输和处理带来的高延迟对延迟敏感型任务而言是无法接受的
[3]。移动边缘计算(Mobile Edge Computing,MEC)
[4]将数据处理从云端转移到网络边缘设备中，终端设备产生的任务交由边缘设备处理，有效降低传输过程中产生的延迟。车辆大部分时间处于高速移动状态，任务发布在时间和空间上分布不均匀。边缘网络资源有限，很难为车载用户提供稳定的服务质量(Quality
‑
of
‑
Service,QoS)保证
[5]。车联网用户常同时处于多个基站的覆盖范围内，如何为任务选择最优卸载目的地也是一个挑战性问题。
[0003]网络切片
[6]是一种对网络架构和服务模式的重要革新技术。通过将物理无线接入网(Radio Access Network,RAN)划分为多个逻辑独立的虚拟网络(即：切片)，多个运营商可以共享同一物理网络的资源，从而提升网管灵活度，减少基础设施支出和运营成本。网络功能虚拟化(Network Functions Virtualization,NFV)
[7]和软件定义网络(Software
‑
Defined Networking,SDN)
[8]是网络切片的支撑技术。在RAN侧，基站功能包括无线接入和处理等，用于创建无线连接并分配资源。在无线NFV中，无线接入等功能以软件实例形式运行在基站上，由一个集中式的控制器进行管理。通过采集终端请求信息，控制器根据QoS需求创建切片并依据网络实时流量或拓扑信息调度网络切片资源。
[0004]由于多种类型任务并存，车联网任务卸载对网络切片技术有天然的依赖。RAN切片可以为车载用户不同类型任务的卸载提供差异化的QoS保证
[9]。然而，边缘网络设备中的频谱和计算资源有限，使得任务卸载策略与切片划分策略呈相互耦合的关系。另一方面，车联网用户常处于高速移动状态，而单个基站的覆盖范围有限，任务难以在延迟要求内处理完成。协同多个基站的资源为同一用户提供服务可以解决这一难题，但车辆与基站的关联(association)选择也成为一项关键且具有挑战性的问题。

技术实现思路

[0005]车联网特点包括多种业务并存、车辆高速移动、车流在时域和空域分布不匀等，使得任务卸载和资源分配面临许多挑战性问题。
[0006]针对现有技术中存在的诸多问题，本专利技术提出一种深度强化学习辅助的无线接入
网(Radio Access Network,RAN)切片和任务卸载联合优化方法，其目的是最大化车联网任务完成数量。
[0007]本专利技术的多时间尺度、多维资源切片框架，为不同类型任务的卸载提供差异化服务质量(Quality
‑
of
‑
Service,QoS)保障。在该框架下，任务完成数量最大化问题被建模为一个带约束的长时累积优化问题。该问题被解耦为大时间尺度上的RAN切片子问题与小时间尺度上的任务调度子问题。
[0008]每当一个新切片窗口到来，控制器通过最优化方法为切片分配频谱和计算资源。切片窗口内各个时隙的工作流调度由基于深度强化学习的任务调度算法决定，该算法综合考虑车速、行驶方向、基站资源等因素，可以根据网络态势变化动态地在不同基站之间分配任务，实现全网资源的高效利用。
[0009]本专利技术的联合优化方法的应用场景是MEC辅助的车联网系统，在该系统中：基于MEC的控制器和基站连接；车辆处于基站的覆盖范围内才连接基站卸载任务；在基站覆盖范围内的车载任务，均通过基站卸载的控制器进行调度；控制器实时分配任务，并交由合适的基站处理；基站接收到任务后，为任务分配物理资源并进行处理；最后，基站将处理结果传回车辆；同时处于多个基站的覆盖范围内，车辆在同一时隙仅关联唯一的基站来卸载任务；所述物理资源包括频谱资源和计算资源；
[0010]联合优化方法的步骤包括：
[0011]步骤1)采用面向服务的RAN切片框架，把时间被划分为多个等长的切片窗口；每个切片窗口被划分为等长的调度时隙；在大时间尺度的切片窗口上进行资源分配，在小时间尺度的调度时隙上进行任务调度；
[0012]基于排队模型，RAN切片和任务卸载联合优化问题被建模为一个耦合约束和资源约束下的最大化长期任务完成数的联合优化问题；
[0013]步骤2)把联合优化问题解耦为RAN切片子问题和协作式任务调度子问题：
[0014]采用切片最优化方法，以切片窗口为周期，为RAN切片分配物理资源，解决RAN切片子问题；采用基于深度强化学习的算法，综合考虑车速、行驶方向、基站资源等因素得到的任务调度策略，解决协作式任务调度子问题；
[0015]步骤3)采用联合优化策略对RAN切片子问题和协作式任务调度子问题联合求解。
[0016]仿真结果表明，所提方案在任务完成率、环境适应性等方面优于现有典型的基准方法。
附图说明
[0017]图1是MEC辅助车联网场景示意图；
[0018]图2是多时间尺度面向任务卸载的RAN切片框架示意图；
[0019]图3是协作式任务调度框架示意图；
[0020]图4a是频谱资源块增加对任务完成率的影响示意图；
[0021]图4b是计算资源块增加对任务完成率的影响示意图；
[0022]图5是成功完成的任务延迟时间累积分布图；
[0023]图6是车辆密度对全局资源利用率的影响示意图；
[0024]图7是延迟敏感型任务占比对任务完成率的影响示意图。
具体实施方式
[0025]下面结合附图，对本专利技术进一步说明。
[0026]1概述
[0027]本专利技术提出面向车联网的RAN切片和任务卸载联合优化框架，目的是在满足车辆应用任务卸载延迟需求的基础上最大化任务完成率。主要技术贡献包括：
[0028]1)提出一种面向服务的动态RAN切片框架，在大时间尺度上进行资源切片，在小时间尺度上进行任务调度，为不同类型的任务卸载提供差异化QoS保证。基于排队模型，RAN切片和任务卸载联合优化被建模为一个耦合约束和资源约束下的最大化长期任务完成数的联合优化问题。
[0029]2)将联合优化问题进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车联网中深度强化学习辅助的RAN切片和任务卸载联合优化方法，其特征是联合优化方法的应用场景是MEC辅助的车联网系统，在该系统中：基于MEC的控制器和基站通过有线连接；车辆处于基站的覆盖范围内才连接基站卸载任务；在基站覆盖范围内的车载任务，均通过基站卸载至控制器进行调度；控制器实时分配任务，并交由合适的基站处理；基站接收到任务后，为任务分配物理资源并进行处理；最后，基站将处理结果传回车辆；同时处于多个基站的覆盖范围内，车辆在同一时隙仅关联唯一的基站来卸载任务；所述物理资源包括频谱资源和计算资源；联合优化方法的目的是最大化车联网任务完成数量；联合优化方法的步骤包括：步骤1)采用面向服务的RAN切片框架，时间被划分为多个等长的切片窗口；每个切片窗口被划分为等长的调度时隙；在大时间尺度的切片窗口上进行资源切片，在小时间尺度的调度时隙上进行任务调度；基于排队模型，RAN切片和任务卸载联合优化问题被建模为一个耦合约束和资源约束下的最大化长期任务完成数的联合优化问题；步骤2)把联合优化问题解耦为RAN切片子问题和协作式任务调度子问题：切片采用最优化方法，以切片窗口为周期，为RAN切片分配物理资源，解决RAN切片子问题；采用基于深度强化学习的算法得到的任务调度策略，解决协作式任务调度子问题；步骤3)采用联合优化策略对RAN切片子问题和协作式任务调度子问题联合求解。2.根据权利要求1所述的联合优化方法，其特征是步骤1)中，切片窗口w任务完成情况依赖于RAN切片策略和协作式任务调度策略，其中：a、面向RAN切片的频谱资源策略集合和计算资源策略集合分别被表示为和b、协作式任务调度策略集合被表示为定义二元变量这个二元变量代表在第w个切片窗口，车辆i连接基站j之后，任务处理是否满足延迟需求；如果能够满足延迟需求，则否则r
i,j,m
表示车辆i向基站j提交任务m时的上行传输速率；任务类型o＝1和o＝2分别表示延迟敏感型任务和延迟容忍型任务；每个基站的物理资源被划分为2个面向任务卸载的RAN切片，即第一种切片和第二种切片，分别支持延迟敏感型任务和延迟容忍型任务；在切片窗口w，基站j分配给两种切片的频谱和计算资源数量表示为和
在满足延迟约束的条件下，当任务完成时，系统获得对应的收益，若任务未完成，系统产生对应的损失；定义1在第w个切片窗口内，任务完成且满足延迟需求时，系统获得的总奖励U
(w)
其中u
j,o
∈(0,1)代表请求类型为o的任务在基站j上的对应收益因子；定义2在第w个切片窗口内，任务未能满足延迟需求时，系统产生的总损失H
(w)
其中h
j,o
∈(0,1)代表请求类型为o的任务在基站j上对应的损失因子；表示基站集合；表示调度时隙t内基站j采集到的类型为o的任务集合；时间被划分为多个等长的切片窗口，每个切片窗口被划分为等长的调度时隙；以最大化车辆任务完成数为目标，动态RAN切片问题(P0)被建模为P0:约束条件包括：a、保证每个基站j分配得到的子信道数为正数；b、保证每个基站分配车辆的频谱和计算资源不超过自身持有的资源总数；d、保证了每个车辆只能连接唯一的地面基站；e、保证了排队系统中队列的稳定性，同时，也表明了RAN资源的切片决策和任务调度决策是耦合的即耦合约束；表示基站j中请求类型为o的卸载队列的服务强度，表示基站j中处理队列o的服务强度；表示切片窗口w包含的调度时隙集合。3.根据权利要求2所述的联合优化方法，其特征是步骤2)中，面向任务卸载的RAN切片资源分配方法解决RAN切片子问题：RAN切片子问题P1是给定任务调度决策通过优化RAN切片决策最大化系统的任务完成数，即P1:约束条件包括：约束条件包括：和将P1转化为以切片窗口为周期的一次性优化one-shot问题P2：P2:约束条件包括：约束条件包括：
使用拉格朗日乘数法求解问题P2，将一个有多个变量和多个约束条件的最优化问题转化为一个有多个变量的无约束方程组的极值问题，则P2问题被转化为P3：P3:在给定任务调度策略的情况下，控制器计算出每个基站处理任务的具体数...

【专利技术属性】
技术研发人员：田一博，沈航，白光伟，王天荆，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：