空天地一体化网络中时延最小化计算任务卸载方法及系统技术方案

本发明专利技术提供了一种空天地一体化网络中时延最小化计算任务卸载方法及系统，包括：步骤S1：建立支持计算任务卸载的空天地一体化网络的网络架构；步骤S2：基于空天地一体化网络的网络架构构建空天地一体化网络模型；步骤S3：基于构建的空天地一体化网络模型建立面向时延最小的优化问题；步骤S4：将优化问题建模为马尔科夫决策过程；步骤S5：采用CL

【技术实现步骤摘要】
空天地一体化网络中时延最小化计算任务卸载方法及系统


[0001]本专利技术涉及物联网、无线通信、人工智能领域，具体地，涉及空天地一体化网络中时延最小化计算任务卸载方法及系统。

技术介绍

[0002]物联网的快速发展推动着物联网设备的激增，他们在智能电网、智能交通、工业自动化等领域有着广泛的应用。物联网设备如高清摄像头、传感器等，从周围环境中收集数据，产生计算任务并进行处理。但是，受限于有限的计算能力和电池能量，对计算密集型任务的及时处理，对于物联网设备而言是个很大的挑战。
[0003]为了解决这一问题，研究者对移动边缘计算(MEC)技术展开了广泛的研究。MEC将计算资源部署在网络边缘，能够协助物联网设备进行计算。并且物联网设备与MEC平台间的距离较短，传输时延较小。然而，随着物联网设备数量的增加，MEC平台的计算资源将会耗尽而发生拥塞。而且，在山区、草原等缺乏地面接入网络覆盖的地区，MEC平台可能会不可用。
[0004]空天地一体化网络(SAGIN)架构被认为是消除上述限制的有效方法。通过在空基网路、天基网络放置MEC资源，结合地基网络，SAGIN可以为物联网设备提供多层次、全覆盖、灵活、异构的MEC服务。相比于建设地面基站，构建空基和天基网络能够以较低的成本覆盖更广阔的区域，同时能够支持不同类型的设备。所以，SAGIN被提出作为下一代无线网络的可能架构，为产生具有处理时延要求的计算任务的物联网设备提供MEC服务。
[0005]现在已经有了一些在SAGIN中引入MEC的初步研究。为了弥补地面网络覆盖范围限制，文献Space/Aerial
‑
Assisted Computing Offloading for IoT Applications:A Learning
‑
Based Approach研究了在SAGIN中的资源分配和卸载决策，其中无人机提供靠近设备的边缘计算，低地球轨道卫星提供对云计算的访问，并提出一种基于深度Actor
‑
Critic的方法来学习最优卸载策略。然而，本场景中的所有任务是预先生成的，而且所述方法以集中式的方式进行决策，需要及时的全局信息以及高性能的控制器。在文献Delay
‑
Aware IoT Task Scheduling in Space
‑
Air
‑
Ground Integrated Network中，区域内物联网设备产生计算任务，使用一架沿着固定轨迹飞行的无人机对任务进行收集，并在线做出卸载决策，即本地处理，或卸载到附近的基站或卸载到低地球轨道卫星执行。该动态调度问题被建模为约束马尔可夫决策过程，采用线性规划来解决。但是，在文章中假设任务产生模式是无人机已知的。在实际的场景中，这些先验信息很难获得。文献Deep Reinforcement Learning for Delay
‑
Oriented IoT Task Scheduling in SAGIN在文献Delay
‑
Aware IoT Task Scheduling in Space
‑
Air
‑
Ground Integrated Network基础上考虑了无人机有限的能量和任务到达的动态性。为了在不超过能量约束的前提下最小化所有任务的处理时延，提出了一种风险敏感的深度强化学习算法。同文献Delay
‑
Aware IoT Task Scheduling in Space
‑
Air
‑
Ground Integrated Network一样，文献Deep Reinforcement Learning for Delay
‑
Oriented IoT Task Scheduling in SAGIN的卸载架构是无人机收集物联网设备产生的计算任务。刚被无人机经过的物联网设备产生的计算任务，需要经过长时间等待
才会被无人机收集和调度，无效的等待时间会使得任务的总处理时延增大，系统性能降低。
[0006]专利文献CN112737842A(申请号：202011592511.9)公开了一种空地一体化车联网中基于最小化时延的任务安全卸载方法，首先构建了支持移动边缘计算的空地一体化车联网模型，其次对车辆到无人机边缘服务器的安全传输方式、本地车辆和无人机边缘服务器的计算方式进行分析与建模，将空地一体化车联网任务卸载问题形式化为一个与边缘服务器选择、传输速率、资源分配、任务卸载相关，以最小化时延为目标的多目标优化问题，并结合条件松弛
‑
数值修约规则和拉格朗日对偶分解的方法进行求解，该方法可有效降低任务处理时延，提高任务成功处理比例。然而，此方法以集中式的方式得出卸载策略，不适用分布式的决策；此外，此方法只能适用于对预先产生的计算任务的规划，而不能在任务动态产生的场景下进行决策。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术的目的是提供一种空天地一体化网络中时延最小化计算任务卸载方法及系统。
[0008]根据本专利技术提供的一种空天地一体化网络中时延最小化计算任务卸载方法，包括：
[0009]步骤S1：建立支持计算任务卸载的空天地一体化网络的网络架构；
[0010]步骤S2：基于空天地一体化网络的网络架构构建空天地一体化网络模型；
[0011]步骤S3：基于构建的空天地一体化网络模型建立面向时延最小的优化问题；
[0012]步骤S4：将优化问题建模为马尔科夫决策过程；
[0013]步骤S5：采用CL
‑
MADDPG算法求解马尔科夫决策过程，输出卸载策略；
[0014]所述空天地一体化网络的网络架构包括多个动态产生任务节点的地面节点以及为地面节点提供计算服务无人机和卫星；
[0015]所述空天地一体化网络模型包括：空天地一体化网络系统模型、通信模型、任务模型以及执行模型。
[0016]优选地，所述步骤S1包括：
[0017]在空天地一体化网络中，在目标区域的不同位置的地面上部署多个地面节点；目标区域上空部署一架无人机，无人机的通信范围覆盖以自身为中心的预设区域；太空部署一颗卫星，卫星的通信范围覆盖整片目标区域；
[0018]无人机和卫星为地面节点提供计算服务，地面节点动态产生需要计算的任务，在空天地一体化网络中，节点是任务的产生者，也是执行任务分配的决策者。
[0019]优选地，所述步骤S2中空天地一体化网络模型包括：空天地一体化网络系统模型、通信模型、任务模型以及执行模型；
[0020]所述空天地一体化网络系统模型包括：在空天地一体化网络中，有N个地面节点，表示为集合一架无人机U；一颗卫星S；空天地一体化网络系统是分时隙的，时隙总个数为T，时隙集合为一个时隙的长度为τ；
[0021]所述通信模型包括：在时隙t时，地面节点n和无人机之间的通信速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空天地一体化网络中时延最小化计算任务卸载方法，其特征在于，包括：步骤S1：建立支持计算任务卸载的空天地一体化网络的网络架构；步骤S2：基于空天地一体化网络的网络架构构建空天地一体化网络模型；步骤S3：基于构建的空天地一体化网络模型建立面向时延最小的优化问题；步骤S4：将优化问题建模为马尔科夫决策过程；步骤S5：采用CL
‑
MADDPG算法求解马尔科夫决策过程，输出卸载策略；所述空天地一体化网络的网络架构包括多个动态产生任务节点的地面节点以及为地面节点提供计算服务无人机和卫星；所述空天地一体化网络模型包括：空天地一体化网络系统模型、通信模型、任务模型以及执行模型。2.根据权利要求1所述的空天地一体化网络中时延最小化计算任务卸载方法，其特征在于，所述步骤S1包括：在空天地一体化网络中，在目标区域的不同位置的地面上部署多个地面节点；目标区域上空部署一架无人机，无人机的通信范围覆盖以自身为中心的预设区域；太空部署一颗卫星，卫星的通信范围覆盖整片目标区域；无人机和卫星为地面节点提供计算服务，地面节点动态产生需要计算的任务，在空天地一体化网络中，节点是任务的产生者，也是执行任务分配的决策者。3.根据权利要求1所述的空天地一体化网络中时延最小化计算任务卸载方法，其特征在于，所述步骤S2中空天地一体化网络模型包括：空天地一体化网络系统模型、通信模型、任务模型以及执行模型；所述空天地一体化网络系统模型包括：在空天地一体化网络中，有N个地面节点，表示为集合一架无人机U；一颗卫星S；空天地一体化网络系统是分时隙的，时隙总个数为T，时隙集合为一个时隙的长度为τ；所述通信模型包括：在时隙t时，地面节点n和无人机之间的通信速率为在时隙t时，地面节点和卫星之间的通信速率为所述任务模型包括：在时隙t时，节点n产生的任务表示为所述任务模型包括：在时隙t时，节点n产生的任务表示为其中，表示任务输入数据大小；表示任务计算的复杂度；所述执行模型包括：对于任务节点n对任务执行进行决策；决策后，本地执行的子任务为无人机执行的子任务为卫星执行的子任务为其中，分别为任务在本地、无人机和卫星执行的比例；且中至少一个为0；表示在时隙t时，节点n和无人机的连通关系，t时，节点n和无人机的连通关系，为1表示时隙t时，节点n在无人机的通信范围内，为0表示不在通信范围内，的值由节点n和无人机之间的距离和无人机的通信半径的大小关系得出；约束条件包括：当任务在本地执行时，本地的任务采取串行处理的策略，子任务在本地处理时延为
当任务卸载到无人机执行时，无人机上执行子任务的处理时延为当任务卸载到卫星执行时，卫星上执行子任务处理时延为4.根据权利要求1所述的空天地一体化网络中时延最小化计算任务卸载方法，其特征在于，所述步骤S3包括：根据任务的各子任务的处理时延，基于子任务之间并行处理关系，将任务的处理时延表示为：在时隙t产生的任务的总处理时延表示为：其中，表示在时隙t时产生任务的节点集合；由于节点任务产生的动态性，最小化在时隙集合的时间范围内产生的所有任务的处理时延，表示如下：P1：P1：P1：P1：P1：其中，γ表示所有任务的决策的集合；T表示时隙总个数。5.根据权利要求1所述的空天地一体化网络中时延最小化计算任务卸载方法，其特征在于，所述步骤S4中马尔科夫决策过程包括：用三元组<S，A，R>表示马尔科夫决策过程；其中，S表示状态空间；A表示动作空间；R表示奖励函数；所述状态空间S包括：在时隙t时地面节点n的状态表示：其中，表示节点n完成本地缓存中的正在排队任务所需要的时间；表示节点n附近的节点完成各自缓存中的排队任务需要的平均时间；表示节点n和无人机的连通性；表示节点n与无人机间的路径损耗；表示无人机当前剩余的计算资源；表示无人机完成缓存中的排队任务所需要的时间；所述动作空间A包括：在时隙t时地面节点n的动作表示如下：其中，表示节点决策将部分任务卸载到无人机，表示节点决策将部分任务卸载到卫星；表示任务卸载执行的比例；表示在将部分任务卸载到无人机的情况下，预约的计算资源占无人机总的计算资源的比例；
所述奖励函数R包括：在时隙t时地面节点n的奖励表示如下：其中，表示在时隙t时产生任务的节点的集合；表示集合中元素的个数，等于在时隙t时所产生的任务的平均处理时延的负值。6.根据权利要求1所述的空天地一体化网络中时延最小化计算任务卸载方法，其特征在于，所述步骤S5包括：步骤S5.1：N0个智能体分别对应N0个地面节点，每个智能体包括Actor神经网络、Critic神经网络、Target Actor神经网络以及Target Critic神经网络；步骤S5.2：使用MADDPG算法对N0个智能体进行训练直至收敛，得到训练后的智能体；步骤S5.3：训练后的智能体通过复制父代网络参数和组合父代网络参数生成下一代智能体，重复执行步骤S5.2至步骤S5.3，直至智能体数量达到预设值，并使用MADDPG算法对达到预设数量的智能体进行训练直至收敛，输出每个智能体的卸载策略；所述Actor神经网络根据当前的状态输出动作；所述Critic神经网络根据当前的状态和采取的动作生成动作价值，表示对动作好坏的评价；所述Target Actor神经网络根据下一时刻状态估计下一时刻动作，用于估计下一时刻动作；所述Target Critic神经网络用于根据下一时刻状态和下一时刻动作计算下一时刻的动作价值。7.根据权利要求1所述的空天地一体化网络中时延最小化计算任务卸载方法，其特征在于，所述步骤S5.2包括：第n个智能体的Actor网络表示为μ
n
(s
n
|θ
n
)，其中，s
n
表示智能体观察到的状态；θ
n
表示Actor网络参数；Critic网络表示为Q
n
(s
n
，a
n
|ω
n
)，其中，a
n
表示智能体观察到状态s
n
后执行的动作；ω
n
表示Critic网络参数；Target Actor网络表示为μ
′
n
(s
n
|θ
′
n
)，其中，θ
′
n
表示Target Actor网络的参数；Target Critic网络表示为Q
′
n
(s
n
，a
n
|ω
′
n
)，其中ω
′
n
表示Target Critic网络的参数；第n个智能体的累计期望奖励为：其中，p
μ
表示状态分布；γ∈[0，1]表示奖励的折扣因子；T表示时隙总个数；E表示期望；s
n
表示智能体观察到的状态；γ
t
表示γ的t次方；表示在时隙t时地面节点n的奖励；J(θ
n
)关于θ
n
的梯度表示为：其中，经验回放缓冲区D包含元组(s
n
，a
n
，r
n
，s
′
n
)，是对智能体过去转移轨迹的采样，s
′
n
是智能体在状...

【专利技术属性】
技术研发人员：王政，俞晖，朱世超，韦安琪，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：