超密集网络任务卸载方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种超密集网络任务卸载方法、装置、计算机设备和存储介质，适用于通信领域资源分配技术领域。所述方法包括：获取终端设备中待卸载的目标任务的任务属性信息以及终端设备的位置信息；基于位置信息，获取与终端设备对应的多个候选基站的属性信息；将任务属性信息、位置信息以及多个候选基站的属性信息输入至预设深度强化学习模型，确定目标任务对应的目标基站，其中，目标任务被卸载到目标基站所需的任务时延最短且满足预设的能耗约束条件；将目标任务卸载至目标基站。采用本方法能够避免了出现目标基站不满足能耗需求的情况。况。况。

【技术实现步骤摘要】
超密集网络任务卸载方法、装置、计算机设备和存储介质


[0001]本申请涉及通信领域资源分配
，特别是涉及一种超密集网络任务卸载方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着通信技术的不断发展，催生出大量新兴移动应用，例如云游戏、虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)等。为了满足此类应用正常工作，任务卸载技术应运而生。任务卸载技术利用通信技术将终端设备中计算密集型任务卸载到计算资源充足的服务器端进行处理，然后再由服务器端将计算结果回传至终端设备，从而实现了计算能力和时延的双重优化。但是由于云计算中卸载端服务器和终端设备端的终端设备相距甚远，导致其传输时延一直远高于计算任务的可容忍时延要求，使得终端设备体验较差。然而，近年来，将终端设备中计算密集型任务卸载到计算资源充足的边缘基站端进行处理，成为了研究的热点问题。
[0003]在传统方法中，以凸优化、博弈论等为代表的传统算法通常需在掌握全局信息的基础上对问题求解。
[0004]上述传统方法中，可能出现确定的基站难以满足能耗需求。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种超密集网络任务卸载方法、装置、计算机设备和存储介质，能够保证目标任务被卸载到目标基站所需的任务时延最短，且满足预设的能耗约束条件。
[0006]第一方面，提供了一种超密集网络任务卸载方法，方法包括：获取终端设备中待卸载的目标任务的任务属性信息以及终端设备的位置信息；基于位置信息，获取与终端设备对应的多个候选基站的属性信息；将任务属性信息、位置信息以及多个候选基站的属性信息输入至预设深度强化学习模型，确定目标任务对应的目标基站。其中，目标任务被卸载到目标基站所需的任务时延最短且满足预设的能耗约束条件；将目标任务卸载至目标基站。
[0007]在其中一个实施例中，将任务属性信息、位置信息以及多个候选基站的属性信息输入至预设深度强化学习模型，确定目标任务对应的目标基站之前，方法还包括：确定预设数量的历史任务分别对应的卸载基站的标识以及将各历史任务卸载到各卸载基站对应的时延数据和能耗数据；对应地，将任务属性信息、位置信息以及多个候选基站的属性信息输入至预设深度强化学习模型，确定目标任务对应的目标基站，包括：将任务属性信息、位置信息、多个候选基站的属性信息、各卸载基站的标识以及时延数据和能耗数据，输入至预设深度强化学习模型，确定目标任务对应的目标基站。
[0008]在其中一个实施例中，预设深度强化学习模型包括目标演员网络以及回报函数，将任务属性信息、位置信息以及多个候选基站的属性信息输入至预设深度强化学习模型，确定目标任务对应的目标基站，包括：将任务属性信息、位置信息以及多个候选基站的属性
信息输入至目标演员网络中，输出目标基站的标识；利用回报函数计算目标回报值，目标回报值用于表征将目标任务卸载到目标基站对应的时延数据以及能耗数据。
[0009]在其中一个实施例中，获取终端设备中待卸载的目标任务，包括：将终端设备中的待卸载任务划分为多个子任务；从多个子任务中，确定待卸载的目标任务。
[0010]在其中一个实施例中，基于位置信息，获取与终端设备对应的多个候选基站的属性信息，包括：终端设备向基站发送广播信息，广播信息用于指示各基站向终端设备发送基站的属性信息；接收到各基站发送的属性信息，根据终端设备的位置信息以及各属性信息中包括的基站的位置信息，确定与终端设备对应的多个候选基站的属性信息。
[0011]在其中一个实施例中，预设深度强化学习模型的训练过程为：获取预设深度强化学习模型对应的训练集，训练集中包括多个训练任务的属性信息、训练任务对应的终端设备的位置信息以及训练任务对应的多个候选基站的属性信息；以训练任务的属性信息、训练任务对应的终端设备的位置信息、训练任务对应的多个候选基站的属性信息为输入，训练深度强化学习模型，得到预设深度强化学习模型。
[0012]在其中一个实施例中，预设深度强化学习模型包括目标演员网络、目标评论家网络以及回报函数，并以训练任务的属性信息、训练任务对应的终端设备的位置信息、训练任务对应的多个候选基站的属性信息为输入，训练深度强化学习模型，得到预设深度强化学习模型，包括：将训练任务的属性信息、训练任务对应的终端设备的位置信息、训练任务对应的多个候选基站的属性输入至初始演员网络，输出训练任务对应的训练基站的标识；将训练任务的属性信息、训练任务对应的终端设备的位置信息、训练任务对应的多个候选基站的属性以及训练任务对应的训练基站的标识输入至初始评论家网络中，利用初始评论家网络对输入数据进行特征提取，输出将训练任务卸载到训练基站的训练评价值，训练评价值用于表征将训练任务卸载到任务对应的训练基站的匹配度；利用回报函数计算将训练任务卸载到训练基站对应的训练回报值，训练回报值用于表征将训练任务卸载到训练基站对应的时延数据以及能耗数据；根据训练回报值，训练初始评论家网络，得到目标评论家网络；根据训练评价值以及训练回报值，训练初始演员网络，得到目标演员网络。
[0013]第二方面，提拱了一种超密集网络任务卸载装置，装置包括：
[0014]第一获取模块，用于获取终端设备中待卸载的目标任务以及终端设备的位置信息；
[0015]第二获取模块，用于基于位置信息，获取与终端设备对应的多个候选基站的属性信息；
[0016]第一确定模块，用于将位置信息以及多个候选基站的属性信息输入至预设深度强化学习模型，确定目标任务对应的目标基站，其中，目标任务被卸载到目标基站所需的任务时延最短且满足预设的能耗约束条件；
[0017]卸载模块，用于将目标任务卸载至目标基站。
[0018]第三方面，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上述第一方面任一的超密集网络任务卸载方法。
[0019]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面任一的超密集网络任务卸载方法。
[0020]上述超密集网络任务卸载方法、装置、计算机设备和存储介质，通过获取终端设备
中待卸载的目标任务的任务属性信息以及终端设备的位置信息，并基于位置信息，获取与终端设备对应的多个候选基站的属性信息。然后将任务属性信息、位置信息以及多个候选基站的属性信息输入至预设深度强化学习模型，确定目标任务对应的目标基站，其中，目标任务被卸载到目标基站所需的任务时延最短且满足预设的能耗约束条件。在确定了目标任务对应的目标基站之后，终端设备将目标任务卸载至目标基站。上述方法中，利用预设深度强化学习模型，确定目标任务对应的目标基站，且保证了将目标任务卸载到目标基站所需的任务时延最短且满足预设的能耗约束条件，而不像现有技术中一样只考虑将目标任务卸载到目标基站所需的任务时延最短，并没有考虑目标基站的能耗是否满足约束条件。因此，本申请实施例，避免了出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超密集网络任务卸载方法，其特征在于，所述方法包括：获取终端设备中待卸载的目标任务的任务属性信息以及所述终端设备的位置信息；基于所述位置信息，获取与所述终端设备对应的多个候选基站的属性信息；将所述任务属性信息、所述位置信息以及多个所述候选基站的属性信息输入至预设深度强化学习模型，确定所述目标任务对应的目标基站，其中，所述目标任务被卸载到所述目标基站所需的任务时延最短且满足预设的能耗约束条件；将所述目标任务卸载至所述目标基站。2.根据权利要求1所述的方法，其特征在于，所述将所述任务属性信息、所述位置信息以及多个所述候选基站的属性信息输入至预设深度强化学习模型，确定所述目标任务对应的目标基站之前，所述方法还包括：确定预设数量的历史任务分别对应的卸载基站的标识以及将各所述历史任务卸载到各所述卸载基站对应的时延数据和能耗数据；对应地，所述将所述任务属性信息、所述位置信息以及多个所述候选基站的属性信息输入至预设深度强化学习模型，确定所述目标任务对应的目标基站，包括：将所述任务属性信息、所述位置信息、多个所述候选基站的属性信息、各所述卸载基站的标识以及所述时延数据和能耗数据，输入至所述预设深度强化学习模型，确定所述目标任务对应的目标基站。3.根据权利要求1所述的方法，其特征在于，所述预设深度强化学习模型包括目标演员网络以及回报函数，所述将所述任务属性信息、所述位置信息以及多个所述候选基站的属性信息输入至预设深度强化学习模型，确定所述目标任务对应的目标基站，包括：将所述任务属性信息、所述位置信息以及多个所述候选基站的属性信息输入至所述目标演员网络中，输出所述目标基站的标识；利用所述回报函数计算目标回报值，所述目标回报值用于表征将所述目标任务卸载到所述目标基站对应的时延数据以及能耗数据。4.根据权利要求1所述的方法，其特征在于，所述获取终端设备中待卸载的目标任务，包括：将所述终端设备中的待卸载任务划分为多个子任务；从所述多个子任务中，确定待卸载的所述目标任务。5.根据权利要求1所述的方法，其特征在于，所述基于所述位置信息，获取与所述终端设备对应的多个候选基站的属性信息，包括：所述终端设备向所述基站发送广播信息，所述广播信息用于指示各所述基站向所述终端设备发送基站的属性信息；接收到各所述基站发送的属性信息，根据所述终端设备的位置信息以及各所述属性信息中包括的基站的位置信息，确定与所述终端设备对应的多个所述候选基站的属性信息。6.根据权利要求1所述的方法，其特征在于，所述预设深度强化学习模型的训练过程为：获取所述预设深度强化学习模型对应的训练集，...

【专利技术属性】
技术研发人员：古博，张旭，林梓淇，丁北辰，姜善成，韩瑜，
申请(专利权)人：中山大学，
类型：发明
国别省市：