联邦多智能体Actor-Critic学习智慧物流任务卸载和资源分配系统及介质技术方案

本发明专利技术公开联邦多智能体Actor

【技术实现步骤摘要】
联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统及介质


[0001]本专利技术涉及物流领域，具体是联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统及介质。

技术介绍

[0002]物流供应链是国家和企业竞争的重要驱动力，对经济增长起着至关重要的作用。人工智能赋能下的智慧物流已经成为现代物流发展的必然趋势，因此便捷高效的物流系统受到了人们的广泛关注。
[0003]目前，随着现代先进的信息和通信技术(Information and Communication Technology,ICT)的不断发展，工业互联网(Industry Internet of Things,IIoT)已经改变了物流系统的运行模式和体系结构，智慧物流已经成为现代物流发展的必然趋势。
[0004]IIoT通过对海量的物流数据和信息进行分析和处理，并结合云计算、大数据、人工智能等先进技术实现物流对象的智能控制。其中，人工智能(Artificial Intelligence,AI)作为一项重要的技术已经应用到智慧物流的多个领域，包括物流运输、仓储、装卸、配送加工、信息服务等，有助于节省时间和成本，极大的提高了物流的运输效率，促进了智慧物流的发展。
[0005]随着部署在智慧物流中的传感器节点不断增加，数据量也呈指数增长。然而由于物流车辆的计算和通信资源有限，很难满足智慧物流中计算密集型和时延敏感型的任务的服务质量需求(Quality of Service,QoS)需求。
[0006]因此，如何使用人工智能在资源受限的物流车辆上执行计算密集型应用仍面临巨大的挑战。
[0007]为了解决上述问题，物流车辆可以通过优化任务卸载，并从其他计算范式中获得协助来减轻传感器节点的负载，如移动边缘计算(Mobile Edge Computing,MEC)通过将边缘服务器放在离车辆更近的地方，将计算转移到靠近车辆的网络边缘，以提供比车辆高得多的计算能力，可以获得更低的通信时延。此外，多级协同任务卸载也常被考虑，多级协同任务卸载通常指不同的协作处理节点共同处理卸载任务，其中包括端
‑
边、边
‑
云和端
‑
边
‑
云协同等。基于应用程序的不同QoS需求，以及不同协作处理节点的应用场景，将时延敏感的计算密集型应用从物流车辆卸载到具有额外计算资源的协作处理节点，在很大程度上弥补了物流车辆计算能力不足的问题。
[0008]在以上分析的基础上，如何卸载任务，卸载哪些任务成为需要解决的关键问题之一。IIoT中物流系统的任务卸载问题通常不可避免地涉及到计算和传输资源的分配。因此，这个问题可以很容易地转化为一个有限资源分配问题。
[0009]其中，任务建模是探索这一最佳化问题的重要前提。但智慧物流将根据实际的技术和应用进行相应的改变，标识解析为任务提供了实时可追溯环境，多任务之间通常都具有依赖性。因此，上述方法容易造成资源浪费，不符合实际情况。考虑到当前IIoT中物流系
统的动态性和异质性，大多数利用一次性优化的传统方法可能无法达到稳定的长期优化性能。

技术实现思路

[0010]本专利技术的目的是提供联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，包括若干物流车辆、若干助手仓库、若干助手车辆；
[0011]所述助手仓库搭载有仓库服务器；
[0012]所述物流车辆、助手车辆均搭载有车载服务器；
[0013]其中，第m个物流车辆的车载服务器产生任务序列并传输至助手仓库的仓库服务器；U为任务总数；
[0014]所述物流车辆的车载服务器存储有时延目标计算模型、能耗目标计算模型、任务卸载与资源分配优化模型、优化模型计算框架；
[0015]所述物流车辆的车载服务器分别利用时延目标计算模型、能耗目标计算模型计算任务序列的时延目标T
m
和能耗目标E
m
；
[0016]所述物流车辆的车载服务器将任务序列的时延目标T
m
和能耗目标E
m
输入到任务卸载与资源分配优化模型中，并利用优化模型计算框架解算得到任务序列的卸载策略；
[0017]所述物流车辆的车载服务器根据卸载策略，在本地执行任务或者将任务卸载到助手车辆或助手仓库的服务器中执行。
[0018]进一步，所述任务序列为线性序列；其中，第u个子任务T
m,u
＝{d
m,u
,c
m,u
,τ
m,u
}；d
m,u
表示任务T
m,u
的输入数据大小，c
m,u
表示完成任务T
m,u
所需要的总CPU周期，τ
m,u
表示任务T
m,u
的容忍时延。
[0019]进一步，所述时延目标T
m
如下所示：
[0020][0021]式中，为仓库服务器利用时延计算模型计算得到的第u个子任务T
m,u
的计算时延；为任务T
m,u
从第m个物流车辆卸载到第b个助手仓库或第n个助手车辆的传输时延。
[0022]进一步，所述仓库服务器利用时延计算模型计算得到的第u个子任务T
m,u
的计算时延如下所示：
[0023][0024]式中，α
m,u
、β
m,u
、γ
m,u
为卸载指示变量；α
m,u
＝1表示任务T
m,u
在第m个物流车辆本地执行，α
m,u
＝0表示任务T
m,u
不在第m个物流车辆本地执行；β
m,u,b
＝1表示任务T
m,u
卸载到第b个助手仓库执行；β
m,u,b
＝0表示任务T
m,u
不在第b个助手仓库执行；γ
m,u,n
＝1表示任务T
m,u
卸载到第n个助手车辆执行；γ
m,u,n
＝0表示任务T
m,u
不在第n个助手车辆执行；
[0025]其中，任务T
m,u
在第m个物流车辆本地执行的计算时延任务T
m,u
卸载到第b个助手仓库执行的计算时延任务T
m,u
卸载到第n个助手车辆执行的计算时延分别如下所示：
[0026][0027][0028][0029]式中，和分别表示第m个物流车辆、第b个助手仓库和第n个助手车辆分配给任务T
m,u
的计算资源；c
m,u
表示完成任务T
m,u
所需要的总CPU周期。
[0030]进一步，任务T
m,u
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，其特征在于：包括若干物流车辆、若干助手仓库、若干助手车辆；所述助手仓库搭载有仓库服务器；所述物流车辆、助手车辆均搭载有车载服务器；其中，第m个物流车辆的车载服务器产生任务序列并传输至助手仓库的仓库服务器；U为任务总数；所述物流车辆的车载服务器存储有时延目标计算模型、能耗目标计算模型、任务卸载与资源分配优化模型、优化模型计算框架；所述物流车辆的车载服务器分别利用时延目标计算模型、能耗目标计算模型计算任务序列的时延目标T
m
和能耗目标E
m
；所述物流车辆的车载服务器将任务序列的时延目标T
m
和能耗目标E
m
输入到任务卸载与资源分配优化模型中，并利用优化模型计算框架解算得到任务序列的卸载策略；所述物流车辆的车载服务器根据卸载策略，在本地执行任务或者将任务卸载到助手车辆或助手仓库的服务器中执行。2.根据权利要求1所述的联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，其特征在于：所述任务序列为线性序列；其中，第u个子任务T
m,u
＝{d
m,u
,c
m,u
,τ
m,u
}；d
m,u
表示任务T
m,u
的输入数据大小，c
m,u
表示完成任务T
m,u
所需要的总CPU周期，τ
m,u
表示任务T
m,u
的容忍时延。3.根据权利要求1所述的联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，其特征在于，所述时延目标T
m
如下所示：式中，为仓库服务器利用时延计算模型计算得到的第u个子任务T
mu
的计算时延；为任务T
m,u
从第m个物流车辆卸载到第b个助手仓库或第n个助手车辆的传输时延。4.根据权利要求3所述的联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，其特征在于，所述仓库服务器利用时延计算模型计算得到的第u个子任务T
m,u
的计算时延如下所示：式中，α
m,u
、β
m,u
、γ
m,u
为卸载指示变量；α
m,u
＝1表示任务T
m,u
在第m个物流车辆本地执行，α
m,u
＝0表示任务T
m,u
不在第m个物流车辆本地执行；β
m,u,b
＝1表示任务T
m,u
卸载到第b个助手仓库执行；β
m,u,b
＝0表示任务T
m,u
不在第b个助手仓库执行；γ
m,u,n
＝1表示任务T
m,u
卸载到第n个助手车辆执行；γ
m,u,n
＝0表示任务T
m,u
不在第n个助手车辆执行；其中，任务T
m,u
在第m个物流车辆本地执行的计算时延任务T
m,u
卸载到第b个助手仓
库执行的计算时延任务T
m,u
卸载到第n个助手车辆执行的计算时延分别如下所示：示：示：式中，和分别表示第m个物流车辆、第b个助手仓库和第n个助手车辆分配给任务T
m,u
的计算资源；c
m,u
表示完成任务T
m,u
所需要的总CPU周期。5.根据权利要求3所述的联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，其特征在于，任务T
m,u
从第m个物流车辆卸载到第b个助手仓库或第n个助手车辆的传输时延如下所示：式中，车辆o表示执行第m个物流车辆第u
‑
1个子任务的助手车辆；α
m,u
、γ
m,u
‑
1,n
、γ
m,u,o
为卸载指示变量；其中，任务T
m,u
从第m个物流车辆卸载到第b个助手仓库的传输速率任务T
m,u
从第m个物流车辆卸载到第n个助手车辆的传输速率分别如下所示：分别如下所示：式中，w为物流车辆的带宽；是LVm的发送功率；δ2是高斯白噪声功率。表示任务T
m,u
从第m个物流车辆卸载到第b个助手仓库的路径损耗；表示任务T
m,u
从第m个物流车辆卸载到第n个助手车辆的路径损耗；h
m
是信道衰落系数。6.根据权利要求1所述的联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，其特征在于，能耗目标E
m
如下所示：
其中，本地计算能量消耗任务T
m,u
从第m个物流车辆卸载到第b个助手仓库的能量消耗任务T
m,u
从第m个物流车辆卸载到第n个助手车辆的能量消耗分别如下所示：示：示：式中，k代表与车辆服务器的处理器芯片相关的计算能效系数。7.根据权利要求1所述的联邦多智能体Actor
‑
Critic学习智慧物流任务卸载和资源分配系统，其特征在于，任务卸载与资源分配优化模型min O如下所示：式中，...

【专利技术属性】
技术研发人员：李琦琦，郑林江，
申请(专利权)人：重庆大学，
类型：发明
国别省市：