基于强化学习的车载边缘环境下智能网联车辆任务卸载方法技术

本发明专利技术公开基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，结合车载边缘计算VEC优势，建立CAVs任务卸载模型，将CAVs应用程序划分为多个存在数据依赖关系的任务，并确定了最小化应用卸载总能耗和调度失败率的联合优化目标。本发明专利技术综合考虑不同时间片上车辆的位置变化、卸载方式、优化目标等，建立了任务卸载的马尔可夫决策过程MDP模型。在CAVs计算、存储能力有限的情况下，选择合适的卸载平台，保证应用满足时延约束的前提下，降低系统能耗。

【技术实现步骤摘要】
基于强化学习的车载边缘环境下智能网联车辆任务卸载方法
本专利技术涉及智能车联网
，尤其涉及基于强化学习的车载边缘环境下智能网联车辆任务卸载方法。
技术介绍
随着人工智能技术、移动通信技术和传感器技术的飞速发展，车辆的设计需求不再局限于单一驾驶功能，而是逐渐成为一个智能、互联、自主的系统，把这些车辆统称为智能网联车辆(ConnectedandAutonomousVehicles,CAVs)。CAVs可以有效提高驾驶员的行驶效率、反应能力和驾驶舒适度。近年来，全球机动车保有量不断上升，道路上车辆数量的增加严重影响了道路交通系统的整体安全性和交通效率，CAVs的发展越来越受到学术界和工业界的关注。通过CAVs和基础设施及邻域车辆的信息资源共享，CAVs可以全面感知驾驶环境，有效提高道路行驶安全和交通效率，减少人为失误造成的交通事故，缓解交通拥堵情况。根据Intel的一份报告，在2020年，CAVs每天将产生4TB的数据。面对如此庞大的数据量，一方面车载单元(On-boardUnit,OBU)有限的计算和存储能力不足以满足大部分计算密集型应用需求；另一方面，对于计算密集型以及具有时延约束的应用程序，传统云计算中云服务器远离车辆，远程卸载应用将进一步给回程网络带来巨大压力，导致严重的服务延迟和带宽压力，不足以满足应用程序需求。如何选择合适的调度平台，降低CAVs本地应用和各种第三方应用的卸载总能耗和调度失败率，是目前CAVs任务卸载中重点关注的问题。在车载边缘计算(VehicularEdgeComputing,VEC)中，具有计算和存储能力的移动边缘计算(MobileEdgeComputing,MEC)服务器可以部署在路侧单元(RoadsideUnits,RSUs)中。CAVs产生的应用数据不仅可以在本地车辆处理，还可以通过车辆与基础设施(VehicletoInfrastructure,V2I)通信卸载至RSUs上进行处理或通过车辆与车辆(VehicletoVehicle,V2V)通信卸载至通信范围内的协同车辆上进行处理。在车辆边缘侧进行应用数据的处理和分析，可以显著缩短应用完成时间，降低能耗。因此，在VEC环境下考虑CAVs的任务卸载问题为满足CAVs应用服务需求提供了一个良好的解决方案。因此，针对车载边缘计算下面向卸载总能耗和调度失败率的智能网联车辆任务卸载策略问题，目前现有技术尚未形成一个完整有效的解决方案。
技术实现思路
本专利技术的目的在于提供基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，综合考虑了车辆移动性、任务间数据依赖关系、应用可容忍时间等，结合车载边缘计算，优化卸载总能耗和调度失败率。该方法考虑车辆移动性、任务间数据依赖关系、应用可容忍时间的影响；通过引入Metropolis准则，平衡强化学习算法的探索与开发。有效降低车载边缘环境下的智能网联车辆任务卸载调度总能耗和调度失败率。本专利技术采用的技术方案是：基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，其包括以下步骤：步骤1，构建表征VEC环境下的CAV任务卸载的MDP模型并初始化时间片time_slot＝1；步骤2，判断时间片time_slot是否为偶数；是则，任务车辆TaV生成一个CAVs应用程序，分解后任务进入任务车辆TaV的任务队列；否则，执行步骤3；步骤3，计算任务车辆TaV与该任务车辆TaV通信范围内的RSUs和服务车辆SeVs距离得到Stime_slot；步骤4，判断任务车辆TaV的任务数据是否完成传输；是则，根据SA-QL动作策略选择Atime_slot并执行步骤6；否则，计算Atime_slot＝Atime_slot-1；步骤5，判断任务车辆TaV是否断开通信；是则，将当前传输任务对应的应用剩余生命周期置0；否则，执行步骤6；步骤6，执行Atime_slot，更新车载边缘环境，得到Stime_slot+1；步骤7，由式(14)计算loss，得到Rtime_slot；步骤8，基于＜Stime_slot,Atime_slot,Rtime_slot,Stime_slot+1＞四元组信息更新Q-learning价值函数；步骤9，判断时间片time_slot是否大于每个时间片长度上限ε；是则，采用退火公式对温度进行降温处理；否则，时间片time_slot加1并执行步骤2。进一步地，步骤1的MDP模型中包括任务车辆TaV和服务车辆SeVs；车辆行驶的道路两侧部署有若干RSUs，每个RSU都配备一个VEC服务器；进一步地，步骤1中TaV可选择卸载计算任务至SeVs执行以充分利用邻域内协同车辆的计算资源。进一步地，步骤1中MDP模型中第k个时间片的状态空间为其中tk为TaV的位置坐标；Ok为TaV通信范围内的SeVs和RSUs与TaV的距离；MDP模型中第k个时间片的动作空间为表示TaV可选择的任务卸载方式；MDP模型中第k个时间片的奖励为进一步地，步骤4中SA-QL算法采用Metropolis准则进行动作的选择。进一步地，步骤6中Q-learning价值函数更新方式如下：其中α为学习效率，表示价值函数更新的程度，r为即时奖励，表示转移至下一个状态所得到的奖励，γ为折扣因子，表示后续状态的价值对当前状态的影响程度，为选取的价值最大的状态-动作对的值。由于：Qeval＝Q(St,At)(20)因此，价值函数更新公式可进一步表示为Q(St,At)＝Q(St,At)+α(Qreal-Qeval)(21)进一步地，步骤9中的退火策略采用等比降温策略：Tk＝θkT0(22)其中T0为初始温度，k为当前回合次数，θ为降温系数。本专利技术采用以上技术方案，在CAVs计算、存储能力有限的情况下，选择合适的卸载平台，保证应用满足时延约束的前提下，降低系统能耗。本专利技术通过引入Metropolis准则，平衡算法的探索与开发，优化车载边缘环境下任务卸载总能耗和调度失败率。本专利技术属于并行和分布式高性能计算领域的车载边缘环境下基于强化学习的智能网联车辆任务卸载策略，具体涉及一种在车载边缘环境下综合考虑了车辆移动性、任务间数据依赖关系、应用可容忍时间等，面向卸载总能耗和调度失败率的智能网联车辆任务卸载策略。附图说明以下结合附图和具体实施方式对本专利技术做进一步详细说明；图1本专利技术的VEC模型结构示意图；图2本专利技术的在第一个和第二个时间片时任务处理情况；图3本专利技术的在第三个和第四个时间片时任务处理情况。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。如图1至图3之一所示，本专利技术具体地工作原理做详细说明：VEC模型:将车辆分为两类：任务车辆(TaskVehicle,TaV)和服务车辆(ServiceVehic本文档来自技高网...

【技术保护点】
1.基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，其特征在于：其包括以下步骤：/n步骤1，构建表征VEC环境下的CAV任务卸载的MDP模型并初始化当前经过的时间片个数time_slot＝1；/n步骤2，判断当前经过的时间片个数time_slot是否为偶数；是则，任务车辆TaV生成一个CAVs应用程序，分解后任务进入任务车辆TaV的任务队列；否则，执行步骤3；/n步骤3，计算任务车辆TaV与该任务车辆TaV通信范围内的RSUs和服务车辆SeVs距离得到当前时间片的状态S

【技术特征摘要】
1.基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，其特征在于：其包括以下步骤：
步骤1，构建表征VEC环境下的CAV任务卸载的MDP模型并初始化当前经过的时间片个数time_slot＝1；
步骤2，判断当前经过的时间片个数time_slot是否为偶数；是则，任务车辆TaV生成一个CAVs应用程序，分解后任务进入任务车辆TaV的任务队列；否则，执行步骤3；
步骤3，计算任务车辆TaV与该任务车辆TaV通信范围内的RSUs和服务车辆SeVs距离得到当前时间片的状态Stime_slot；
步骤4，判断任务车辆TaV的任务数据是否完成传输；是则，根据SA-QL动作策略选择当前时间片要执行的动作Atime_slot并执行步骤6；否则，计算Atime_slot＝Atime_slot-1，将前一个时间片的动作赋值给当前时间片要执行的动作；
步骤5，判断任务车辆TaV是否断开通信；是则，将当前传输任务对应的应用剩余生命周期置0；否则，执行步骤6；
步骤6，执行当前时间片选择的动作Atime_slot，更新车载边缘环境，得到下一个时间片的状态Stime_slot+1；
步骤7，计算当前环境得到的损失函数值loss，计算1/loss得到奖励值Rtime_slot；
步骤8，基于＜Stime_slot,Atime_slot,Rtime_slot,Stime_slot+1＞MDP模型四元组信息更新Q-learning价值函数；
步骤9，判断当前经过的时间片个数time_slot是否大于每个时间片长度上限ε；是则，采用退火公式对温度进行降温处理；否则，时间片time_slot加1并执行步骤2。


2.根据权利要求1所述的基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，其特征在于：步骤1的MDP模型中包括任务车辆TaV和服务车辆SeVs；车辆行驶的道路两侧部署有若干RSUs，每个RSU都配备一个VEC服务器。


3.根据权利要求1所述的基于强化学习的车载边缘环境下智能网联车辆任务卸载方法，其特征在于：步骤1中任务车辆TaV可选择卸载计算任务至服务车辆SeVs执行以充分利用邻域内协同车辆的计算资源。


4.根据权利要求1所述的基于强化学习的车载边缘环境下智能网联车辆...

【专利技术属性】
技术研发人员：林兵，林凯，黄志高，卢宇，陈星，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：福建;35