一种基于深度Q网络的车载边缘网络任务分发卸载方法技术

本发明专利技术公开了一种基于深度Q网络的车载边缘网络任务分发卸载方法，首先根据层次分析法对不同车辆终端的计算任务进行优先级划分，从而为计算任务处理速率赋予不同的权重建立关系模型；其次，引入基于深度Q网络的边缘计算方法，以计算任务处理速率加权和为优化目标建立任务卸载模型，建立基于深度Q网络的终端自主最优任务卸载策略，保证卸载决策制定模型的长期稳定性与有效性。本发明专利技术通过对车载计算任务的合理分发卸载，有效提高了计算任务的处理速率，从而降低任务执行时延。

【技术实现步骤摘要】
一种基于深度Q网络的车载边缘网络任务分发卸载方法
本专利技术属于车联网通信
，具体涉及一种基于深度Q网络的车载边缘网络任务分发卸载方法。
技术介绍
为了解决车辆终端与车载应用之间的矛盾，车辆上的计算任务可以卸载到RSU配置的MEC服务器上，这样在车辆旁边就能够完成任务的计算及分析过程，部署灵活的MEC服务器上的存储及计算资源可以减小计算任务的处理时间及车辆能耗。目前由于车辆网等技术的快速发展以及日益庞大的数据量，出现了大量对计算资源高需求的车载应用任务，如自动驾驶、智能识别、实时路况等。这些车载应用任务不仅需要大量的存储与计算资源，同时对于任务执行时延的要求非常严格。车联网环境中计算任务卸载决策主要解决车载应用任务是否需要卸载以及卸载多少的问题。卸载决策的主要优化目标有任务执行时延、能耗以及时延与能耗的折中等。传统的方法包括面向5G的边缘计算多用户卸载方案，将问题转换为多重背包问题，优化计算任务执行时延。也有一系列基于各种数值优化算法提出了一系列计算卸载决策及资源配置方案。但是上述方法没有针对不同终端进行任务优先级划分，从而实现处理程序的优化。同时上述方法需要实时准确的信道状态消息以及算法复杂度高、迭代步骤长，难以满足低时延需求很高的车联网通信系统。针对以上研究中存在的问题，本方法通过引入移动边缘计算，使车辆产生的计算任务能够直接在边缘节点进行处理，同时针对不同终端任务要求的不同进行优先级划分。在移动车辆端，基于深度强化学习，研究了计算速率最优的任务卸载策略，在信道条件时变的环境中能够根据过去的经验实现卸载策略的自我更新，并且与传统复杂的MIP问题不同，其计算复杂度不会因为网络规模的增长而爆炸，并且在任务执行时延方面有一定的改善，改善了网络拓扑结构动态变化的车联网终端用户的使用体验。
技术实现思路
专利技术目的：本专利技术提出一种基于深度Q网络的车载边缘网络任务分发卸载方法，能将计算任务有序分发卸载至边缘服务器，降低任务执行平均时延。
技术实现思路
：本专利技术提出一种基于深度Q网络的车载边缘网络任务分发卸载方法，包括以下步骤：(1)终端车辆将自身携带的计算任务信息上传至RSU，RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分，得出计算任务相应的权重；(2)为计算任务处理速率赋予不同的权重建立关系模型，并以计算任务处理速率加权和为优化目标建立任务卸载模型；(3)构建深度Q网络中的目标值网络、在线值网络以及状态-值函数，针对当前应用环境确定深度强化学习三要素：状态、动作、奖励；(4)以车辆终端无线信道增益为Q网络输入，通过Q网络遍历当前状态下的各种动作与环境进行实时交互以最大化任务处理速率，最后得出最优卸载策略。进一步地，所述步骤(1)包括以下步骤：(11)将计算任务同一层次的因素进行两两比较，构造评价因素判断矩阵A＝(aij)3×3及目标层相对于准则层的判断矩阵B1,B2...B3＝(aij)K×K，其中(12)根据方根法求得判断矩阵Bk对应的权重向量元素：其中，k表示在决策过程中车辆终端k携带的计算任务，i表示我们所考虑的第i个评价因素，得到所有车辆终端计算任务的权重矢量矩阵：(13)根据方根法求得评价因素判断矩阵A的权重向量Δ＝[Δ1,Δ2,Δ3]：(14)通过一致性检验，最得到所有计算任务的权重向量W，其中的每一个元素可以分别代表对应终端计算任务的权重，可由下式求出：进一步地，步骤(2)所述的优化目标为：其中，wk为k终端携带任务的优先级别，数值越大则表示该计算任务需要分配更多的计算资源，xk表示为卸载决策向量,xk为0表示本地计算模式，为1表示卸载计算模式，pk为终端发射功率，kk为能量效率系数，fk为本地处理器频率，tk表示任务上传时间或本地执行时间，RL为计算任务的处理速率，Econstraint为终端用于处理计算任务的能量为额定值，R0为计算任务上传速率，约束2表示计算任务执行能耗不能超过额定值。进一步地，步骤(3)所述的目标值网络与在线值网络算法均采用三层DNN架构，网络激活函数为relu函数，网络输出函数为sigmoid函数，对应卸载动作的概率值，设置奖励值函数，卸载动作向量表征为Xt＝[x1,x2,...,xK]，并将当前动作下的计算任务执行时延为当前状态函数。进一步地，所述步骤(4)包括以下步骤：(41)卸载决策动作的产生：当边缘服务器收到终端当前的信道增益信息后，深度学习网络根据当前观测到的状态st得到一个的卸载动作向量Xt＝[x1,x2,...,xK]，根据步骤(2)产生一个奖励值rt，将DNN网络输出作为动作状态函数Q(st,xt,θt)；(42)卸载决策动作的更新：根据下式来实现动作状态函数的更新：其中，αk与γ分别是学习速率与折扣因子，s'与x'分别是第k次迭代过程中执行动作xt后的状态观测值以及在状态s'下奖励值最大的动作；对于第K次迭代过程而言，最小化如下式所示的目标函数后可以更新网络参数θ，从而实现卸载决策动作的更新：(43)得到t时刻最佳卸载动作后，将该状态-动作对放入经验池作为新的训练样本；当经验池容量足够后，新生成的状态-动作对会代替旧的数据样本；深度学习网络反复学习最佳状态对并随着时间的推移生成更好的卸载决策输出。有益效果：与现有技术相比，本专利技术的有益效果：1、根据仿真结果分析可知，与传统的Q学习算法相比较，通过制定合理的卸载策略将计算任务有序分发卸载至边缘服务器后，任务执行平均时延能够降低17％；2、对于网络拓扑动态变化的车联边缘网络中的终端用户，能够有效提升其网络使用体验。附图说明图1为本专利技术的流程图；图2为本专利技术所述方法中车联网边缘接入环境示意图；图3为基于深度强化学习的卸载方法框架示意图；图4为DON算法收敛过程示意图；图5为任务平均执行时延与车辆数目关系示意图；图6为任务平均执行时延与任务复杂度关系示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图对本专利技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，附图中给出了本专利技术的较佳实施例。本专利技术可以以许多不同的形式来实现，并不限于本方法所描述的实施例，相反地，提供这些实施例的目的是使对本专利技术的公开内容的理解更加透彻全面。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，在本专利技术实施例中，提供了一种基于深度Q网络的车载边缘网络任务分发卸载方法，方法应用于车联网的边缘接入环境，车联边缘网络包括边缘服务器、路测单元(RSU)和在对应RSU信号覆盖范围内的车辆。车联网的边缘接入环境下的计算任务卸载模型架构如图2所示。由移动车辆、路边单元及边缘服务器三层组成。在系统架构本文档来自技高网...

【技术保护点】
1.一种基于深度Q网络的车载边缘网络任务分发卸载方法，其特征在于，包括以下步骤：/n(1)终端车辆将自身携带的计算任务信息上传至RSU，RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分，得出计算任务相应的权重；/n(2)为计算任务处理速率赋予不同的权重建立关系模型，并以计算任务处理速率加权和为优化目标建立任务卸载模型；/n(3)构建深度Q网络中的目标值网络、在线值网络以及状态-值函数，针对当前应用环境确定深度强化学习三要素：状态、动作、奖励；/n(4)以车辆终端无线信道增益为Q网络输入，通过Q网络遍历当前状态下的各种动作与环境进行实时交互以最大化任务处理速率，最后得出最优卸载策略。/n

【技术特征摘要】
1.一种基于深度Q网络的车载边缘网络任务分发卸载方法，其特征在于，包括以下步骤：
(1)终端车辆将自身携带的计算任务信息上传至RSU，RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分，得出计算任务相应的权重；
(2)为计算任务处理速率赋予不同的权重建立关系模型，并以计算任务处理速率加权和为优化目标建立任务卸载模型；
(3)构建深度Q网络中的目标值网络、在线值网络以及状态-值函数，针对当前应用环境确定深度强化学习三要素：状态、动作、奖励；
(4)以车辆终端无线信道增益为Q网络输入，通过Q网络遍历当前状态下的各种动作与环境进行实时交互以最大化任务处理速率，最后得出最优卸载策略。


2.根据权利要求1所述的一种基于深度Q网络的车载边缘网络任务分发卸载方法，其特征在于，所述步骤(1)包括以下步骤：
(11)将计算任务同一层次的因素进行两两比较，构造评价因素判断矩阵A＝(aij)3×3及目标层相对于准则层的判断矩阵B1,B2...B3＝(aij)K×K，其中



(12)根据方根法求得判断矩阵Bk对应的权重向量元素：



其中，k表示在决策过程中车辆终端k携带的计算任务，i表示我们所考虑的第i个评价因素，得到所有车辆终端计算任务的权重矢量矩阵：



(13)根据方根法求得评价因素判断矩阵A的权重向量Δ＝[Δ1,Δ2,Δ3]：



(14)通过一致性检验，最得到所有计算任务的权重向量W，其中的每一个元素可以分别代表对应终端计算任务的权重，可由下式求出：

。


3.根据权利要求1所述的一种基于深度Q网络的车载边缘网络任务分发卸载方法，其特征在于，步骤(2)所述的优化目标为：



其中，wk为k终端携带任务的优先级别，数值越大则表示该计算任务需要分配更...

【专利技术属性】
技术研发人员：张唐伟，赵海涛，蔡舒祺，赵厚麟，朱洪波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32