【技术实现步骤摘要】
本专利技术涉及车联网领域，特别是指一种基于动态通信组的车辆辅助决策的计算迁移方法。
技术介绍
1、随着物联网(internet of things，iot)的发展，许多应用场景不断发展，并得到广泛关注，如：车联网(internet of vehicles，iov)。在车联网中，车辆是一个重要计算载体，并且存在于日常生活中，所以车辆的计算能力非常重要。随着大数据时代的到来，一些应用，特别是多媒体应用的出现，对车辆的处理提出了重要挑战。
2、移动边缘计算(mobile edge computing,mec)的出现为车联网的发展提供了一个契机，它将车辆的一些应用迁移到边缘服务器中来缓解车辆的计算负担。在mec技术的基础上，为了进一步提高资源利用率和服务计算的质量，许多研究开始从各方面着手。部分研究为了最小化时延和能耗，开始关注mec中设备的资源分配。其中部分关注如何在多信道环境中权衡能量消耗和时延的研究，采用了博弈论的计算迁移方法，但是这其中多数的迁移方法都着重于二进制迁移方法，无法充分利用系统的计算资源。与此同时，当需要迁移大规模任务时很难满足时延的约束要求。
3、现有的d2d辅助计算迁移主要有集中式和分布式两种。现有的研究中，部分将任务迁移和资源分配问题转换为非线性规划问题，从而找到最优迁移策略。集中式的方案需要边缘节点有全局信息，但是在动态的用户和动态的网络环境中，边缘节点会有巨大的计算压力。所以一些研究开始专注于分布式算法。chen等人发表的“exploiting massive d2dcollabor
4、此外，一些研究开始使用多智能体深度强化学习来解决d2d迁移框架的问题，以应对环境的动态变化，并且能在多个代理的动态环境下做出顺序决策。虽然这些方法能够获取用户之间的竞争或合作关系，但是他们是预定义通信，需要所有用户共享信息。然而，在实际的动态环境中，这种预定义通信无法识别有价值的决策，并且传输大量信息时会产生高通信成本。
技术实现思路
1、本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种基于动态通信组的车辆辅助决策的计算迁移方法，充分利用闲置车辆的计算资源，提高资源利用率，帮助用户车辆进行计算迁移决策，减轻用户车辆的计算的负担。
2、本专利技术采用如下技术方案：
3、一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，
4、边缘服务器根据用户车辆周边闲置车辆的状态计算优先级，优先级最高的闲置车辆作为协助车辆，其余闲置车辆作为服务车辆，将所述协助车辆、所述服务车辆与所述用户车辆组成通信组；
5、根据用户车辆任务的时延约束、所述边缘服务器的计算能力以及所述通信组内的车辆计算能力建立计算迁移问题的约束模型；
6、所述协助车辆根据经验进行决策，将所述决策传输给所述用户车辆，所述服务车辆根据所述用户车辆广播的迁移任务状态信息进行计算并将计算结果传输给所述用户车辆；
7、采用基于actor-critic的经验回放网络进行决策，所述协助车辆将从所述服务车辆收集计算迁移的效果、迁移任务的信息以及决策存储为经验，依据经验回放对所述actor-critic的经验回放网络进行训练，获得基于actor-critic的经验回放网络的最优决策模型。
8、所述边缘服务器集合表示为es＝{1,2,...,m}，所述用户车辆为rv＝{1,2,...,i}，协助车辆为cv＝{1,2,...,j}，所述服务车辆为sv＝{1,2,...,k}，其中m、i、j、k分别为自身编号，所述通信组n用cgn＝{1,2,...,cgn}表示，其中
9、所述车辆的状态表示为state＝{f,g,di,ct}，f代表周围车辆的计算频率、g代表计算容量，di代表用户车辆之间的距离，ct代表周围车辆与用户车辆能够通信的时长；所述优先级计算公式如下：
10、
11、其中α、和为动态权重系数。
12、所述计算迁移问题的约束模型将计算迁移的方式分为车辆对车辆采用的v2v通信模式和车辆对边缘服务器的通信模式，以及根据用户车辆的需求，综合考虑采用所述计算迁移的方式执行任务迁移过程中的总时延ttotal和能耗etotal，提出多约束的计算迁移问题：
13、min:ttotal
14、min:etotal
15、
16、其中为最大能耗约束，为最大时延约束。
17、所述任务迁移过程中的总时延ttotal和能耗etotal具体计算如下：
18、
19、
20、其中，为任务从用户车辆i到边缘服务器m传输过程中的时延，其中表示任务数据量大小，rim表示任务从用户车辆i到边缘服务器m之间的传输速率，为任务从用户车辆i到服务车辆k传输过程中的时延；为任务处理时延，为任务迁移到边缘服务器m的处理时延，为任务迁移到服务车辆k的处理时延，fit表示t时刻分配的计算频率，表示任务i在t时刻所需的cpu周期数；表示任务在用户车辆i本地执行的能量消耗，表示任务在边缘服务器m执行的能量消耗，表示任务在服务车辆k执行的能量消耗，表示计算迁移的任务数据量大小，γ表示设备的电容系数；φ、ω、ι设置成任务分别只有在本地执行、所述边缘服务器执行、所述服务车辆执行时为1，其它情况为0。
21、所述协助车辆j获取所述用户车辆i迁移任务的数据量和约束，根据存储经验进行决策；
22、所述服务车辆k获取用户迁移任务之后进行计算，将结果传输给用户车辆i。
23、将迁移任务的信息以及迁移过程中的时延和能耗信息利用基于actor-critic的经验回放网络进行决策，将所有信息存储为经验，利用经验回放对所述基于actor-critic的经验回放网络进行训练优化，并将计算的奖励函数计算结果传输给边缘服务器，对优先级计算公式的参数进行更新。
24、将如何获得最优决策构建成马尔可夫决策过程，将t时刻所述协助车辆j收集到的所述用户车辆信息以及所述服务车辆输出的信息表示为{sik,aik,rik,s′ik}，分别为任务信息、任务迁移的动作、迁移奖励和任务迁移后的信息，利用actor-critic的经验回放网络进行决策，将本次迁移任务的所有信息存储到经验池中。
25、所述奖励函数r计算公式如下：
26、r＝-(λ1ttotal+λ2et本文档来自技高网...
【技术保护点】
1.一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，
2.如权利要求1所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述边缘服务器集合表示为ES＝{1,2,...,m}，所述用户车辆为RV＝{1,2,...,i}，协助车辆为CV＝{1,2,...,j}，所述服务车辆为SV＝{1,2,...,k}，其中m、i、j、k分别为自身编号，所述通信组N用CGN＝{1,2,...,cgN}表示，其中
3.如权利要求1所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述车辆的状态表示为State＝{f,g,Di,CT}，f代表周围车辆的计算频率、g代表计算容量，Di代表用户车辆之间的距离，CT代表周围车辆与用户车辆能够通信的时长；所述优先级计算公式如下：
4.如权利要求3所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述计算迁移问题的约束模型将计算迁移的方式分为车辆对车辆采用的V2V通信模式和车辆对边缘服务器的通信模式，以及根据用户车辆的需求，综合考虑采用所述计算迁移的方式执行任务迁移过程
5.如权利要求4所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述任务迁移过程中的总时延Ttotal和能耗Etotal具体计算如下：
6.如权利要求1所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述协助车辆j获取所述用户车辆i迁移任务的数据量和约束，根据存储经验进行决策；
7.如权利要求1所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，将迁移任务的信息以及迁移过程中的时延和能耗信息利用基于Actor-Critic的经验回放网络进行决策，将所有信息存储为经验，利用经验回放对所述基于Actor-Critic的经验回放网络进行训练优化，并将计算的奖励函数计算结果传输给边缘服务器，对优先级计算公式的参数进行更新。
8.如权利要求7所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，将如何获得最优决策构建成马尔可夫决策过程，将t时刻所述协助车辆j收集到的所述用户车辆信息以及所述服务车辆输出的信息表示为{Sik,Aik,Rik,S′ik}，分别为任务信息、任务迁移的动作、迁移奖励和任务迁移后的信息，利用Actor-Critic的经验回放网络进行决策，将本次迁移任务的所有信息存储到经验池中。
9.如权利要求7所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述奖励函数R计算公式如下：
10.如权利要求9所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述基于Actor-Critic的经验回放网络包括评估网络和目标网络，初始化评估网络Q(S,A,θ)和目标网络Q(S',A',θ')，S,A,θ分别为评估网络的迁移任务状态、动作和回归参数，S',A',θ'分别为目标网络的迁移任务状态、动作和回归参数；从经验池中选择E个样本进行对所述评估网络Q(S,A,θ)和所述目标网络Q(S',A',θ')进行训练，目标Q值用y＝R+γQ(S',A',θ')表示，其中γ为训练折扣系数；
...【技术特征摘要】
1.一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，
2.如权利要求1所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述边缘服务器集合表示为es＝{1,2,...,m}，所述用户车辆为rv＝{1,2,...,i}，协助车辆为cv＝{1,2,...,j}，所述服务车辆为sv＝{1,2,...,k}，其中m、i、j、k分别为自身编号，所述通信组n用cgn＝{1,2,...,cgn}表示，其中
3.如权利要求1所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述车辆的状态表示为state＝{f,g,di,ct}，f代表周围车辆的计算频率、g代表计算容量，di代表用户车辆之间的距离，ct代表周围车辆与用户车辆能够通信的时长；所述优先级计算公式如下：
4.如权利要求3所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述计算迁移问题的约束模型将计算迁移的方式分为车辆对车辆采用的v2v通信模式和车辆对边缘服务器的通信模式，以及根据用户车辆的需求，综合考虑采用所述计算迁移的方式执行任务迁移过程中的总时延ttotal和能耗etotal，提出多约束的计算迁移问题：
5.如权利要求4所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述任务迁移过程中的总时延ttotal和能耗etotal具体计算如下：
6.如权利要求1所述的一种基于动态通信组的车辆辅助决策的计算迁移方法，其特征在于，所述协助车辆j获取所述用户车辆i迁移任务的数据量和约束，根据存储经验进行决策；
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。