一种车载网络计算卸载，资源分配和合同设计方法技术

本发明专利技术公开了一种车载网络计算卸载，资源分配和合同设计方法，该方法不仅利用时变的VEC网络系统中实际的计算卸载，资源分配和个体自私的特性，同时也考虑了任务的时延阈值与系统有限的资源容量约束，联合优化了任务执行中的卸载决策和计算资源的分配，并从成本的角度将相应问题建模为一个混合整数非线性规划函数，旨在最小化ESP的总成本。同时为了解决这一约束性优化问题，引入了值迭代和策略迭代深度强化学习方法，通过定义状态空间、动作空间和奖励函数，并使用马尔可夫决策过程，得到了计算卸载和资源分配的联合最优策略。计算卸载和资源分配的联合最优策略。计算卸载和资源分配的联合最优策略。

【技术实现步骤摘要】
一种车载网络计算卸载，资源分配和合同设计方法


[0001]本专利技术是关于移动通信
，特别涉及一种车载网络计算卸载，资源分配和合同设计方法。

技术介绍

[0002]随着无线接入技术的快速发展和车辆计算能力的不断增强，出现了大量车载智能应用，如车载多媒体娱乐、智能驾驶等。但是现有车辆的CPU计算能力无法在短时间内满足大规模计算任务的低延迟要求，传统的基于移动中心云计算(Mobile Cloud Computing，MCC)的操作架构不可避免地面临着部署的云服务器距离车辆较远的问题，这保证不了时延敏感应用的服务质量(Quality of Service,QoS)。在上述背景下，车辆边缘计算(Vehicular Edge Computing，VEC)被认为是上述问题的有效解决方案，它将边缘节点如路边单元(Road Side unit，RSU)部署在距离车辆较近的位置，因此可以显著降低传输成本和延迟。
[0003]但与中央云服务器相比，RSU的计算资源不足以满足车辆高峰时段的大量卸载任务，这将极大地影响服务质量。部署更多的RSU必然导致非高峰时段的巨大资源浪费，所以可以考虑激励RSU附近的具有空闲计算资源的车辆工人(Vehicle Worker，VW)做车辆用户(Vehicle User，VU)的计算任务，以缓解RSU的计算压力。然而，考虑了VW的VEC网络中计算卸载和资源分配也有一些新的问题需要解决：(1)由于VU的去向可以是VW或RSU，所以如何确定VU的卸载决策，边缘服务提供商(Edge Service Provider，ESP)如何分配VW和RSU的计算资源是具有挑战性的；(2)属于私人的VW不会无顾奉献计算资源，如何激励VW参与到VEC网络中是具有挑战性的。目前这些问题没有得到很好的解决。

技术实现思路

[0004]本专利技术的目的在于提供一种车载网络计算卸载，资源分配和合同设计方法，以解决上述现有技术中存在的实际问题。
[0005]为实现上述目的，本专利技术提供一种车载网络计算卸载，资源分配和合同设计方法，主要包括以下步骤：
[0006]S1，基于VU的计算任务参数、VW的性能参数、RSU的性能参数以及VU与VW之间的信噪比得到VU与VW之间的传输速率、VU与RSU之间的平均传输速率，并通过确定任务的传输时延和计算时延，得出VU任务卸载的总时延；
[0007]S2，根据规定的契约理论和合同设计，通过确定VW效用函数，将ESP成本最小为优化目标，建立优化目标函数；
[0008]S3，使用基于深度强化学习的方法确定S2所述优化目标函数的最优策略，所述最优策略包括VU的卸载决策，ESP为VU分配RSU或VW的资源分配决策以及按合同设计ESP支付给VW的报酬。
[0009]进一步地，所述VU的计算任务参数包括计算任务的传输数据大小、执行计算任务
的最大容忍时延、计算任务的计算数据大小和VU的位置信息。
[0010]进一步地，所述VW的性能参数包括VW的计算资源量和VW的位置信息。
[0011]进一步地，所述RSU的性能参数包括RSU的计算资源量和RSU的位置信息。
[0012]进一步地，所述S2的合同设计需满足个体理性和激励相容性以及高类型获得更多报酬的原则。
[0013]进一步地，所述S2的契约理论为：根据VW的计算资源以及与VU之间的传输速率，ESP为所有的VW进行类型排名，同时为每一种类型的VW设计满足个体理性和激励相容性的合同，当VW按时完成计算任务时，ESP支付给VW相应的报酬。
[0014]进一步地，所述S2的优化目标函数表示为：
[0015][0016]其中：被定义为所有RSU的资源分配策略集合，被定义为卸载决策的集合，被定义为合同设计集合，f
c，z，l
是第z个RSU分配给第c个VU的计算资源，θ
w，l
是第W个VW的类型，I
w，l
是ESP给第W个VW支付单价，表示任务的最大容忍延迟，t
c，l
表示每个VU任务完成实际总延迟；目标函数第一项是ESP支付给工人的总报酬；第二项是RSU消耗的资源成本，第三项是QoS的预期总收益，其中ζ，η是转换系数，μ
c
代表ESP对第c个VU的偏好；
[0017]该优化目标函数需满足以下约束条件：
[0018]1)计算任务的实际完成总延迟均不能超过某一计算任务的最大容忍时延；
[0019]2)VU的卸载决策仅能选择某一个RSU或某一个VW来处理其计算任务；
[0020]3)RSU分配给所有的VU的计算资源不能超过RSU所能提供的总计算资源；
[0021]4)ESP为任一类型的VW设计的合同使VW的效用不小于0；
[0022]5)ESP为任一类型的VW设计的合同能使VW的效用最大，而不是其他类型的合同；
[0023]6)ESP为高类型的VW设计的合同所支付的报酬不能低于支付给低于它类型的VW的报酬。
[0024]进一步地，所述S3深度强化学习的方法是通过定义状态空间、动作空间和回报函数并使用马尔科夫决策过程，基于SAC算法，得到最优策略。
[0025]进一步地，所述状态空间表征为其中表示所有VU、VW和RSU的位置信息；和别表示时隙l处所有VW和RSU的空闲计算资源；所述动作空间定义为即用于智能体在上述状态sl下找到ESP的最佳卸载策略，资源分配策略和合同设计策略；所述回报函数被定义为所述SAC算法的熵目标除了期望的奖励之外还增加了一个熵，使得SAC算法能够不断探索新策略，不会陷入到局部最优。
[0026]进一步地，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述一种车载网络计算卸载，资源分配和合同设计方法的步骤。
[0027]与现有技术相比，本专利技术具有如下优点和有益效果：
[0028](1)本专利技术不仅考虑到了时变的VEC网络系统中实际的计算卸载，资源分配和个体自私的特性，同时也考虑了任务的时延阈值与系统有限的资源容量约束，联合优化了任务执行中的卸载决策和计算资源的分配，并从成本的角度将相应问题建模为一个混合整数非线性规划问题，旨在最小化ESP的总成本。
[0029](2)为了解决这一约束性优化问题，本专利技术引入了深度强化学习的方法。定义了状态空间、动作空间和奖励函数，并引入了马尔可夫决策过程。在此基础上，提出了一种基于值迭代和策略迭代的深度强化学习方法，以确定计算卸载和资源分配的联合最优策略。
附图说明
[0030]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0031]图1为本专利技术实施例提供的一种车载网络计算卸载，资源分配和合同设计方法示意图；
[0032]图2为本专利技术实施例提供的车载边缘计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载网络计算卸载，资源分配和合同设计方法，其特征在于，该方法包括以下步骤：S1，基于VU的计算任务参数、VW的性能参数、RSU的性能参数以及VU与VW之间的信噪比得到VU与VW之间的传输速率、VU与RSU之间的平均传输速率，并通过确定任务的传输时延和计算时延，得出VU任务卸载的总时延；S2，根据规定的契约理论和合同设计，通过确定VW效用函数，将ESP成本最小为优化目标，建立优化目标函数；S3，使用基于深度强化学习的方法确定S2所述优化目标函数的最优策略，所述最优策略包括VU的卸载决策，ESP为VU分配RSU或VW的资源分配决策以及按合同设计ESP支付给VW的报酬。2.根据权利要求1所述的一种车载网络计算卸载，资源分配和合同设计方法，其特征在于，所述VU的计算任务参数包括计算任务的传输数据大小、执行计算任务的最大容忍时延、计算任务的计算数据大小和VU的位置信息。3.根据权利要求1所述的一种车载网络计算卸载，资源分配和合同设计方法，其特征在于，所述VW的性能参数包括VW的计算资源量和VW的位置信息。4.根据权利要求1所述的一种车载网络计算卸载，资源分配和合同设计方法，其特征在于，所述RSU的性能参数包括RSU的计算资源量和RSU的位置信息。5.根据权利要求1所述的一种车载网络计算卸载，资源分配和合同设计方法，其特征在于，所述S2的合同设计需满足个体理性和激励相容性以及高类型获得更多报酬的原则。6.根据权利要求1所述的一种车载网络计算卸载，资源分配和合同设计方法，其特征在于，所述S2的契约理论为：根据VW的计算资源以及与VU之间的传输速率，ESP为所有的VW进行类型排名，同时为每一种类型的VW设计满足个体理性和激励相容性的合同，当VW按时完成计算任务时，ESP支付给VW相应的报酬。7.根据权利要求1所述的一种车载网络计算卸载，资源分配和合同设计方法，其特征在于，所述S2的优化目标函数表示为：所述S2的优化目标函数表示为：其中：被定义为所有RSU的资源分配策略集合，被定义为卸载决策的集合，被定义为合同设计集合，f
c，z，l
...

【专利技术属性】
技术研发人员：周欢，郭键锰，熊佳欣，王敬娇，赵亮，
申请(专利权)人：三峡大学，
类型：发明
国别省市：