【技术实现步骤摘要】
本专利技术涉及车辆任务卸载，具体是一种基于d3qn算法的车载任务卸载方法。
技术介绍
1、目前，随着物联网技术和5g无线通信技术的快速发展，车联网领域涌现了大量的新型应用，如自动驾驶、视频监控和交通控制等。这些与智能交通系统相关的应用首先需要收集大量的环境数据，如道路网络信息、实时交通信息、车辆行驶信息等，然后在这些数据的基础上，由车辆或者其他感知设备进行相应的处理，如人脸识别、目标检测、交通预测等。由此可见，这些应用都是基于计算密集的数据驱动而形成的。然而由于车辆的计算能力有限，难以满足计算资源和延迟的要求，而云计算的出现在一定程度上缓解了这种状况。云计算的云端集成了大量具备强大计算能力的服务器，通过将一部分计算任务卸载给云端，可以减少应用运行的延迟。但是，由于云端远离车辆，这种云端处理的方式会导致产生过高的通信延迟，难以满足车辆快速接收数据的要求，因此亟待解决。
技术实现思路
1、为了避免和克服现有技术中存在的技术问题，本专利技术提供了一种基于d3qn算法的车载任务卸载方法。本专利技术能够有效的提高车载任务的处理速度，以满足通讯延迟要求。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于d3qn算法的车载任务卸载方法，包括以下卸载步骤：
4、s1、基于d3qn算法，将车载任务的状态输入到生成网络中以生成对应卸载动作；接着根据设定的策略选择卸载动作并执行，以更新得到下一状态；
5、s2、构建交互数据，交互数据包括当前状
6、s3、从经验回放缓冲区中随机采样设定数量的样本，将样本输入到目标网络中计算对应的目标动作价值；
7、s4、通过最小化目标动作价值和预测动作价值之间的差值，来更新生成网络的参数；
8、s5、在训练目标网络的过程中，每隔设定迭代轮数，将当前生成网络的参数复制给目标网络；
9、s6、重复步骤s2到步骤s5，直到达到设定的停止条件；接着使用当前的目标网络预测新的车载任务的最优卸载动作，以完成车载任务的卸载。
10、作为本专利技术再进一步的方案：执行卸载任务后得到的奖励通过奖励函数计算，奖励函数的推导过程具体如下：
11、s11、计算产生车载任务的任务车辆与卸载该车载任务的服务车辆之间的数据传输速率，该数据传输速率计算公式如下：
12、；
13、式中，表示产生车载任务i的任务车辆与卸载该车载任务i的服务车辆k之间的数据传输速率，i∈[1,i]，i表示车载任务的总数，一辆任务车辆同一时间只产生一个车载任务；表示产生车载任务i的任务车辆与卸载该车载任务i的服务车辆k之间的带宽，k∈[1,k]，k表示服务车辆的总数，一辆服务车辆同一时间只卸载一个车载任务；表示产生车载任务i的任务车辆的数据发射功率；表示产生车载任务i的任务车辆与卸载该车载任务i的服务车辆k之间的信道增益；表示卸载车载任务i的服务车辆k的高斯白噪声功率；表示产生车载任务i的任务车辆与卸载该车载任务i的服务车辆k之间的路径距离；表示路径损失指数；
14、计算产生车载任务的任务车辆与卸载该车载任务的边缘服务器之间的数据传输速率，该数据传输速率计算公式如下：
15、；
16、式中，表示产生车载任务i的任务车辆与卸载该车载任务i的边缘服务器n之间的数据传输速率；表示产生车载任务i的任务车辆与卸载该车载任务i的边缘服务器n之间的带宽，n∈[1,n]，n表示边缘服务器的总数，一个边缘服务器同一时间只卸载一个车载任务；表示产生车载任务i的任务车辆与卸载该车载任务i的边缘服务器n之间的信道增益；表示卸载车载任务i的边缘服务器n的高斯白噪声功率；表示产生车载任务i的任务车辆与卸载该车载任务i的边缘服务器n之间的路径距离；
17、s12、基于数据传输速率，计算卸载车载任务的总时延，卸载车载任务的总时延包括车载任务在任务车辆中计算时的时延、车载任务卸载至服务车辆时的时延，以及车载任务卸载至边缘服务器时的时延；计算公式具体如下：
18、；
19、；
20、；
21、；
22、式中，表示 t时刻卸载车载任务 i的总时延；表示t时刻车载任务i在产生该车载任务i的任务车辆中计算时的时延，即车载任务 i在本地计算时的时延；表示t时刻车载任务i卸载至服务车辆k时的时延；表示t时刻车载任务i卸载至边缘服务器n时的时延；表示t时刻车载任务i的计算复杂度；表示t时刻为计算车载任务i的任务车辆分配的计算资源；表示t时刻为卸载车载任务i的服务车辆k分配的计算资源；表示t时刻卸载车载任务i的边缘服务器n分配的计算资源；表示t时刻卸载至服务车辆k的车载任务i的数据量；表示t时刻卸载至服务车辆n的车载任务i的数据量；
23、s13、根据车载任务类型，将车载任务分为安全性任务和非安全性任务，并分别计算对应的时延效用评价函数，计算公式如下：
24、；
25、式中，表示 t时刻卸载车载任务 i的总时延效用评价函数；表示 t时刻属于安全性任务的车载任务 i对应的安全时延效用评价函数，下标1表示当前车载任务属于安全性任务；表示 t时刻属于非安全性任务的车载任务 i对应的非安全时延效用评价函数，下标2表示当前任务属于非安全性任务；表示 t时刻卸载车载任务 i的总截止时间；
26、s14、计算车载任务在卸载过程中，需要付给任务车辆、服务车辆和边缘服务器的价钱，计算公式如下：
27、；
28、；
29、；
30、；
31、式中，表示t时刻卸载车载任务i的总价钱；表示t时刻车载任务i在产生该车载任务i的任务车辆中计算时的价钱；表示t时刻车载任务i卸载至服务车辆k时的价钱；表示t时刻车载任务i卸载至边缘服务器n时的价钱；表示服务车辆 k处理车载任务时的报价；表示服务车辆 n处理车载任务时的报价；
32、s15、计算卸载车载任务后获得的奖励，计算公式如下：
33、；
34、；
35、式中，表示t时刻卸载车载任务i时的卸载动作；表示t时刻卸载车载任务i时的状态；表示t时刻卸载车载任务i时获得的奖励，该奖励用于步骤s1中更新下一状态；表示t时刻所有状态的集合；表示本文档来自技高网...
【技术保护点】
1.一种基于D3QN算法的车载任务卸载方法，其特征在于，包括以下卸载步骤：
2.根据权利要求1所述的一种基于D3QN算法的车载任务卸载方法，其特征在于，执行卸载任务后得到的奖励通过奖励函数计算，奖励函数的推导过程具体如下：
3.根据权利要求2所述的一种基于D3QN算法的车载任务卸载方法，其特征在于，具体表示如下：
4.根据权利要求3所述的一种基于D3QN算法的车载任务卸载方法，其特征在于，具体表示如下：
5.根据权利要求4所述的一种基于D3QN算法的车载任务卸载方法，其特征在于，在将车载任务的状态输入到生成网络之后，确定卸载动作数量，并通过对应的计算公式计算执行各个卸载动作后会得到的奖励，通过∈-贪婪策略选取奖励最大值对应的卸载动作，执行该卸载动作以更新车载任务对应的下一状态。
6.根据权利要求5所述的一种基于D3QN算法的车载任务卸载方法，其特征在于，在将车载任务输入生成网络之前，对生成网络和目标网络进行初始化，初始化生成网络的参数，并将该参数赋予目标网络；同时设定总迭代轮数，衰减因子、探索率、目标网络参数的更新频率，
...【技术特征摘要】
1.一种基于d3qn算法的车载任务卸载方法，其特征在于，包括以下卸载步骤：
2.根据权利要求1所述的一种基于d3qn算法的车载任务卸载方法，其特征在于，执行卸载任务后得到的奖励通过奖励函数计算，奖励函数的推导过程具体如下：
3.根据权利要求2所述的一种基于d3qn算法的车载任务卸载方法，其特征在于，具体表示如下：
4.根据权利要求3所述的一种基于d3qn算法的车载任务卸载方法，其特征在于，具体表示如下：
5.根据权利要求4所述的一种基于d3qn算法的车载任务...
【专利技术属性】
技术研发人员：张本宏，徐浩，毕翔，胡琪炜，何聪，杜朝阳，
申请(专利权)人：合肥工业大学智能制造技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。