基于移动云计算深度强化学习的物联网设备任务下载方法技术

基于移动云计算深度强化学习的物联网设备任务下载方法。本发明专利技术属于移动云计算领域，针对云计算环境下的物联网设备任务下载问题，提出了一种基于最优选择的任务下载方法。采用深度强化学习算法对任务下载问题进行建模，算法引入权重，通过调整其返回值来权衡云资源的利用率和下载任务的延迟。本发明专利技术首先使用具有加权密度的k

【技术实现步骤摘要】
基于移动云计算深度强化学习的物联网设备任务下载方法


[0001]本专利技术涉及移动云计算领域，针对云计算环境下的任务下载模式提出了一种采用深度强化学习的物联网设备任务下载方法。

技术介绍

[0002]移动设备中存在许多需要大量计算的资源和消耗大量能量的任务。将这些任务下载到远程云计算中心，可以有效降低移动设备的能耗，达到扩大移动设备容量的目的。在相关研究中，许多学者提出了许多不同的任务下载方法。这些任务下载方法考虑的因素包括：移动设备能耗、网络通信带宽、延迟、云服务器容量等。通过考虑这些因素，现有的任务下载策略将在移动设备上执行的总成本与在云端执行的总成本进行比较，从而决定是否将任务下载到云端。
[0003]云计算为移动云计算环境下的任务下载提供了技术基础。虚拟化是云计算的核心技术之一，通过虚拟化，云中的服务器器可以同时运行多个操作系统，在每个操作系统中运行的程序相互隔离。对于那些对计算资源要求高、能耗高的任务，将其下载到云上可以有效降低移动设备的能耗。下载到云中的任务将分配给相应的虚拟机执行。由于服务器的地理位置或网络位置不同，分配给不同服务器器的任务将有不同的延迟，这是影响任务执行的一个重要因素，特别是对于实时性要求高的任务。不仅如此，在将任务下载到云上执行的过程中，还需要考虑云服务器的资源利用率，以避免由于云服务器利用率低而造成的云资源的浪费。通过理论分析可以看出，减少下载任务的时间延迟和提高云中心服务器的资源利用率通常是相互冲突的。因此，本专利技术将重点解决此问题。

技术实现思路

[0004]本专利技术提供了基于移动云计算深度强化学习的物联网设备任务下载方法，用以解决现有技术中存在的问题。
[0005]选择不同的服务器器来运行下载任务将直接影响任务下载到云上所造成的延迟。在任务下载过程中，保持较高的云资源利用率，减少任务下载造成的延迟是本专利技术的重点内容，寻找下载的最优策略，以平衡提高云资源的利用率和最小化任务下载的延迟。
[0006]为了有效地平衡资源利用和任务延迟这两个因素，采用了强化学习方法对问题进行建模。然后，基于改进的k
‑
means聚类算法和强化学习算法，从当前下载任务中选择最优的服务器集群。利用改进的粒子群算法，从最优聚类中选择最优服务器完成下载任务。
[0007]本专利技术通过以下技术方案予以实现。
[0008]基于移动云计算深度强化学习的物联网设备任务下载方法，其特征在于使每个任务在下载过程中都可以选择最佳的服务器线路，提高云资源的利用率和最小化任务下载延迟。基于改进的k
‑
means聚类算法和强化学习算法，从当前下载任务中选择最优的服务器集群，再利用改进的粒子群算法，从最优聚类中选择最优服务器完成下载任务。
[0009]具体步骤如下：
[0010](1)采用k
‑
means聚类算法对服务器集群进行聚类
[0011]根据服务器的分布密度和最小距离指标确定初始聚类中心和聚类数量，然后对服务器进行聚类；服务器越接近，它们就越有可能相互干扰。因此，应该将邻近的服务器器划分为一个集群，并分配正交资源块，以避免集群内的干扰。因此，本专利技术引入一种由服务器分布密度和服务器最小距离指标共同定义的新指标来评价服务器之间的接近度。
[0012]定义1:服务器PM
p
的分布密度ρ
p
是服务器PM
p
到其他服务器的总距离与任意两个服务器距离之和的比值，见式(1)；
[0013][0014]式中d
m,n
为PM
m
与PM
n
之间的欧氏距离；N为服务器总数；
[0015]定义2:服务器PM
p
到分布密度较大的服务器的最小距离为服务器PM
p
的最小距离指标ρ
p
，见式(2)；
[0016]δ
p
＝min{d
p,q
|p,q∈{1,N},q≠p,ρ
q
＞ρ
p
}
ꢀꢀꢀ
(2)
[0017]式中d
p,q
为PM
p
与PM
q
之间的欧氏距离，对于分布密度最大的服务器，定义最小距离指标为其与其他服务器的最近距离；
[0018]定义3:服务器PM
p
的加权密度θ
p
是其分布密度与最小距离指标的乘积，即θ
p
＝ρ
p
δ
p
,p∈[1,N]；所有服务器的平均加权密度见式(3):
[0019][0020]基于上述定义，采用改进的k
‑
means聚类算法，以实现对服务器器的高效聚类，算法描述如下：
[0021]1)选择初始集群中心，计算每台服务器的加权密度θ
p
和1≤p≤N，以及所有服务器的平均加权密度选取的服务器作为初始聚类中心；
[0022]2)确定最终的集群中心，检查是否任意两个服务器器的初始聚类中心集的欧几里得距离d
m,n
小于给定的阈值距离，如果是，它表明服务器器之间的距离在两个初始簇中相对较近，很容易产生干扰，此时，从初始集群的中心集中删除一个服务器器；当比较所有初始集群的中心时，最终的集群中心集Q是最终集群中心数量，Q<T，采用加权聚类覆盖半径G 作为距离阈值，见式(4)：
[0023][0024]形成最终的聚类结果，根据步骤2得到的聚类中心，使用标准的k
‑
means算法将剩余的服务器聚类到不同的集群中，从而得到最终的聚类结果；
[0025](2)选择最优的服务器集群
[0026]利用深度强化学习从当前下载任务中选择最优的服务器集群，根据当前系统状态和下载任务，选择最优的服务器集群，定义k个集群的等待时间见式(5)：
[0027][0028]其中表示集群中第P
k
服务器的最大等待时间，在决策步骤t中，运行在第k个服务器集群上的虚拟机总数为则云中心服务器集群状态见式(6)，行动见式(7)：
[0029][0030][0031]然后定义执行动作后的返回值，即将当前的卸载任务分配给第k个服务器集群，见式(8):
[0032][0033]第k个服务器集群的通信带宽用表示，“带宽”的值为集群中心的服务器带宽，服务器集群的带宽是根据该带宽值估算的；
[0034](3)选择最优服务器并通过pareto算法提高收敛速度
[0035]利用改进的粒子群算法从最优聚类中选择最优服务器，并利用Pareto算法提高收敛速度，粒子群优化算法(PSO)是一种随机的全局优化算法，通常能得到较好的结果，但随着问题规模的增加，计算量和资源使用量也迅速增加；本专利技术重新定义了经典粒子群算法中粒子速度和位置的更新，并引入了利用该算法求解问题的帕累托方法。...

【技术保护点】

【技术特征摘要】
1.基于移动云计算深度强化学习的物联网设备任务下载方法，其特征在于包括以下步骤：(1)采用k
‑
means聚类算法对服务器集群进行聚类根据服务器的分布密度和最小距离指标确定初始聚类中心和聚类数量，然后对服务器进行聚类；定义1:服务器PM
p
的分布密度ρ
p
是服务器PM
p
到其他服务器的总距离与任意两个服务器距离之和的比值，见式(1)；式中d
m,n
为PM
m
与PM
n
之间的欧氏距离；N为服务器总数；定义2:服务器PM
p
到分布密度较大的服务器的最小距离为服务器PM
p
的最小距离指标ρ
p
，见式(2)；δ
p
＝min{d
p,q
|p,q∈{1,N},q≠p,ρ
q
＞ρ
p
}
ꢀꢀꢀꢀꢀꢀꢀ
(2)式中d
p,q
为PM
p
与PM
q
之间的欧氏距离，对于分布密度最大的服务器，定义最小距离指标为其与其他服务器的最近距离；定义3:服务器PM
p
的加权密度θ
p
是其分布密度与最小距离指标的乘积，即θ
p
＝ρ
p
δ
p
,p∈[1,N]；所有服务器的平均加权密度见式(3):基于上述定义，采用改进的k
‑
means聚类算法，以实现对服务器器的高效聚类，算法描述如下：1)选择初始集群中心，计算每台服务器的加权密度θ
p
和1≤p≤N，以及所有服务器的平均加权密度选取的服务器作为初始聚类中心；2)确定最终的集群中心，检查是否任意两个服务器器的初始聚类中心集的欧几里得距离d
m,n
小于给定的阈值距离，如果是，它表明服务器器之间的距离在两个初始簇中相对较近，很容易产生干扰，此时，从初始集群的中心集中删除一个服务器器；当比较所有初始集群的中心时，最终的集群中心集Q是最终集群中心数量，Q<T，采用加权聚类覆盖半径G作为距离阈值，见式(4)：形成最终的聚类结果，根据步骤2得到的聚类中心，使用标准的k
‑
means算法将剩余的服务器聚类到不同的集群中，从而得到最终的聚类结果；(2)选择最优的服务器集群利用深度强化学习从当前下载任务中选择最优的服务器集群，根据当前系统状态和下载任务，选择最优的服务器集群，定义k个集群的等待时间见式(5)：

【专利技术属性】
技术研发人员：亓慧，史颖，穆晓芳，吴晨旭，王笑斌，
申请(专利权)人：太原师范学院，
类型：发明
国别省市：