一种工业互联网边缘服务缓存决策方法及系统技术方案

本发明专利技术涉及工业互联网技术领域，具体涉及一种工业互联网边缘服务缓存决策方法及系统；本发明专利技术实施例中的工业互联网边缘服务缓存决策方法通过基于分布式深度强化学习方法构建的算法来对边缘缓存策略数学模型计算最优解，能够解决对系统的数学模型的优化问题。该方法基于网络数学模型的建立和最优目标的确定，并基于强化学习和深度学习技术的结合，根据大量的用户历史数据，让机器去学习并预测用户的偏好度以及网络中内容流行度的变化趋势，并根据学习的结果去调整服务缓存策略。可以有效的给出服务缓存决策的最优解。其对应的系统也具体同样的技术效果。同样的技术效果。同样的技术效果。

【技术实现步骤摘要】
一种工业互联网边缘服务缓存决策方法及系统


[0001]本专利技术涉及工业互联网
，具体而言，涉及一种工业互联网边缘服务缓存决策方法及系统。

技术介绍

[0002]随着接入互联网的工业设备越来越多，仅仅依靠传统的云计算模式，难以同时满足工业应用在时延和经济性方面的需求。边缘计算作为一种新兴的计算范式，可以缓解智能设备的物理资源瓶颈。在边缘计算系统中，可以通过服务缓存来提高流量负载和服务质量。然而，如何在有限的边缘存储容量内灵活配置边缘服务缓存提高系统性能极具挑战性。
[0003]现有技术中主要是针对于移动边缘计算缓存问题的研究。但大多数的工作主要集中在根据移动边缘计算网络的新特性，在传统网络上的一些缓存策略进行改进。也有一部分的工作在探索新的缓存方案，如基于用户偏好、基于学习或者多边缘节点协作的缓存策略。但是因为内容流行度、用户的偏好度是随着时间不断改变的，并且是无法预知的。同时，服务缓存问题是整数线性规划问题，是一个多项式时间内不能求解的问题，传统的优化方法难以有效地实现优化服务缓存的结果。现有技术存在不足。

技术实现思路

[0004]本专利技术实施例为了解决上述至少一个技术问题，提供了一种工业互联网边缘服务缓存决策方法及系统，通过分布式深度强化学习算法求解最优的边缘服务缓存策略，以达到最小化服务访问时延和能耗的目的。
[0005]根据本专利技术的一实施例，提供了一种工业互联网边缘服务缓存决策方法，包括以下步骤：
[0006]S1.基于只有服务器中缓存了相应的服务数据才可以执行服务相对应的任务对工业互联网系统进行数学建模；系统模型的云服务器中缓存了所有服务所需的数据；
[0007]S2.对边云协同系统中服务访问时延建立数学模型；
[0008]S3.根据边缘服务器之间和边缘服务器与云服务器之间数据传输的功率，以及边缘服务器与云服务器的计算功率对所述工业互联网系统的能耗进行数学建模；
[0009]S4.基于系统模型、延时模型和能耗模型，建立达到最小化的服务访问时延和最小化的能量消耗的优化目标；
[0010]S5.基于分布式深度强化学习方法构建能够实现所述优化目标的算法。
[0011]本专利技术还提供一种采用如上述任意一项所述方法的工业互联网边缘服务缓存决策系统，包括：数学建模模块和服务缓存决策模块；
[0012]所述数学建模模块基于只有服务器中缓存了相应的服务数据才可以执行服务相对应的任务对工业互联网系统进行数学建模；系统模型的云服务器中缓存了所有服务所需的数据；
[0013]对边云协同系统中服务访问时延建立数学模型；
[0014]根据边缘服务器之间和边缘服务器与云服务器之间数据传输的功率，以及边缘服务器与云服务器的计算功率对所述工业互联网系统的能耗进行数学建模；
[0015]基于系统模型、延时模型和能耗模型，建立达到最小化的服务访问时延和最小化的能量消耗的优化目标；
[0016]所述服务缓存决策模块基于分布式深度强化学习方法构建能够实现所述优化目标的算法。
[0017]本专利技术实施例中的工业互联网边缘服务缓存决策方法及系统，可以通过基于分布式深度强化学习方法构建的算法来对边缘缓存策略数学模型计算最优解，能够解决部分上述问题。该方法通过对工业互联网系统的数字建模和最优解目标确定，并基于强化学习和深度学习技术的结合，根据大量的用户历史数据，让机器去学习并预测用户的偏好度以及网络中内容流行度的变化趋势，并根据学习的结果去调整服务缓存策略。可以有效的给出服务缓存决策的最优解。
附图说明
[0018]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0019]图1为本专利技术工业互联网边缘服务缓存决策方法的流程图；
[0020]图2为本专利技术工业互联网边缘服务缓存决策方法示意图；
[0021]图3为本专利技术工业互联网边缘服务缓存决策系统的边云协同服务结构示意图。
具体实施方式
[0022]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0023]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0024]如附图3所示，为了方便对工业互联网系统建模(构建数学模型)，本专利技术将时间离散为分布均匀的时间片每个时间片的间隔为Δt。考虑工业互联网系统由N个边缘服务器组成，表示为每个边缘服务器都可以为传感器设备和工业设备提供数据分析和处理服务。与云服务器相比，边缘服务器上从计算和存储资源是有限的，边缘服务器n的计算能力和存储能力分别表示为和令F
cloud
表示云服务器的计
算能力。
[0025]参见图1
‑
3，根据本专利技术一实施例，提供了一种工业互联网边缘服务缓存决策方法，包括以下步骤：
[0026]S1.基于只有服务器中缓存了相应的服务数据才可以执行服务相对应的任务对工业互联网系统进行数学建模；系统模型的云服务器中缓存了所有服务所需的数据。
[0027]在具体实施数学建模时，要在边缘服务器上执行某种类型的任务，应先放置相应的服务。服务是应用程序的抽象，要运行特定的服务，边缘服务器应该缓存一个相关的数据，包括应用程序所需的软件和数据库。只有服务器中缓存了相应的服务数据才可以执行服务相对应的任务。本专利技术的建模过程中假设云服务器中缓存了所有服务所需的数据。
[0028]在工业互联网系统中，产生的服务集合表示为本专利技术假设不同的服务有不同数据量，需要不同计算资源和存储资源来处理，分别用f
l
和m
l
来表示，其中每个边缘服务器都可以缓存一个或者多个服务。本专利技术定义一个二进制变量x
l,n
(t)∈{0,1}表示服务是否缓存到边缘服务器上，则服务缓存策略为如果t时刻边缘服务器n上缓存了服务l，则x
l,n
(t)＝1，反之x
l,n
(t)＝0。令p
l,n
表示边缘服务器n分配给服务l的计算能力，由于服务缓存受到边缘服务器存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业互联网边缘服务缓存决策方法，其特征在于，包括以下步骤：S1.基于只有服务器中缓存了相应的服务数据才可以执行服务相对应的任务对工业互联网系统进行数学建模；系统模型的云服务器中缓存了所有服务所需的数据；S2.对边云协同系统中服务访问时延建立数学模型；S3.根据边缘服务器之间和边缘服务器与云服务器之间数据传输的功率，以及边缘服务器与云服务器的计算功率对所述工业互联网系统的能耗进行数学建模；S4.基于系统模型、延时模型和能耗模型，建立达到最小化的服务访问时延和最小化的能量消耗的优化目标；S5.基于分布式深度强化学习方法构建能够实现所述优化目标的算法。2.根据权利要求1所述的方法，其特征在于，所述步骤S5还包括以下步骤：S51.将多个并行深度神经网络DNN与强化学习算法Q
‑
learning相结合，构建一个并行的深度强化学习算法，进行服务缓存决策；S52.在训练阶段中依据当前状态以贪婪策略选择一个动作执行，得到奖励和下一个状态，将得到的状态转换存储至经验池中；当经验池D存储的容量足够大时，从经验池中提取一定数量的状态转换去训练网络参数；S53.在决策阶段中通过多个并行的深度神经网络生成多个缓存决策并存入动作集合中，计算每个缓存决策获得的相应奖励，以奖励最大的缓存决策作为输出动作。3.根据权利要求2所述的方法，其特征在于，在所述步骤S1中，边缘服务器为传感器设备和工业设备提供数据分析和处理服务；所述边缘服务器相对云服务器，其计算资源和存储资源都是有限的。4.根据权利要求3所述的方法，其特征在于，所述步骤S1中，当请求的服务没有缓存在距离其最近的边缘服务器上时，所述服务在云服务器或另一个缓存了所述服务的边缘服务器上执行。5.根据权利要求4所述的方法，其特征在于，所述步骤S5中，将服务最优化缓存问题描述为一个马尔可夫决策过程；所述马尔可夫决策过程由状态空间S、动作空间A和奖励函数R三个部分组成。6.根据权利要求5所述的方法，其特征在于，所述步骤S51中，所述深度神经网络DNN的动作执行为并行执行，所述深度神经网络DNN包括两个具有相同结构但参数不同的神经网络结构；一个是用于预测所述强化学习算法Q
‑
learning的Q估计值的主神经网络，拥有最新的网络参数；另一个是用于预测所述强化学习算法Q
‑
learning的Q实际...

【专利技术属性】
技术研发人员：叶可江，唐璐婕，须成忠，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：