【技术实现步骤摘要】
本专利技术涉及网络空间安全，具体涉及一种基于多智能体协同的云-边-端安全检测任务调度方法。
技术介绍
1、随着互联网的快速发展，端-边缘-云计算（eecc）逐渐成为当下主流的计算范式。在处理资源密集型服务和延迟敏感型服务，诸如图像处理、自动驾驶、医疗保健等领域，eecc以其强大的资源支持和高实时性分析等特点而备受关注。但是，这种云边端协同模式在安全检测方面面临挑战。首先，资源的可用性在云端设备、边缘设备和端设备之间呈递减关系。终端设备的计算、存储、能源和通信资源通常是有限的，这使得端设备难以同时兼顾普通任务以及安全检测任务。一种解决方案是进行任务卸载，将计算任务从资源受限的设备转移到资源更丰富的设备上执行。传统的任务卸载问题可以分为两大类：节能型任务分配和带宽感知型任务分配，分别以最小化设备能耗和最小化传输延迟为目标。但是，鉴于安全检测任务的特殊性，传统的任务卸载模型无法直接应用到安全检测任务上。首先，对于安全检测任务而言，需要额外考虑异构节点的安全能力。例如，如果节点执行普通任务占用了大部分系统资源而导致安全检测任务无法正常运作，那么这种设备极有可能成为被攻击的目标。其次，如果某台设备受到攻击，其邻近设备也易受到波及。因此，卸载问题还必须考虑到当前设备的安全能力以及其临近设备的安全能力，以调整卸载策略。
2、此外，现有的一些研究考虑了eecc环境下如何在资源受限的设备上有效部署安全检测算法，但是这些研究在资源调度的灵活性上存在局限。首先，任务卸载问题根据系统的实时资源需求来动态地分配计算资源，在资源优化和负载平衡方
技术实现思路
1、本专利技术为了克服以上技术的不足，提供了一种显著提升端设备对网络攻击的检测能力，同时确保在资源受限的端设备上实现调度策略的优化，兼顾实时性和资源利用效率之间的平衡的基于多智能体协同的云-边-端安全检测任务调度方法。
2、本专利技术克服其技术问题所采用的技术方案是：
3、一种基于多智能体协同的云-边-端安全检测任务调度方法，包括如下步骤：
4、(a)将智能代理部署到网络全域的各个端设备上，智能代理收集时刻的第台端设备的状态参数，，为网络全域中端设备的数量，，为周期；
5、(b)智能代理在第台端设备上部署策略网络，将第台端设备的状态参数输入到策略网络中，输出得到时刻的安全检测任务调度策略；
6、(c)智能代理执行调度策略后，智能代理收集第台端设备的状态参数；
7、(d)利用状态参数计算得到智能代理的奖励；
8、(e)中央云控制器获取时刻个智能代理的信息，构建时刻全局信息的向量，其中，，，，，中央云控制器将周期所有时刻的全局信息的向量存放到缓冲区中；
9、(f)在中央云控制器中部署个价值网络和个目标网络，每个价值网络和目标网络对应一台端设备，每个价值网络和目标网络从缓冲区随机采样条全局信息的向量，第条全局信息的向量为，，价值网络输出强化学习的q值，目标网络输出下一时刻强化学习的q值；
10、(g)利用q值及q值对价值网络进行更新；
11、(h)训练策略网络；
12、(i)使用软更新的方法更新目标网络的参数；
13、(j)重复步骤(e)至步骤(i)直至达到预定的训练周期或学习收敛；
14、(h)第台端设备执行其自身部署的策略网络输出的安全检测任务调度策略，与环境进行交互，做出安全检测任务的调度决策。
15、进一步的，步骤(a)中状态参数包括节点的状态、任务的状态、链路的状态，所述节点的状态包括端节点的资源占用率、端节点资源平衡指数、端节点安全性度量、边缘节点的资源占用率；所述任务的状态包括当前任务请求的节点资源、任务数据量大小、任务紧急程度。
16、进一步的，智能代理收集第台端设备的状态参数的节点的状态的方法为：
17、(a-1)端节点的资源占用率由时刻非安全检测任务的资源占用率及时刻安全检测任务的资源占用率构成，通过公式计算得到时刻非安全检测任务的资源占用率，式中为第台端设备时刻执行非安全检测任务已被占用的端节点系统资源，为第台端设备时刻的总资源，通过公式计算得到时刻安全检测任务的资源占用率，式中为第台端设备时刻执行安全检测任务已被占用的端节点系统资源，；
18、(a-2)通过公式计算得到时刻的端节点资源平衡指数；
19、(a-3)通过公式计算得到端节点安全性度量，式中为平衡因子，为第台端设备的安全性指标，，及均为权重系数，为第个周期内第台端设备持续进行检测的时间，为第台端设备在第个周期内的检测中断次数，为参数，为与第台端设备直接相连的其它端设备的集合，为与第台端设备直接相连的端设备的数量，为集合中第台端设备的安全性指标，，为第个周期内第台端设备持续进行检测的时间，为第台端设备在第个周期内的检测中断次数；
20、(a-4)通过公式计算得到时刻第台边缘节点的资源占用率，，为边缘节点的个数，为时刻第台边缘节点已被占用的系统资源，为时刻第台边缘节点的总资源，所有边缘节点的资源占用率集为，。
21、进一步的，智能代理收集第台端设备的状态参数的任务的状态的方法为：
22、(a-5)当前任务请求的节点资源包括当前第个安全检测任务请求的cpu百分比、当前第个安全检测任务请求的内存百分比；
23、(a-6)获取当前第个安全检测任务请求的数据量大小；
24、(a-7)获取当前第个安全检测任务请求的紧急程度，为大于0且小于1的正数。
25、进一步的，上述链路的状态为链路带宽，第台端设备的状态参数。
26、进一步的，步骤(b)包括如下步骤：
27、(b-1)策略网络由第一全连接层、第二全连接层、离散动作输出层、连续动作输出层构成；
28、(b-2)将第台端设备的状态参数输入到策略网络的第一全连接层中，输出得到特征；
29、(b-3)将特征输入到策略网络的第二全连接层中，输出得到特征；
30、(b-4)策略网络的离散动作输出层由全连接层、softmax函数构成，将特征输入到离散动作输出层的全连接层中，输出得到维的向量，将向量输入到离散动作输出层的softmax函数中，输出得到概率分布，使用pytorch库中torch.distributions.categorical函数在维的概率本文档来自技高网...
【技术保护点】
1.一种基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于：步骤(a)中状态参数包括节点的状态、任务的状态、链路的状态，所述节点的状态包括端节点的资源占用率、端节点资源平衡指数、端节点安全性度量、边缘节点的资源占用率；所述任务的状态包括当前任务请求的节点资源、任务数据量大小、任务紧急程度。
3.根据权利要求2所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，智能代理收集第台端设备的状态参数的节点的状态的方法为：
4.根据权利要求3所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，智能代理收集第台端设备的状态参数的任务的状态的方法为：
5.根据权利要求4所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于：所述链路的状态为链路带宽，第台端设备的状态参数。
6.根据权利要求5所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，步骤(b)包括如下步骤：
7.根据权利要求6所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，步骤(d)包括如下步骤：
8.根据权利要求5所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，步骤(f)包括如下步骤：
9.根据权利要求1所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于：步骤(g)中通过时序差分算法利用Q值及Q值对价值网络进行更新，步骤(h)中通过策略梯度算法训练策略网络。
...【技术特征摘要】
1.一种基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于：步骤(a)中状态参数包括节点的状态、任务的状态、链路的状态，所述节点的状态包括端节点的资源占用率、端节点资源平衡指数、端节点安全性度量、边缘节点的资源占用率；所述任务的状态包括当前任务请求的节点资源、任务数据量大小、任务紧急程度。
3.根据权利要求2所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，智能代理收集第台端设备的状态参数的节点的状态的方法为：
4.根据权利要求3所述的基于多智能体协同的云-边-端安全检测任务调度方法，其特征在于，智能代理收集第台端设备的状态参数的任务的状态的方法为：<...
【专利技术属性】
技术研发人员：韩晓晖，迟依农，崔慧，左文波，王培培，李晓彤，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。