【技术实现步骤摘要】
本专利技术属于网络安全攻防的，具体涉及一种云环境下基于生成对抗模仿学习的自动化渗透方法及系统。
技术介绍
1、在当今数字化时代，全球网络安全局势正面临前所未有的复杂性和挑战。随着互联网技术的飞速发展，网络空间已经成为国家经济、社会运行和公民生活的重要组成部分。然而，随之而来的网络安全风险也在急剧上升，对个人隐私、企业运营乃至国家安全构成了严重威胁。
2、现如今，企业应对网络攻击，主要侧重利用防火墙、waf等应对攻击中与攻击后的应用场景，对于攻击前的预测和防范，企业一般是采用人工渗透测试和漏洞扫描工具来对网络漏洞进行检测和评估。而渗透测试是通过模拟恶意黑客的攻击方法，来评估计算机网络系统安全的一种评估方法。从安全漏洞发现到修复的成本，可达数百万金额。渗透测试可以有效地在这些安全漏洞被利用之前，主动识别并修复，避免黑客利用安全漏洞的攻击。
3、但随着业务变得越来越全球化和复杂化。人工渗透测试的局限性益专利技术显。例如实施难度大，对业务系统影响大，有时候需要停止系统测试，测试代价太大；缺乏与企业业务的融合，难以适应业务云端化、虚拟化；难以实时预测关键资产风险。每年实施一次且需要停机的人力渗透测试，提供的是不充足且过时的测试报告。企业对能提供连续性、自动化、智能化的渗透测试需求日益迫切。
4、目前，自动化渗透有着以下几种方案：第一，基于规则匹配的方法，这种方法是传统的自动化渗透测试技术，依赖于预定义的规则和签名来检测和利用漏洞，但是囿于通常依赖于已知的漏洞签名和攻击模式以及规则库的更新，受限于已知规则
5、因此，人工渗透测试的高成本、耗时、缺乏自动化和智能化的问题，以及现有自动化渗透技术在新漏洞识别、环境适应性和策略泛化能力上的不足是目前亟待解决的。
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种云环境下基于生成对抗模仿学习的自动化渗透方法及系统，在云环境中进行模仿学习，能够高效利用资源，同时通过增强gail网络和渗透测试工具容器化，能够自动调整容器资源分配，从而提高整体性能并优化资源使用和响应时间。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、第一方面，本专利技术提供了一种云环境下基于生成对抗模仿学习的自动化渗透方法，包括下述步骤：
4、收集专家知识数据，构建专家知识库，利用自然语言处理算法增强专家知识数据，利用开源安全情报定期更新专家知识库；所述专家知识数据包括安全专家在成功渗透测试中的专家状态动作对；
5、设置异步多环境，令预训练的智能体在多沙盒环境中进行并行生成式模仿学习；
6、将智能体在训练过程中当前观察到的状态在线生成预测状态动作对，利用预测状态动作对对增强gail网络中的鉴别器进行训练，鉴别器通过自适应学习率和多层感知机制动态调整状态，获取高质量的状态动作对；所述增强gail网络包括策略网络、价值网络和鉴别器；
7、计算高质量的状态动作对的折扣奖励，将折扣奖励作为策略网络的反馈优化策略网络；利用安全事件对策略网络进行评价，并对策略网络实时安全反馈；经过多轮训练后，完成策略网络的训练；
8、将渗透测试工具容器化，并使用k8s进行编排，利用高质量的状态动作对对完成训练的策略网络进行渗透测试，对特定靶机进行重复实验，将实验结果调整策略网络；持续评估智能体性能，记录并反馈调整增强gail网络的参数，生成监控日志。
9、作为优选的技术方案，所述利用自然语言处理算法增强专家知识数据，包括：
10、自动化采集专家报告，利用自然语言处理算法分析专家报告内容，对专家知识数据进行打标，将标记的专家知识数据加入专家知识库。
11、作为优选的技术方案，所述设置异步多环境，令预训练的智能体在多沙盒环境中进行并行生成式模仿学习，包括：
12、s21、在多沙盒环境中对智能体使用大批次进行梯度积累，通过多个小批次专家知识数据进行梯度更新；
13、s22、使用参数服务器架构协调多个计算节点，并行更新计算节点参数；
14、s23、利用同步sgd获取各个计算节点的分布式平均梯度，将分布式平均梯度广播到各计算节点；
15、s24、对智能体进行混合精度训练，对损失和计算节点的梯度进行尺度变换，所述混合精度训练包括低精度浮点运算和高精度运算。
16、作为优选的技术方案，所述梯度更新，如下式：
17、
18、其中，n是累积的批次数，是损失函数，表示相对于参数θ的梯度。
19、作为优选的技术方案，所述并行更新计算节点参数θt，如下式：
20、
21、其中，k是并行计算节点数，gk是节点k计算的梯度，η是学习率。
22、作为优选的技术方案，所述步骤s24，具体为：
23、对智能体进行低精度浮点运算，在反向传播计算梯度时，采用缩放因子放大损失并增大梯度，如下式:
24、scaled_loss＝loss×scale
25、其中，scaled_loss表示放大后的损失，loss表示损失，scale表示缩放因子；
26、反向传播时计算梯度，如下式：
27、
28、其中，scaled_gradients表示梯度；
29、缩放回原来的梯度，如下式：
30、
31、其中，gradient表示缩放后的梯度；
32、利用尺度因子更新参数，如下式：
33、
34、其中，η为尺度因子。
35、第二方面，本专利技术提供了一种云环境下基于生成对抗模仿学习的自动化渗透系统，应用于所述的云环境下基于生成对抗模仿学习的自动化渗透方法，包括：知识库构建与管理模块、模仿学习训练模块、对抗训练模块、评估调整模块和渗透测试模块；
36、知识库构建与管理模块，用于收集专家知识数据，构建专家知识库，利用自然语言处理算法增强专家知识数据，利用开源安全情报定期更新专家知识库；所述专家知识数据包括安全专家在成功渗透测试中的专家状态动作对；
37、模仿学习训练模块，用于设置异步多环境，令预训练的智能体在多沙盒环境中进行并行生成式模仿学习；
38、对抗训练模块，用于将智能体在训练过程中当前观察到的状态在线生成预测状态动作对，利用预测状态动作对对增强gail网络中的鉴别器进行训练，鉴别器通过自适应学习率和多层感知机制动态调整状态，获取高质量的状态动作对；所述增强gail网络包括策略网络、价值网络和鉴别器；
39、评估调整模块，用于计算高质量的状态动作对的本文档来自技高网...
【技术保护点】
1.一种云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，包括下述步骤：
2.根据权利要求1所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述利用自然语言处理算法增强专家知识数据，包括：
3.根据权利要求1所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述设置异步多环境，令预训练的智能体在多沙盒环境中进行并行生成式模仿学习，包括：
4.根据权利要求3所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述梯度更新，如下式：
5.根据权利要求3所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述并行更新计算节点参数θt，如下式：
6.根据权利要求3所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述步骤S24，具体为：
7.根据权利要求1所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述将渗透测试工具容器化，并使用k8s进行编排，具体为：
8.根据权利要求7所述云环境下基于生成对抗模仿学习的自动化渗透方法，
9.根据权利要求1所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，包括：
10.一种云环境下基于生成对抗模仿学习的自动化渗透系统，其特征在于，应用于权利要求1-9中任一项所述的云环境下基于生成对抗模仿学习的自动化渗透方法，包括知识库构建与管理模块、模仿学习训练模块、对抗训练模块、评估调整模块和渗透测试模块；
...【技术特征摘要】
1.一种云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，包括下述步骤：
2.根据权利要求1所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述利用自然语言处理算法增强专家知识数据，包括：
3.根据权利要求1所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述设置异步多环境，令预训练的智能体在多沙盒环境中进行并行生成式模仿学习，包括：
4.根据权利要求3所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述梯度更新，如下式：
5.根据权利要求3所述云环境下基于生成对抗模仿学习的自动化渗透方法，其特征在于，所述并行更新计算节点参数θt，如下式：
6.根据权利要求3所述云环境下基于生成对...
【专利技术属性】
技术研发人员：李树栋，马秋同，吴晓波，贾焰，方滨兴，田蓓蓓，陈杉，付伟东，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。