【技术实现步骤摘要】
本申请涉及网络安全，具体地，涉及一种web攻击检测模型调试方法、系统、设备和存储介质。
技术介绍
1、web应用服务的攻击占了网络攻击的绝大部分，入侵防御系统(intrusionprevention system,ips)通常采用基于人工智能的web攻击检测模型对http/https日志进行检测，识别出sql注入、xss注入、命令注入、代码执行、目录遍历等web攻击，能够对web服务安全进行保护。但是，由于用户行为的变化或模型应用环境改变导致采集到的数据分布的变化，会产生数据漂移(data drift)，违背机器学习样本是独立同分布的假设，会导致对数据分布变化敏感的模型的泛化性能变差，导致假阳性或假阴性的增加，用户会对模型的预测失去信心，降低用户信任和满意度。
2、而且，机器学习中许多数据集需要人工标注，耗时且成本高，尤其在大规模数据集上，且在网络安全领域往往需要领域专家进行标注，进一步增加了成本和时间。专家知识特征受到专家主观判断和个人经验的影响，存在一定的主观性和局限性，会导致特征的选择和构建存在差异，且专家知识特征是通过手动设计和选择的，难以适应不同的网络环境和变化的攻击手段。
3、常见的基于机器学习对http请求文本的web攻击检测方法，从网络流量中提取完整的http请求文本作为数据输入。但是，http报文是具有结构化的数据，http请求文本中请求行包含请求方法、url、请求头包含user-agent、cookie等，请求体通常包含请求相关的参数或数据，如xml、json数据等。每个字段数据类型和
技术实现思路
1、为了解决上述技术缺陷之一，本申请实施例中提供了一种web攻击检测模型调试方法、设备和存储介质。
2、根据本申请实施例的第一个方面，提供了一种web攻击检测模型调试方法，该方法包括：
3、通过流量采集器采集http日志，在http日志中筛选得到非恶意日志，获取非恶意日志中业务行为在流量基线范围内的正常流量日志；
4、对正常流量日志抽取得到有效载荷，以有效载荷为白样本集，以历史web攻击数据为黑样本集，并将白样本集与黑样本集组合成为调试数据集；
5、使用调试数据集对预训练web攻击检测模型的全连接层进行局部调试，以对预训练web攻击检测模型的神经网络参数进行迭代更新。
6、在本申请一个可选的实施例中，通过流量采集器采集http日志，在http日志中筛选得到非恶意日志，获取非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
7、当业务行为中，源ip地址短时访问外部ip地址时的web服务请求体长度大于响应体长度的次数在流量基线范围内，且不同响应体长度数目在流量基线范围内、不同refer数据在流量基线范围内时，认为业务行为在流量基线范围内。
8、在本申请一个可选的实施例中，通过流量采集器采集http日志，在http日志中筛选得到非恶意日志，获取非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
9、当业务行为符合ua-ip基线规律或为访问规律业务、高频业务、在多个主机上运行的业务中任意一种时，认为业务行为在流量基线范围内。
10、在本申请一个可选的实施例中，通过流量采集器采集http日志，在http日志中筛选得到非恶意日志，获取非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
11、对正常流量日志采用词袋算法抽取特征，并使用孤立森林异常检测算法剔除异常日志，获取低异常分数日志，以对正常流量日志进行去噪。
12、在本申请一个可选的实施例中，使用调试数据集对预训练web攻击检测模型的全连接层进行局部调试，以对预训练web攻击检测模型的神经网络参数进行迭代更新的步骤还包括：
13、对预训练web攻击检测模型的初始层进行冻结，以在进行局部调试时，避免初始层发生更新。
14、在本申请一个可选的实施例中，使用调试数据集对预训练web攻击检测模型的全连接层进行局部调试，以对预训练web攻击检测模型的神经网络参数进行迭代更新的步骤还包括：
15、采用交叉熵作为损失函数。
16、在本申请一个可选的实施例中，使用调试数据集对预训练web攻击检测模型的全连接层进行局部调试，以对预训练web攻击检测模型的神经网络参数进行迭代更新的步骤还包括：
17、进行局部调试时，采用dropout层，以减少web攻击检测模型在调试数据集上发生过拟合。
18、根据本申请实施例的第二个方面，提供了一种web攻击检测模型调试系统，该系统包括日志筛选模块、数据集建立模块和模型调试模块；其中，
19、日志筛选模块，用于通过流量采集器采集http日志，在http日志中筛选得到非恶意日志，获取非恶意日志中业务行为在流量基线范围内的正常流量日志；
20、数据集建立模块，用于对正常流量日志抽取得到有效载荷，以有效载荷为白样本集，以历史web攻击数据为黑样本集，并将白样本集与黑样本集组合成为调试数据集；
21、模型调试模块，用于使用调试数据集对预训练web攻击检测模型的全连接层进行局部调试，以对预训练web攻击检测模型的神经网络参数进行迭代更新。
22、根据本申请实施例的第三个方面，提供了一种计算机设备，包括：存储器；
23、处理器；以及计算机程序；其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如本申请实施例的第一个方面中任一项的web攻击检测模型调试方法。
24、根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现如本申请实施例的第一个方面中任一项的web攻击检测模型调试方法。
25、采用本申请实施例中提供的一种web攻击检测模型调试方法，具有以下有益效果：
26、本申请基于统计基线过滤正常流量日志，避免耗费大量人工进行数据标记。本申请仅针对有效载荷信息进行检测，减少了不必要的输入，去除了错误或不相关的数据，减少对模型的干扰并降低模型的复杂度，使模型更专注于有用的信号。此外，本申请采用局部微调方法，通过仅更新选定部分的参数来减少计算需求，节省了从头开始训练模型所需的时间和资源。
本文档来自技高网...【技术保护点】
1.一种Web攻击检测模型调试方法，其特征在于，包括：
2.根据权利要求1所述的Web攻击检测模型调试方法，其特征在于，所述通过流量采集器采集HTTP日志，在所述HTTP日志中筛选得到非恶意日志，获取所述非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
3.根据权利要求2所述的Web攻击检测模型调试方法，其特征在于，所述通过流量采集器采集HTTP日志，在所述HTTP日志中筛选得到非恶意日志，获取所述非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
4.根据权利要求1-3任一项所述的Web攻击检测模型调试方法，其特征在于，所述通过流量采集器采集HTTP日志，在所述HTTP日志中筛选得到非恶意日志，获取所述非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
5.根据权利要求1所述的Web攻击检测模型调试方法，其特征在于，所述使用所述调试数据集对预训练Web攻击检测模型的全连接层进行局部调试，以对所述预训练Web攻击检测模型的神经网络参数进行迭代更新的步骤还包括：
6.根据权利要求
7.根据权利要求6所述的Web攻击检测模型调试方法，其特征在于，所述使用所述调试数据集对预训练Web攻击检测模型的全连接层进行局部调试，以对所述预训练Web攻击检测模型的神经网络参数进行迭代更新的步骤还包括：
8.一种Web攻击检测模型调试系统，其特征在于，包括：日志筛选模块、数据集建立模块和模型调试模块；其中，
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-7中任一项的Web攻击检测模型调试方法。
...【技术特征摘要】
1.一种web攻击检测模型调试方法，其特征在于，包括：
2.根据权利要求1所述的web攻击检测模型调试方法，其特征在于，所述通过流量采集器采集http日志，在所述http日志中筛选得到非恶意日志，获取所述非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
3.根据权利要求2所述的web攻击检测模型调试方法，其特征在于，所述通过流量采集器采集http日志，在所述http日志中筛选得到非恶意日志，获取所述非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
4.根据权利要求1-3任一项所述的web攻击检测模型调试方法，其特征在于，所述通过流量采集器采集http日志，在所述http日志中筛选得到非恶意日志，获取所述非恶意日志中业务行为在流量基线范围内的正常流量日志的步骤还包括：
5.根据权利要求1所述的web攻击检测模型调试方法，其特征在于，所述使用所述调试数据集对预训练web攻击检测模型的全...
【专利技术属性】
技术研发人员：琚宏伟，陈卫平，邯子皓，孙侃，刘秋尘，朱剑，崔巍，
申请(专利权)人：中央广播电视总台，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。