大数据环境下WEB异常检测方法、系统及服务器技术方案

本发明专利技术公开了一种大数据环境下WEB异常检测方法，包括正常URL逻辑回归模型构建，具体过程为：采用N‑Gram模型，获取正常URL里的关键词列表；采用TfidfVectorizer函数把每个正常URL里的关键词做TF‑IDF，得到向量化的特征；训练正常URL逻辑回归模型；异常检测，具体过程为：通过训练好的正常URL逻辑回归模型，过滤HTTP请求，若HTTP请求中的URL为正常URL，则响应HTTP请求。同时也公开了相应的系统和服务器。本发明专利技术的方法通过正常URL逻辑回归模型过滤HTTP请求，解决了传统基于规则匹配的web入侵检测，误报和漏报率高的问题。

【技术实现步骤摘要】
大数据环境下WEB异常检测方法、系统及服务器
本专利技术涉及一种大数据环境下WEB异常检测方法、系统及服务器，属于WEB异常检测领域。
技术介绍
检测SQL注入，往小方面说是能够识别出SQL注入流量，往大方面说是检测WEB异常流量，能够检测SQL注入、XSS、恶意POC等异常流量，完成WAF的功能。传统web入侵检测技术通过维护规则集对入侵访问进行拦截。一方面，硬规则在灵活的黑客面前，很容易被绕过，且基于以往知识的规则集难以应对0day攻击，规则写的太宽泛易误杀，写的太细易绕过。另一方面，攻防对抗水涨船高，防守方规则的构造和维护门槛高、成本大，规则库维护困难，人员交接工作，甚至时间一长，原作者都很难理解当初写的规则，一旦有误报发生，上线修改都很困难。因此现有基于规则匹配的web入侵检测，误报和漏报率高。
技术实现思路
本专利技术提供了一种大数据环境下WEB异常检测方法、系统及服务器，解决了传统方式误报和漏报率高的问题。为了解决上述技术问题，本专利技术所采用的技术方案是：大数据环境下WEB异常检测方法，包括以下步骤，正常URL逻辑回归模型构建，具体过程为：101）采用N-Gram模型，获取正常URL里的关键词列表；102）采用TfidfVectorizer函数把每个正常URL里的关键词做TF-IDF，得到向量化的特征；103）训练正常URL逻辑回归模型；异常检测，具体过程为：通过训练好的正常URL逻辑回归模型，过滤HTTP请求，若HTTP请求中的URL为正常URL，则响应HTTP请求。还包括异常URL逻辑回归模型构建，具体过程为：201）采用N-Gram模型，获取异常URL里的关键词列表；202）采用TfidfVectorizer函数把每个异常URL里的关键词做TF-IDF，得到向量化的特征；203）训练异常URL逻辑回归模型。异常检测的具体过程为，301）通过正常URL逻辑回归模型判断HTTP请求中的URL，若为正常URL，则响应HTTP请求；若无法判定为正常URL，则转至302；302）通过异常URL逻辑回归模型判断HTTP请求中的URL，若判定为异常URL，则阻断该请求；若无法判定为异常URL，则转至303；303）对HTTP请求中的URL进行人工判断；若为正常URL，则响应HTTP请求，并将其放入正常URL逻辑回归模型训练集合，并对正常URL逻辑回归模型重新训练；若为异常URL，则阻断该请求，并将其放入异常URL逻辑回归模型训练集合，并对异常URL逻辑回归模型重新训练。N-Gram模型分割URL得到一系列字符串，对字符串进行Gram切分，得到关键词列表。大数据环境下WEB异常检测系统，包括正常URL逻辑回归模型构建模块和过滤模块；正常URL逻辑回归模型构建模块包括，正常URL关键词列表获取模块：采用N-Gram模型，获取正常URL里的关键词列表；正常URL特征模块：采用TfidfVectorizer函数把每个正常URL里的关键词做TF-IDF，得到向量化的特征；正常URL逻辑回归模型训练模块：训练正常URL逻辑回归模型；异常检测模块：通过训练好的正常URL逻辑回归模型，过滤HTTP请求，若HTTP请求中的URL为正常URL，则响应HTTP请求。还包括异常URL逻辑回归模型构建模块包括，异常URL关键词列表获取模块：采用N-Gram模型，获取异常URL里的关键词列表；异常URL特征模块：采用TfidfVectorizer函数把每个异常URL里的关键词做TF-IDF，得到向量化的特征；异常URL逻辑回归模型训练模块：训练异常URL逻辑回归模型。异常检测模块包括正常过程模块、异常过滤模块和人工判断模块；正常过程模块：通过正常URL逻辑回归模型判断HTTP请求中的URL，若为正常URL，则响应HTTP请求；若无法判定为正常URL，则将HTTP请求发送给异常过滤模块；异常过滤模块：通过异常URL逻辑回归模型判断HTTP请求中的URL，若判定为异常URL，则阻断该请求；若无法判定为异常URL，则将HTTP请求发送给人工判断模块；人工判断模块：对HTTP请求中的URL进行人工判断；若为正常URL，则响应HTTP请求，并将其放入正常URL逻辑回归模型训练集合，正常URL逻辑回归模型构建模块对正常URL逻辑回归模型重新训练；若为异常URL，则阻断该请求，并将其放入异常URL逻辑回归模型训练集合，异常URL逻辑回归模型构建模块对异常URL逻辑回归模型重新训练。一种服务器，包括壳体，壳体内设置有处理器、存储器以及程序，其中程序存储在所述存储器中并被配置为由所述处理器执行，所述程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。壳体内还设置有散热系统，散热系统包括若干散热器和若干温度传感器；温度传感器分布在壳体内壁上，所有温度传感器连接处理器；壳体顶面上开有若干通孔，每个通孔内嵌一个散热器，通孔内设置有带动散热器升降的升降结构；散热器包括管状结构的本体，本体的外壁上设置有轴向的外散热片，外散热片根据厚度分为厚散热片和薄散热片，厚散热片均匀分布在圆周上，厚散热片朝外的端部设置有一列齿，厚散热片上开有沿长度方向的散热孔，本体的内壁上设置有轴向的内散热片，位于壳体内的本体中心孔端部设置有内散热风扇，内散热风扇连接处理器；升降结构包括电机和齿轮，通孔内壁设置有凹口，电机固定在凹口内，齿轮固定在电机转轴端，齿轮的齿与厚散热片上的齿啮合，电机连接处理器。壳体顶面上还设置有若干镂空的罩体，罩体罩住通孔和通孔内的散热器，罩体顶部设置有外散热风扇，外散热风扇连接处理器。本专利技术所达到的有益效果：1、本专利技术的方法通过正常URL逻辑回归模型过滤HTTP请求，解决了传统基于规则匹配的web入侵检测，误报和漏报率高的问题；2、本专利技术的方法将模型无法判断的URL，进行人工判断，同时根据判断结果将其放入相应的训练集，根据新的训练集重新训练模块，进一步降低后续的误报和漏报率；3、本专利技术的服务器，可根据内部温度，自动的调整散热片位于壳体内的接触面积，散热更加灵活。附图说明图1为本专利技术的流程图；图2为壳体顶部的结构示意图；图3为散热器的结构示意图；图4为升降结构示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1所示，大数据环境下WEB异常检测方法，包括以下步骤：步骤1，正常URL逻辑回归模型构建，具体过程为：101）构建正常URL训练集，采用N-Gram模型，获取训练集中正常URL里的关键词列表；N-Gram模型分割URL得到一系列字符串，对字符串进行Gram切分，得到关键词列表，这里采用3-Gram模型；102）采用TfidfVectorizer函数把每个正常URL里的关键词做TF-IDF，得到向量化的特征；103）训练正常URL逻辑回归模型。步骤2，异常URL逻辑回归模型构建，具体过程为：201）构建异常URL训练集，采用N-Gram模型，获取训练集中异常URL里的关键词列表；202）采用TfidfVectorizer函数把每个异常URL里的关键词做TF-IDF，得到向量化的特征；203）训练异常URL逻辑回归模型。步骤3，异常检测，具体过程为：301本文档来自技高网...

【技术保护点】
1.大数据环境下WEB异常检测方法，其特征在于：包括以下步骤，正常URL逻辑回归模型构建，具体过程为：101）采用N‑Gram模型，获取正常URL里的关键词列表；102）采用TfidfVectorizer函数把每个正常URL里的关键词做TF‑IDF，得到向量化的特征；103）训练正常URL逻辑回归模型；异常检测，具体过程为：通过训练好的正常URL逻辑回归模型，过滤HTTP请求，若HTTP请求中的URL为正常URL，则响应HTTP请求。

【技术特征摘要】
1.大数据环境下WEB异常检测方法，其特征在于：包括以下步骤，正常URL逻辑回归模型构建，具体过程为：101）采用N-Gram模型，获取正常URL里的关键词列表；102）采用TfidfVectorizer函数把每个正常URL里的关键词做TF-IDF，得到向量化的特征；103）训练正常URL逻辑回归模型；异常检测，具体过程为：通过训练好的正常URL逻辑回归模型，过滤HTTP请求，若HTTP请求中的URL为正常URL，则响应HTTP请求。2.根据权利要求1所述的大数据环境下WEB异常检测方法，其特征在于：还包括异常URL逻辑回归模型构建，具体过程为：201）采用N-Gram模型，获取异常URL里的关键词列表；202）采用TfidfVectorizer函数把每个异常URL里的关键词做TF-IDF，得到向量化的特征；203）训练异常URL逻辑回归模型。3.根据权利要求2所述的大数据环境下WEB异常检测方法，其特征在于：异常检测的具体过程为，301）通过正常URL逻辑回归模型判断HTTP请求中的URL，若为正常URL，则响应HTTP请求；若无法判定为正常URL，则转至302；302）通过异常URL逻辑回归模型判断HTTP请求中的URL，若判定为异常URL，则阻断该请求；若无法判定为异常URL，则转至303；303）对HTTP请求中的URL进行人工判断；若为正常URL，则响应HTTP请求，并将其放入正常URL逻辑回归模型训练集合，并对正常URL逻辑回归模型重新训练；若为异常URL，则阻断该请求，并将其放入异常URL逻辑回归模型训练集合，并对异常URL逻辑回归模型重新训练。4.根据权利要求1或2所述的大数据环境下WEB异常检测方法，其特征在于：N-Gram模型分割URL得到一系列字符串，对字符串进行Gram切分，得到关键词列表。5.大数据环境下WEB异常检测系统，其特征在于：包括正常URL逻辑回归模型构建模块和过滤模块；正常URL逻辑回归模型构建模块包括，正常URL关键词列表获取模块：采用N-Gram模型，获取正常URL里的关键词列表；正常URL特征模块：采用TfidfVectorizer函数把每个正常URL里的关键词做TF-IDF，得到向量化的特征；正常URL逻辑回归模型训练模块：训练正常URL逻辑回归模型；异常检测模块：通过训练好的正常URL逻辑回归模型，过滤HTTP请求，若HTTP请求中的URL为正常URL，则响应HTTP请求。6.根据权利要求5所述的大数据环境下WEB异常检测系统，其特征在...

【专利技术属性】
技术研发人员：马旸，蔡冰，罗雅琼，姚力，
申请(专利权)人：国家计算机网络与信息安全管理中心江苏分中心，
类型：发明
国别省市：江苏,32