一种基于网络行为分析的Hadoop恶意节点检测系统技术方案

本发明专利技术针对目前大部分恶意程序都具有一定的网络行为，甚至渗透至集群内部进行恶意行为的现状，为了保护集群内部的安全，提供一种基于网络行为分析的Hadoop恶意节点检测系统。该系统包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储。

【技术实现步骤摘要】

本专利技术涉及网络行为领域，具体涉及一种基于网络行为分析的Hadoop恶意节点检测系统。
技术介绍
基于网络行为的恶意分析，首先在集群中建立监控模块，对每个节点的行为进行监控，同时设定监控中心负责记录这些节点的关键行为，并且利用这些行为训练评估模型，通过不断迭代训练，保持一个良好的评估模型实时评估集群内节点的状态。在集群中，如若某个节点遭到了攻击，运行了恶意程序，那么就会产生大量与其他节点不同的行为，这是判定的核心条件。目前基于网络行为分析的恶意程序监测技术已经有不少阶段性成果，例如NICTER系统、TrumanBox系统、AMCAS系统等。这些系统主要思路几乎都是根据网络分析，构建虚拟网络来触发恶意程序，由此定位恶意程序，然而在针对hadoop内部恶意节点的检测研究比较少，当前服务较为完善的安全保证框架主要有SecureMR，VIFA等，但是都有一定局限性。I) SecureMR:Secure MapReduce，是针对MapReduce计算模型中映射、化简工作进行增强改进的框架，增加了 Secure Committer、Secure Verifier模块，并设计实现了这些模块的通信协议，能够保证非共谋的工作节点计算结果的正确性和映射、化简节点的安全性，但是对一组共谋恶意节点的恶意行为该框架无法有效地检测。2) VIFA:Verificat1n-based Integrity Assurance Framework.一种基于验证的服务完整性保证框架，在云计算中引入高安全级别、可信的验证工作节点，并假设化简工作节点是可信的，对映射工作节点的计算结果进行iH确性验证，而且对所有任务都进行复制执行，引入“信誉值”的计算模型，能够有效检测非共谋、共谋的恶意节点，但每一份映射任务都分配给两个工作节点进行重复计算，会严重影响云计算系统的任务处理性能；验证节点是成本很高的计算资源，应该更合理、高效地使用，VIAF中是根据概率统计结果对工作节点的计算结果进行验证，没有引入缓存机制对热门任务缓存，会造成验证节点的资源浪费。异常网络行为:计算机在不同网络层有不同的协议与行为，恶意程序常常大量产生或规律产生某种类型的网络行为，我们称这些网络行为为异常的网络行为。恶意节点:集群环境中，存在大量的工作节点，正常情况下工作节点只会响应控制中心的任务派遣，但是如果遭到恶意程序攻击，某些节点就会产生独立的恶意行为，我们称这些节点为恶意节点。监督学习:利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习，是一种利用已知的运行数据来进行训练的过程。异常评估:根据监督学习训练获取的模型，结合当前实时运行状态，对当前节点运行情况进行风险评估。目前该领域的技术缺少对集群内节点本身任务的综合考虑，对于一部分hadoop节点，如果执行共同的任务，那么行为会极其相似，但是如果执行的不是同类任务，那么出现较大差异也是可以接受的，因此在对节点进行恶意行为分析的时候必须考虑到该节点当前执行的任务，即可以从系统日志入手，结合网络行为共同分析。
技术实现思路
本专利技术针对目前大部分恶意程序都具有一定的网络行为，甚至渗透至集群内部进行恶意行为的现状，为了保护集群内部的安全，提供一种基于网络行为分析的Hadoop恶意节点检测系统，实现一种利用对网络行为的分析技术以及机器学习中的监督学习方法来对集群内部节点进行异常检测的系统。本专利技术通过以下技术方案进行实现:一种基于网络行为分析的Hadoop恶意节点检测系统，包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储；网络行为监控模块用于监控各个节点实时的网络通信行为，其中包含各类关键协议的数据包发送接收数量及其源目的IP地址的信息；节点日志分析模块用于分析各个Hadoop功能节点目前所处状态以及相应MapReduce任务信息分析；节点负载分析模块用于监控分析各个节点实时负载情况；恶意检测模块用于将节点上采集的信息进行统一分析，利用这些信息提取特征，再利用提取出的特征向量集训练恶意检测模型，最终利用该模型对各个节点的实时信息进行恶意检测。进一步地，所述的实时负载情况包括CPU、内存的信息。本专利技术的有益效果:本专利技术针对Hadoop节点中的恶意节点检测，整个系统利用到了常用的基于主机的监控检测技术来监控节点网络行为、负载状况判断可疑节点的单节点运行状态，同时利用机器学习的方法，训练模型来评估整个集群内部的网络交互行为，通过二者结合，综合判断集群内部节点运行状态。【附图说明】图1为【具体实施方式】中单棵决策树建树过程图；图2为【具体实施方式】中预测过程流程图。【具体实施方式】本专利技术的基于网络行为分析的Hadoop恶意节点检测系统具体如下实现:(I)网络行为监控模块网络行为在不同网络层有不同行为表示，恶意程序常常大量产生如下协议中的一种或多种网络请求，如:DNS、ICMP、HTTP、FTP、SMTP等。本专利技术同时监控如下几个关键协议的网络行为:ICMP是TCP/IP协议族的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这种类型的行为通常目的之一是大量请求数据包，耗尽服务器资源，目的之二是可能根据ICMP包的特殊性构建与远端恶意程序的通信，因为ICMP能够轻易穿透防火墙，因此很难发现。HTTP请求的恶意行为简单而直接，大都是通过http方式请求其他恶意程序或页面，达到一个跳板作用，而他本身并不直接具有攻击型，因此能够躲避大部分静态动态分析，但是基于网络行为的监控则可以轻易地判断出来此类攻击。FTP方式是另一种常用的下载、上传恶意程序和数据的方式，实现过程与http相仿，大都是通过下载的恶意程序或脚本来执行恶意代码，也可以将窃取的数据上传至指定服务器。SMTP协议是一种邮件协议，常被恶意程序利用来进行资料发送，由于它使用第三方服务方的服务，而且几乎都对数据进行加密，因此也是极难防范的。Telnet是一种远程控制命令，恶意程序可以通过该命令远程控制计算机，并且该协议是明文通信，如果被恶意使用将会造成严重后果。该模块为基础模块之一，检测到上述协议行为后统一发送至分析主机进行分析，包括训练与实时监测。(2)节点日志分析模块Hadoop的工作节点对于每一项服务都有独立的日志，比如MapReduce的日志其中有包括了 JobTracker日志与TaskTracker日志。在每个节点上的监控模块将会提取这些日志，根据日志中的记录来判断该节点正在执行的任务分类，然后根据不同任务分类将该节点的网络行为、负载等信息反馈至分析主机。对于节点日志的分析能够判断当前节点正在执行的任务，帮助我们将节点分类。(3)节点负载分析模块对于每个节点，我们监控cpu、内存占用率以及网络负载情况，对于hadoop的节点来说，不同的任务会有不同的负载情况，正常情况下，一个作业会基本平均的切分到本文档来自技高网...

【技术保护点】
一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储；其中：网络行为监控模块用于监控各个节点实时的网络通信行为，其中包含各类关键协议的数据包发送接收数量及其源目的IP地址的信息；节点日志分析模块用于分析各个Hadoop功能节点目前所处状态以及相应MapReduce任务信息分析；节点负载分析模块用于监控分析各个节点实时负载情况；恶意检测模块用于将节点上采集的信息进行统一分析，利用这些信息提取特征，再利用提取出的特征向量集训练恶意检测模型，最终利用该模型对各个节点的实时信息进行恶意检测。

【技术特征摘要】

【专利技术属性】
技术研发人员：胡昌振，薛静锋，董骁，赵小林，余博，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11