一种基于人工免疫的存储异常检测方法技术

本发明专利技术公开了基于人工免疫的存储异常检测方法，该方法采用自然免疫系统中的“异己”检测机制，对读／写数据请求的合法性判别。通过对读／写数据请求所形成的存储元数据进行监控，实现了针对存储元数据的免疫异常检测。该方法引入了自然免疫系统中自学习和遗忘等工作机制，每次对用户的读／写请求进行检测后，都更新检测器权值，并根据该权值，周期性地淘汰或重建检测器，以应对存储系统中不断出现的新型“异己”。由于检测器更新机制，使得该方法区别于现有存储异常检测技术，实现了真正意义上的智能异常检测，并具备了自学习和自适应等人工智能特点，有效地识别新出现的“异常”。

【技术实现步骤摘要】

本专利技术属于计算机存储安全领域，具体涉及一种基于人工免疫的存储异常检测方法。该方法通过分析存储元数据实现对存储系统的异常检测目的，它不仅具有自学习、自适应、计算并行等人工智能特点，而且能达到高检测率和低误警率的检测效果。
技术介绍
异常检测通常是指将用户正常的行为特征存储在特征数据库中，然后将用户当前行为特征与特征数据库中的特征进行比较，如果二者的偏差超过了一定的范围，就认为发生了异常。这里将存储系统中出现的违背访问规则、破坏完整性等相关行为或现象称为‘存储异常’。传统的存储异常检测技术体现在文件加密、访问控制、文件权限等技术中，这些技术的主要优点是它们比较成熟，应用范围广泛，能在一定程度上防御用户的违规操作。但它们都无法对用户的存取行为进行诊断。例如，如果入侵者使用一个盗窃帐号，存储系统中的认证子系统就会将该使用者视为合法用户，入侵者将对该存储系统造成威胁，甚至破坏现有存储数据，即传统的认证系统无法对合法用户的越权行为形成有效检测。近年来有研究者提出了基于规则的过滤、统计分析、模式匹配、隐性马尔可夫模型、数据挖掘等新技术，在一定程度上改善了传统的存储异常检测技术无法检测用户行为、检测率低下等缺陷，但它们在技术上都具有先天性不足。例如，基于规则的过滤是通过事先定义好一组规则，然后用这组规则与用户的存取行为进行匹配，即它采用一种预设置式、特征分析式工作原理，由于检测规则的更新总是落后于攻击手段的更新，这样就无-->法做到对存储异常的主动防御能力，不具有实时性和自适应的功能。对于使用较多的统计分析方法，如贝叶斯统计方法，也存在阈值难以有效确定的问题，这里阈值是指判断行为是否异常的临界值，阈值太小会产生大量的误报，阈值太大又将产生大量的漏报，它们都是一种被动的安全防护措施，只能检测预定义规则下的异常特征，对新型的存储异常无能为力，因此检测率无法保证，达不到真正意义上的存储安全系统的要求。
技术实现思路
为了弥补现有的存储异常检测技术无法针对用户的存取行为进行诊断以及在新型异常检测上的缺陷，本专利技术提供了一种基于人工免疫的存储异常检测方法，该方法具有自适应性、动态防御性的特点，不仅能够有效地从用户访问行为级对非法的、越权的读/写请求进行检测，而且因为它的自学习和遗忘等人工智能特点，能够对新型存储异常进行有效的检测，同时保证较高的检测率和较低虚警率。本专利技术提供的基于人工免疫的存储异常检测方法，首先按照(1)～(3)建立有效特征库，再在每次检测时，按照步骤(4)～(6)进行处理；(1)定义用户读/写请求的元数据数据结构，并转换为特征序列，应用统计学方法获得一组基本特征构成基本特征库；(2)对基本特征库里的基本特征进行组合，生成检测器，构成待训练特征库；(3)收集一批事先判别好是合法或非法的读/写请求，利用这些请求对应的特征序列与待训练特征库中的检测器进行逐个匹配，检测器每匹配到一个特征序列，就根据该特征序列的合法性更新检测器对应的权值，所有检测器与这些特征序列匹配结束后，对检测器进行筛选，得到有效特征库；-->(4)截获读/写请求，按照元数据数据结构得到所需的元数据，将其转换成对应的特征序列，并为该待检测的特征序列设置两个权值；(5)将有效特征库中的每一个检测器与待检测的特征序列进行匹配，当匹配成功时，同时更新该待检测的特征序列和检测器的权值；全部匹配结束后，如果该待检测的特征序列所对应的两个权值之比大于给定的阈值，则视为‘异己’，据此给特征库一个反馈，为成功匹配该特征序列的所有检测器增加一个分值，如果特征库更新时间到，转到步骤(6)，否则转到步骤(4)，等待新的读/写请求到来；(6)对特征库进行更新，然后转到步骤(4)。本专利技术受自然免疫系统二维检测思想启发，类似于自然免疫系统对‘自己(Self)’和‘异己(Non-self)’的检测机制，我们把它应用到存储系统中对读/写数据请求的合法性判别上来，这里把用户合法的读/写请求定义为‘自己’，非法的、越权的读/写请求定义为‘异己’。通过对读/写请求所形成的存储元数据进行监控，从而实现了针对存储元数据的免疫异常检测，这里我们把针对用户的读/写请求所截取的元数据进行转换，形成二维数字串，并称之为特征序列。把特征库中用来匹配该特征序列的检测规则称为检测器，特征库中包含有多条检测规则，所以特征库中包含多个检测器。为了降低检测过程的计算和设计复杂度，我们的检测只关注存储系统的元数据的读/写访问请求，这样在保证检测率的前提下提高了检测性能。为实现对新型存储异常同样具备较好的检测能力，该方法引入了自然免疫系统中自学习和遗忘等工作机制，每次对用户的读/写访问请求进行检测后，都会更新检测器相应的权值，这里权值是指检测器的重要性，同时根据检测器的权值，周期性地对检测器进行淘汰和重建，淘汰那些权值较低的无效的检测器，重建新的有效的检测器，以应对存储系统中不断出现的新型‘异己’。正因为这种检测器更新机制，使得该方法与通常的存储异常检测技术最大不同之处在于它实现了真正意义上的智能异常检测，使其具备-->自然免疫系统中自学习、自适应等人工智能特点，能够有效地对新型‘异己’进行检测。附图说明图1为存储元数据的数据结构示意图；图2为存储元数据转换成特征序列的过程示意图；图3为本专利技术方法的总体流程示意图；图4为特征库生成过程的示意图。具体实施方式在大规模存储系统中，很难检测所有数据的异常，因为数据量通常是巨大的。元数据是描述其他数据的信息，即数据的数据，我们将通过监控用户访问时的相关元数据来识别出异常的读/写访问请求，这种方法能降低检测系统的计算量和设计复杂度。对生物免疫系统的免疫原理进行隐喻，借鉴生物体内生成抗体和匹配抗原，最终识别‘自己’和‘异己’的免疫机制。下面结合附图和实例对本专利技术作进一步详细的说明。怎样获取存储元数据呢？首先是截获访问请求的系统调用，然后结合请求文件的访问控制模式和MD5值，形成如图1所示的存储元数据数据结构，包括文件名、用户ID、组ID、文件的MD5值、文件的访问控制模式(包括读、写、修改、删除)，并设置有保留字段。它主要针对存储安全中的访问控制和存储完整性。其中MD5是为了保证文件的完整性，防止一些人对文件进行非法操作，如加入恶意代码(如木马)，或篡改版权，而设计的一套验证技术，每个文件都可以用MD5验证程序算出一个特定的MD5数值。为了将来扩展的需要，专门预留了‘保留字段(Rev Item)’。网络存储系统通常采用Linux操作系统将物理存储设备挂载到网络上(如SAN等)，从而给客户端提供存储服务。来自客户端的访问请求将发-->起一个或多个进程，这些进程将进一步调用底层的系统调用。在网络存储系统中存在几百个系统调用，但与文件访问相关的系统调用的数量是相当小的，因此本专利技术方法只对一些系统调用感兴趣，比如‘open’、‘fstat’、‘mmap’、‘read’、‘uname’、‘write’、‘munmap’、‘create’、‘delete’、‘close’等等。通过监控这些系统调用，截获相关的访问信息，包括用户标识符、文件标识符、组标识符、用户访问权限等，这些信息将按照存储元数据的数据结构进行组织(包括图1所示的用户访问控制模式和保留字本文档来自技高网...

【技术保护点】
一种基于人工免疫的存储异常检测方法，首先按照（１）～（３）建立有效特征库，再在每次检测时，按照步骤（４）～（６）进行处理；　（１）定义用户读／写请求的元数据数据结构，并转换为特征序列，应用统计学方法获得一组基本特征构成基本特征库；（２）对基本特征库里的基本特征进行组合，生成检测器，构成待训练特征库；　（３）收集一批事先好判别是合法或非法的读／写请求，利用这些请求对应的特征序列与待训练特征库中的检测器进行逐个匹配，检测器每匹配到一个特征序列，就根据该特征序列的合法性更新检测器对应的权值，所有检测器与这些特征序列匹配结束后，对检测器进行筛选，得到有效特征库；　（４）截获读／写请求，按照元数据数据结构得到所需的元数据，并将其转换成对应的特征序列，并为该待检测的特征序列设置两个权值；　（５）将有效特征库中的每一个检测器与待检测的特征序列进行匹配，当匹配成功时，同时更新该待检测的特征序列和检测器的权值；全部匹配结束后，如果该待检测的特征序列所对应的两个权值之比大于给定的阈值，则视为‘异已’，据此给特征库一个反馈，为成功匹配该特征序列的所有检测器增加一个分值，如果特征库更新时间到，转到步骤（６），否则转到步骤（４），等待新的读／写请求到来；　（６）对特征库进行更新，然后转到步骤（４）。...

【技术特征摘要】
1、一种基于人工免疫的存储异常检测方法，首先按照(1)～(3)建立有效特征库，再在每次检测时，按照步骤(4)～(6)进行处理；(1)定义用户读/写请求的元数据数据结构，并转换为特征序列，应用统计学方法获得一组基本特征构成基本特征库；(2)对基本特征库里的基本特征进行组合，生成检测器，构成待训练特征库；(3)收集一批事先好判别是合法或非法的读/写请求，利用这些请求对应的特征序列与待训练特征库中的检测器进行逐个匹配，检测器每匹配到一个特征序列，就根据该特征序列的合法性更新检测器对应的权值，所有检测器与这些特征序列匹配结束后，对检测器进行筛选，得到有效特征库；(4)截获读/写请求，按照元数据数据结构得到所需的元数据，并将其转换成对应的特征序列，并为该待检测的特征序列设置两个权值；(5)将有效特征库中的每一个检测器与待检测的特征序列进行匹配，当匹配成功时，同时更新该待检测的特征序列和检测器的权值；全部匹配结束后，如果该待检测的特征序列所对应的两个权值之比大于给定的阈值，则视为‘异已’，据此给特征库一个反馈，为成功匹配该特征序列的所有检测器增加一个分值，如果特征库更新时间到，转到步骤(6)，否则转到步骤(4)，等待新的读/写请求到来；(6)对特征库进行更新，然后转到步骤(4)。2、根据权利要求1所述的基于人工免疫的存储异常检测方法，其特征在于：步骤(2)中，为每个检测器设置两个权值times和illegals，times描述检测器匹配抗原序列的活跃程度，illegals描述检测器判别非法序列的有效程度，并设置其初始值为0。3、根据权利要求1所述的基于人工免疫的存储异常检测方法，其特征在于：步骤(5)具体包括下述过程：(5.1)从有效特征库中抽取一个检测器对待检测的特征序...

【专利技术属性】
技术研发人员：谢长生，黄建忠，陈云亮，方允福，李欣，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83[中国|武汉]