一种基于流Flow分析的业务合规检测方法和系统技术方案

本发明专利技术公开了一种基于流Flow分析的业务合规审计方法和系统，包括：通过镜像抓包获取Flow或接收其他系统发出的Flow。通过标准化将各种Flow转化成同一种格式的标准流VFlow，记录VFlow的流属性信息。通过流重组将VFlow聚合成会话，记录会话的会话对象属性信息，会话对象属性信息基于VFlow的流属性信息得到。基于设定的流合规检测策略对该会话进行业务合规检测。通过本发明专利技术的方案，能够面对大数据，从宏观层面检测多种违规行为。

【技术实现步骤摘要】

本专利技术涉及计算机网络应用领域，尤其涉及一种基于流Flow分析的业务合规监测方法和系统。
技术介绍
传统的基于包处理的安全分析和检测技术面对大数据时代，仅仅靠提高性能进行详尽的检测，已经无法达到很好的效果，因此微观的分析和检测遇到了瓶颈，那么宏观层面的行为模式分析和检测则更为重要。经对现有技术的文献检索发现，专利号2013104616910，专利名“网络安全检测方法及装置”，提出了一种利用设备的流量数据发现网络异常的方法，该方法通过采集各设备的流量数据，将各流量数据进行归一化处理，获得具有空间信息、时间信息和技术指标信息的设备数据流；存储设备数据流；将设备数据流的空间信息与预设的正常数据流集合进行匹配，若不匹配，则网络异常，若匹配，则将设备数据流与指标数据进行比较；若属于第一指标数据，则将设备数据流与预设特征基线进行比较；若属于第二指标数据，则查询该设备数据流对应的历史设备数据流，确定设备数据流的周期性基线，并进行比较；若属于第三指标数据，则查询该设备数据流对应的正常历史设备数据流，确定预设时间内设备数据流的平均值，并进行比较，从而判断出网络异常状态。这种方法缺少方向，无法检测出例如违规外联、输入输出流量比例异常等违规行为。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于流Flow分析的业务合规审计方法和系统，能够面对大数据，从宏观层面检测多种违规行为。为了达到上述目的，本专利技术提出了一种基于流Flow分析的业务合规检
测方法，该方法包括：通过镜像抓包获取Flow或接收其他系统发出的Flow。通过标准化将各种Flow转化成同一种格式的标准流VFlow，记录VFlow的流属性信息。通过流重组将VFlow聚合成会话，记录会话的会话对象属性信息，会话对象属性信息基于VFlow的流属性信息得到。基于设定的流合规检测策略对该会话进行业务合规检测。优选地，该方法还包括：标准化基于各种Flow的数据格式，数据格式采用配置文件的方式表示，配置文件包括以下信息中的一种或多种：类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。优选地，VFlow的属性包括：源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议。会话的会话对象属性信息包括会话key以及以下信息中的一种或多种：源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。优选地，会话key采用“源IP:源端口-目的IP:目的端口@协议”表示。会话流量信息的属性包括：client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数。会话业务信息的属性包括：请求IP对应的集合、目的IP对应的业务集合。会话合规检测信息的属性包括：告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。优选地，通过流重组将所述VFlow聚合成会话包括：从VFlow缓存中获取当前需要处理的VFlow集合。对VFlow集合中的每一个VFlow，根据其流属性信息确定其对应会话的会话key，判断第一会话缓存中是否存在具有该会话key的会话：如果是，根据当前VFlow更新第一会话缓存中具有该会话key的会话。如果否，根据当前VFlow创建一个新的会话并保存在第一会话缓存中。优选地，第一会话缓存为临时会话缓存，该方法还分配有全局会话缓存。通过流重组将VFlow聚合成会话，还包括：对临时会话缓存中的每一个会话，根据其会话key到全局会话缓存中查找是否存在具有相同会话key的会话：如果是，基于临时会话缓存中的该会话更新全局会话缓存中的相应会话。如果否，将临时会话缓存中的该会话复制到全局会话缓存中。对临时会话缓存中的每一个会话处理完成以后，清空临时会话缓存。优选地，基于设定的流合规检测策略对会话进行业务合规检测，包括：根据待检测会话的会话对象属性信息，判断会话是否满足流合规检测策略中设定的合规条件，如果满足，则检测结果为合规；如果不满足，则检测结果为不合规；和/或，判断会话是否满足流合规检测策略中设定的不合规条件，如果满足，则检测结果为不合规；如果不满足，则检测结果为合规。其中，合规条件和不合规条件包括一个条件，或包括按照设定逻辑进行组合的多个条件；条件定义了会话对象属性信息与预定属性之间满足的关系。优选地，预定属性包括以下一种或多种：源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作、状态。会话对象属性信息与预定属性之间满足的关系包括以下一种或多种：等于、不等于、大于、小于、大于等于、小于等于、包含和不包含。设定逻辑包括以下一种或多种：与、或、非及其排列组合。优选地，该方法还包括：基于设定的流合规检测策略对会话进行业务合规检测时，将使用率最高的前N条流合规检测策略加载到内存中，在内存中以源IP集合及目的IP集合建立索引；根据该索引查找与当前被检测的会话相关联的流合规检测策略，依据查到的流合规检测策略，对会话进行合规检测。本专利技术还提出一种基于流Flow分析的业务合规检测系统，该系统包括：采集模块、标准化模块、聚合模块、检测模块。采集模块，用于通过镜像抓包获取Flow或接收其他系统发出的Flow。标准化模块，用于通过标准化将各种Flow转化成同一种格式的标准流VFlow，记录VFlow的流属性信息。聚合模块，用于通过流重组将VFlow聚合成会话，记录该会话的会话对象属性信息，该会话对象属性信息基于VFlow的流属性信息得到。检测模块，用于基于设定的流合规检测策略对会话进行业务合规检测。优选地，标准化基于各种Flow的数据格式，标准化模块还用于对数据格式采用配置文件的方式表示，该配置文件包括以下信息中的一种或多种：类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。优选地，VFlow的属性包括：源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议。会话的会话对象属性信息包括会话key以及以下信息中的一种或多种：源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。优选地，会话key采用“源IP:源端口-目的IP:目的端口@协议”表示。会话流量信息的属性包括：client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数。会话业务信息的属性包括：请求IP对应的集合、目的IP对应的业务集合。会话合规检测信息的属性包括：告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。优选地，聚合模块通过流重组将所述VFlow聚合成会话包括：从Flow缓存中本文档来自技高网...

【技术保护点】
一种基于流Flow分析的业务合规检测方法，其特征在于，所述方法包括：通过镜像抓包获取Flow或接收其他系统发出的Flow；通过标准化将各种所述Flow转化成同一种格式的标准流VFlow，记录所述VFlow的流属性信息；通过流重组将所述VFlow聚合成会话，记录所述会话的会话对象属性信息，所述会话对象属性信息基于所述VFlow的流属性信息得到；基于设定的流合规检测策略对所述会话进行业务合规检测。

【技术特征摘要】
1.一种基于流Flow分析的业务合规检测方法，其特征在于，所述方法包括：通过镜像抓包获取Flow或接收其他系统发出的Flow；通过标准化将各种所述Flow转化成同一种格式的标准流VFlow，记录所述VFlow的流属性信息；通过流重组将所述VFlow聚合成会话，记录所述会话的会话对象属性信息，所述会话对象属性信息基于所述VFlow的流属性信息得到；基于设定的流合规检测策略对所述会话进行业务合规检测。2.如权利要求1所述的方法，其特征在于，所述方法还包括：所述标准化基于各种所述Flow的数据格式，所述数据格式采用配置文件的方式表示，所述配置文件包括以下信息中的一种或多种：类型标示、数据头及各偏移量对应的流属性、数据体及各偏移量对应的流属性。3.如权利要求1所述的方法，其特征在于，所述VFlow的属性包括：源名称、源IP、源IP所属地区、源IP所属业务系统、源地址掩码、源端口、目的名称、目的IP、目的IP所属业务系统、目的IP所属地区、目的地址掩码、目的端口、网络协议、应用层协议；所述会话的会话对象属性信息包括会话key以及以下信息中的一种或多种：源IP、源端口、目的IP、目的端口、网络协议、应用层协议、首次出现时间、最近出现时间、会话持续时间、会话流量信息、会话业务信息、会话合规检测信息。4.如权利要求3所述的方法，其特征在于，所述会话key采用“源IP:源端口-目的IP:目的端口@协议”表示；所述会话流量信息的属性包括：client发送sever总包数、client发送sever字总节数、sever发送client总包数、sever发送client总字节数、全部字总节数、全部包数；所述会话业务信息的属性包括：请求IP对应的集合、目的IP对应的业务集合；所述会话合规检测信息的属性包括：告警集合、检测结果、合规策略标识、源IP归属地址池、目的IP归属地址池。5.如权利要求3所述的方法，其特征在于，所述通过流重组将所述VFlow聚合成会话包括：从VFlow缓存中获取当前需要处理的VFlow集合；对所述VFlow集合中的每一个VFlow，根据其流属性信息确定其对应会话的会话key，判断第一会话缓存中是否存在具有该会话key的会话：如果是，根据当前VFlow更新第一会话缓存中具有该会话key的会话；如果否，根据当前VFlow创建一个新的会话并保存在第一会话缓存中。6.如权利要求5所述的方法，其特征在于：所述第一会话缓存为临时会话缓存，所述方法还分配有全局会话缓存；所述通过流重组将所述VFlow聚合成会话，还包括：对所述临时会话缓存中的每一个会话，根据其会话key到所述全局会话缓存中查找是否存在具有相同会话key的会话：如果是，基于所述临时会话缓存中的该会话更新所述全局会话缓存中的相应会话；如果否，将所述临时会话缓存中的该会话复制到所述全局会话缓存中；对所述临时会话缓存中的每一个会话处理完成以后，清空所述临时会话缓存。7.如权利要求1所述的方法，其特征在于，所述基于设定的流合规检测策略对所述会话进行业务合规检测，包括：根据待检测会话的会话对象属性信息，判断所述会话是否满足所述流合规检测策略中设定的合规条件，如果满足，则检测结果为合规；如果不满足，则
\t检测结果为不合规；和/或，判断所述会话是否满足所述流合规检测策略中设定的不合规条件，如果满足，则检测结果为不合规；如果不满足，则检测结果为合规；其中，所述合规条件和不合规条件包括一个条件，或包括按照设定逻辑进行组合的多个条件；所述条件定义了所述会话对象属性信息与预定属性之间满足的关系。8.如权利要求7所述的方法，其特征在于，所述预定属性包括以下一种或多种：源IP集合、目的IP集合、源端口集合、目的端口集合、时间范围、bps、pps、网络协议集合、应用层协议集合动作、状态；所述会话对象属性信息与预定属性之间满足的关系包括以下一种或多种：等于、不等于、大于、小于、大于等于、小于等于、包含和不包含；所述设定逻辑包括以下一种或多种：与、或、非及其排列组合。9.如权利要求1所述的方法，其特征在于，所述方法还包括：基于设定的流合规检测策略对所述会话进行业务合规检测时，将使用率最高的前N条所述流合规检测策略加载到内存中，在内存中以所述源IP集合及所述目的IP集合建立索引；根据所述索引查找与当前被检测的所述会话相关联的所述流合规检测策略，依据查到的所述流合规检测策略，对所述会话进行合规检测。10.一种基于流Flow分析的业务合规检测系统，其特征在于，所述系统包括：采集模块、标...

【专利技术属性】
技术研发人员：申永彬，
申请(专利权)人：北京启明星辰信息安全技术有限公司，北京启明星辰信息技术股份有限公司，
类型：发明
国别省市：北京;11