一种IDC机房流量采样监测分析的方法技术

本发明专利技术公开了一种对IDC机房流量最优的流量监测分析方法。本发明专利技术方法在某IDC机房出向流量中，对数据流进行周期性调整监控不同采样比的情况下，模拟并发固定次数的访问IDC机房内网站靶点关键字等内容，并记录下靶点内容在不同时间范围内被发现的概率值，从而分析推断出该机房环境下最佳的采样比和投入比，减少投入成本达到最佳的监控效果。本方法适用于所有IDC机房网站内容监控匹配的应用。

【技术实现步骤摘要】
一种IDC机房流量采样监测分析的方法
本专利技术公开了一种对IDC机房流量最优的流量监测分析方法，该方法实现的系统采用旁路的方式部署在IDC机房，对机房内的回向流量进行采样监测，通过加长采样时间达到非采样监控同等的效果。
技术介绍
随着信息技术的发展和互联网管理技术手段的进步，互联网综合管理平台采集、处理、积累的数据越来越多，数据量增速也越来越快。互联网数据中心(简称IDC)在信息安全监控方面有着重要的地位，加强对互联网站的监管力度，这是一个制高点，根据信息安全管理系统的要求，需要在监管机房部署探针设备实现对互联网流量数据的监测、管控、分析等信息。由于全国IDC机房的流量巨大，并且每年以指数级的速度进行带宽扩容，这样在实施和部署管控系统和技术方面要投入非常大的成本，并且要根据带宽的增长不断的投入新的设备进行全面监控，成本巨大。本专利技术的目的在于提供一种IDC机房出向流量中，对数据流进行周期性调整监控不同采样比的情况下，模拟并发固定次数的访问IDC机房内网站靶点关键字等内容，并记录下靶点内容在不同时间范围内被发现的概率值，从而分析推断出该机房环境下最佳的采样比和投入比，减少投入成本达到最佳的监控效果。
技术实现思路
本专利技术公开了一种对IDC机房流量最优的流量监测分析方法。本专利技术方法在某IDC机房出向流量中，对数据流进行周期性调整监控不同采样比的情况下，模拟并发固定次数的访问IDC机房内网站靶点关键字等内容，并记录下靶点内容在不同时间范围内被发现的概率值，从而分析推断出该机房环境下最佳的采样比和投入比，减少投入成本达到最佳的监控效果。本方法适用于所有IDC机房网站内容监控匹配的应用。本专利技术具有以下特征：1、通过降低覆盖机房链路的采样率，减少投入管控设备，达到降低成本的效果；2、在加长采样时间前提下，降低采样率，关键字内容的匹配和发现效果不受影响；3、在实际的网络背景环境，通过搭建的模拟测试环境，能够快速的确定不同数据、不同业务环境下的IDC机房的最佳采样比。附图说明图1一种IDC机房流量采样监测分析的机房测试拓扑示意图。图2域名、IP地址及对应访问量的上报和存储的示意图。图3IP规则下自动关联分类示意图。图4IDC机房网站分级管控示意图。图5、图6互联网用户访问控制流程图。具体实施方式现网数据测试是在IDC机房数据环境下，流控设备分别设置10％、15％、20％、30％的抽样率时，IDC系统的发现网站页面功能、关键字监测功能分别达到怎样的效果。将测试数据进行对比，得出不同时间段、不同背景流量、不同抽样率下系统性能指标的一组数据。计划测试周期为3天，将每天分为3个时间片段进行测试。分别为每天的10:00-13:00、15:00-18:00、19:00-22:00。每个时间片段内，再分出抽样比10％、15％、20％、30％这四种情况。通过模拟客户访问网站的方式，分别在不同的抽样比下，20个并发访问请求，测试所有靶点URL(1000个)，页面及关键字被系统发现的时间、针对靶点页面内容的关键字监测的准确率。按照测试流程可以划分为12个任务，分别是任务P-1-1、P-1-2、P-1-3、P-1-4，P-2-1、P-2-2、P-2-3、P-2-4，P-3-1、P-3-2、P-3-3、P-3-4。其中P代表本项测试计划，中间的数字代表一天中的第一个测试时间段，最后一位数字代表4个抽样率条件。这12个任务将按照时间顺序依次执行下面所有步骤。任务P-1-1开始测试之前依次执行以下步骤：1、首次测试本项时，将模拟终端访问的启动时间设置好；2、测试人员和技术支持人员确定测试环境已经被还原到初始状态，相关模块不存在上次测试产生的数据；3、登陆测试系统，下发监测指令；4、测试人员在表中记录启动时间；任务P-1-1测试期间依次执行以下步骤：1、测试人员确保模拟终端访问正常运行；任务P-1-1测试结束后依次执行以下步骤：1、本项测试结束之后，测试人员将本次测试结果转存到指定文件路径下；2、本项测试结束后立即通知技术支持人员，让他在现场执行脚本清除本项测试在EU端产生的数据；3、测试人员导出发现数据之后，执行脚本清除本项测试中产生的数据；4、循环顺序执行其他任务。本文档来自技高网...

【技术保护点】
本专利技术公开了一种对IDC机房流量最优的流量监测分析方法，该方法实现的系统采用旁路的方式部署在IDC机房，对机房内的回向流量进行采样监测，通过加长采样时间达到非采样监控同等的效果。

【技术特征摘要】
1.本发明公开了一种对IDC机房流量最优的流量监测分析方法，该方法实现的系统采用旁路的方式部署在IDC机房，对机房内的回向流量进行采样监测，通过加长采样时间达到非采样监控同等的效果。2.根据权利要求1中所述的一种基于回向流量计算最优采样比的方法，机房流量分为入向和出向流量，仅在出向流量中匹配和搜索符合条件的内容，并且目标内容有重复出现的特点，基于以上规律进行合理化的采样计算。3.根据权利要求1中所述的一种增加采样时间降低采样率的采样方法，在IDC机房超...

【专利技术属性】
技术研发人员：高勇，刘善武，孟繁瑞，孙涛，吴凤军，李新，王晓莹，
申请(专利权)人：山东省通信管理局，天津市国瑞数码安全系统股份有限公司，
类型：发明
国别省市：山东,37