一种路由器NetFlow数据采集判断及纠错的方法技术

技术编号:37182956 阅读:14 留言:0更新日期:2023-04-20 22:48
本发明专利技术公开了一种路由器NetFlow数据采集判断及纠错的方法,包括:步骤1)NetFlow及SNMP接口数据采集步骤:使用NetFlow协议采集路由器的流量统计日志,并使用SNMP协议采集路由器的接口描述信息及流量信息,作为后续步骤的基准数据;步骤2)路由器NetFlow采集接口及方向判定步骤;步骤3)数据统计结果准确性判断及纠错步骤:基于路由器设备NetFlow数据采集配置,判断数据统计分析结果是否正确,并判定哪些错误结果可纠正,并对可纠错的结果进行纠错处理。理。理。

【技术实现步骤摘要】
一种路由器NetFlow数据采集判断及纠错的方法


[0001]本专利技术属于一种路由器NetFlow数据采集判断及纠错的方法,尤其是一种路由器NetFlow数据采集配置信息自动发现并进行流量汇总统计结果准确性判断及纠错的方法。

技术介绍

[0002]NetFlow作为一种流量统计技术,广泛应用在IP网络流量流向分析、异常流量检测、流量计量计费等流量分析场景。基于NetFlow技术进行流量分析的系统基本结构如图1所示。
[0003]NetFlow流量采集分析总体系统总体结构包括由路由器组成的IP网络及NetFlow数据采集分析系统。系统总体工作流程如下:
[0004]1、根据系统管理员的配置,IP网络中路由器的网络接口可以对流入或者流出方向的流量进行采样;
[0005]2、路由器对按照NetFlow协议中要求的字段对采样流量进行统计形成流量日志,并按照NetFlow协议将统计结果通过网络发送至NetFlow数据分析采集系统;
[0006]3、NetFlow分析采集系统对接收到的数据进行解析,并完成后续的数据分析工作。
[0007]在上述过程中,需要由网络管理员手工对路由器的网络接口进行配置,决定对路由器哪些网络接口的流量进行采集统计,同时决定对应网络接口流量采集的方向,采集方向共包括三种情况:
[0008]仅对网络接口流入方向流量进行采样统计
[0009]仅对网络接口流出方向流量进行采样统计
[0010]对网络接口流入、流出的双向流量进行采样统计
[0011]为了保证流量分析的准确性,NetFlow数据采集分析系统必须准确知道上述配置信息,并进行流量去重操作,避免对网络流量的重复统计导致分析结果出现错误。
[0012]以图2所示场景为例,图中的路由器存在三个接口,分别为接口1、接口2、与接口3,该路由器根据路由表查询结果在这三个接口之间进行IP数据包的转发,每个接口都存在流入与流出的IP数据包流量。
[0013]系统管理员对该路由器各接口的NetFlow数据采集配置如下:
[0014]接口1:对流入方向的流量进行采样统计;
[0015]接口2:对流出、流出两个方向的流量进行采样统计;
[0016]接口3:不进行流量采样统计;
[0017]在上述NetFlow数据采集配置下,该路由器在各接口之间转发的流量产生NetFlow日志的情况如下:
[0018]从接口1流入,且从接口1流出流量的每一个流:仅在接口1产生一条NetFlow流量统计日志;
[0019]从接口1流入,且从接口2流出流量的每一个流:在接口1产生一条NetFlow流量统计日志,同时在接口2产生一条相同的NetFlow流量统计日志,总计产生两条NetFlow流量统
计日志
[0020]从接口1流入,且从接口3流出流量的每一个流:仅在接口1产生一条NetFlow流量统计日志;
[0021]从接口2流入,且从接口1流出流量的每一个流:仅在接口2产生一条NetFlow流量统计日志;
[0022]从接口2流入,且从接口2流出流量的每一个流:在接口2流入方向产生一条NetFlow流量统计日志,同时在接口2流出方向产生一条相同的NetFlow流量统计日志,总计产生两条NetFlow流量统计日志;
[0023]从接口2流入,且从接口3流出流量的每一个流:仅在接口2产生一条NetFlow流量统计日志;
[0024]从接口3流入,且从接口1流出流量的每一个流:不会产生NetFlow流量统计日志;
[0025]从接口3流入,且从接口2流出流量的每一个流:仅在接口2产生一条NetFlow流量统计日志;
[0026]从接口3流入,且从接口3流出流量的每一个流:不会产生NetFlow流量统计日志;
[0027]NetFlow数据采集分析系统经常基于上述NetFlow日志中携带的接口信息对下列两种基本类型的流量进行汇总统计:
[0028]统计类型1:对任意两个接口之间的转发流量进行汇总,例如对图2中从接口1流入并且从接口2流出的流量进行汇总统计;

任意两个接口

也可以试同一个接口,例如对图2中从接口l流入并且从接口1流出的流量进行汇总统计;
[0029]统计类型2:对任意接口流入方向或流出方向的流量进行汇总统计,例如对图2中接口1流入方向的流量进行汇总统计,或者对接口1流出方向的流量进行汇总统计;
[0030]如果NetFlow数据采集分析系统直接基于上述NetFlow日志中携带的接口信息对上述两种类型的流量进行汇总统计,就无法避免下列两种类型的统计错误:
[0031]类型1.1:从接口1流入且从接口2流出的汇总流量被重复计算一倍;
[0032]类型1.2:从接口2流入且从接口2流出的汇总流量被重复计算一倍;
[0033]同时,NetFlow数据采集分析系统也无法判断下列几种类型的流量汇总统计结果是否正确或能否得到汇总统计结果;
[0034]类型2.1:从接口3流入且从接口1流出的汇总流量、从接口3流入且从接口3流出的汇总流量无法统计;
[0035]类型2.2:接口1流入方向汇总流量、接口2流入方向汇总流量、接口2流出方向汇总流量统计结果比实际流量偏大;
[0036]类型2.3:接口1流出方向汇总流量、接口3流入方向汇总流量的统计结果比实际流量偏小;
[0037]类型2.4:接口3流出方向汇总流量与实际流量一致;
[0038]为了判断NetFlow流量采集分析系统中对

统计类型1



统计类型2

两种数据统计分析结果是否正确,错误结果是否可纠正,并对错误结果进行纠正,就必须保证NetFlow流量采集分析系统与路由器设备之间同步关于NetFlow数据采集配置的信息,在传统的NetFlow流量采集分析系统中,这种信息同步往往依赖系统管理员手工维护,或通过第三方配置管理系统进行自动化的维护。但在实际的应用环境中,IP网络中路由器的数量在数台
至数千台,配置NetFlow数据采集的接口数量在数十至数万个,因此手工维护路由器设备NetFlow数据采集配置信息的工作量极大,尤其在网络设备变更频繁的情况下,很容易出现NetFlow流量采集分析系统与路由器设备之间关于NetFlow数据采集配置的信息不一致的情况且很难发现,导致NetFlow流量采集分析系统对

统计类型1



统计类型2

两种数据统计分析结果的可靠性无法判断,且无法进行纠错。

技术实现思路

[0039]本专利技术所要解决的技术问题是提供一种路由器NetFlow数据采集判断及纠错的方法。
[0040]本专利技术解决上述技术问题所采取的技术方案如下:
[004本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种路由器NetFlow数据采集判断及纠错的方法,其特征在于,包括:步骤1)NetFlow及SNMP接口数据采集步骤:使用NetFlow协议采集路由器的流量统计日志,并使用SNMP协议采集路由器的接口描述信息及流量信息,作为后续步骤的基准数据;步骤2)路由器NetFlow采集接口及方向判定步骤:基于上述NetFlow流量统计日志,对NetFlow数据采集配置的信息判断每一台路由器采集了哪些接口以及流量采集方向;基于NetFlow日志及SNMP日志实时判定IP网络中所有路由器设备NetFlow数据采集配置;步骤3)数据统计结果准确性判断及纠错步骤:基于路由器设备NetFlow数据采集配置,判断数据统计分析结果是否正确,并判定哪些错误结果可纠正,并对可纠错的结果进行纠错处理。2.根据权利要求1所述的路由器NetFlow数据采集判断及纠错的方法,其特征在于,步骤1)中,具体包括:使用NetFlow协议采集路由器在各接口之间转发流量产生NetFlow日志,日志内容包括下列字段:IPV4_SRC_ADDR:该字段存储流的源IPv4地址;INPUT_SNMP:该字段存储流的流入接口snmp_ifindex;IPV4_DST_ADDR:该字段存储流的目的IPv4地址;OUTPUT_SNMP:该字段存储流的流出接口snmp_ifindex;DIRECTION:该字段存储产生日志的接口方向,取值为ingress或egress;IN_BYTES:该字段存储接口流入方向流的总字节数;IN_PKTS:该字段存储接口流入方向流的总数据包数;OUT_BYTES:该字段存储接口流出方向流的总字节数;OUT_PKTS:该字段存储接口流出方向流的总数据包数。3.根据权利要求2所述的路由器NetFlow数据采集判断及纠错的方法,其特征在于,步骤1)中,具体包括:设定该路由器的各接口信息如下:接口1的snmp_ifindex=1,接口描述为GE1;接口2的snmp_ifindex=2,接口描述为GE2;接口3的snmp_ifindex=3,接口描述为GE3;使用SNMP协议以时间周期T,采集包括路由器的接口描述、接口snmp_ifindex、接口流入方向流量计数、接口流出方向流量计数的NetFlow流量统计日志。4.根据权利要求3所述的路由器NetFlow数据采集判断及纠错的方法,其特征在于,步骤1)中,各个接口的流量遵循如下的规则;11)从接口1流入,且从接口1流出流量的每一个流,仅在接口1流入方向产生一条NetFlow流量统计日志,每一个流产生的日志下列字段赋值均相同:DIRECTION=ingressINPUT_SNMP=1
OUTPUT_SNMP=1每一个流的总字节数记录在IN_BYTES字段;每一个流的总数据包数记录在IN_PKTS字段;12)从接口1流入,且从接口2流出流量的每一个流,在接口1流入方向和接口2流出方向分别产生一条NetFlow流量统计日志,总计产生两条NetFlow流量统计日志,其中:每一个流在接口1流入方向产生的日志下列字段赋值均相同:DIRECTION=ingressINPUT_SNMP=1OUTPUT_SNMP=2每一个流的总字节数记录在IN_BYTES字段每一个流的总数据包数记录在IN_PKTS字段每一个流在接口2流出方向产生的日志下列字段赋值均相同:DIRECTION=egressINPUT_SNMP=1OUTPUT_SNMP=2每一个流的总字节数记录在OUT_BYTES字段每一个流的总数据包数记录在OUT_PKTS字段13)从接口1流入,且从接口3流出流量的每一个流,仅在接口1流入方向产生一条NetFlow流量统计日志,每一个流产生的日志下列字段赋值均相同:DIRECTION=ingressINPUT_SNMP=1OUTPUT_SNMP=3每一个流的总字节数记录在IN_BYTES字段每一个流的总数据包数记录在IN_PKTS字段14)从接口2流入,且从接口1流出流量的每一个流,仅在接口2流入方向产生一条NetFlow流量统计日志,每一个流产生的日志下列字段赋值均相同:DIRECTION=ingressINPUT_SNMP=2OUTPUT_SNMP=1每一个流的总字节数记录在IN_BYTES字段每一个流的总数据包数记录在IN_PKTS字段15)从接口2流入,且从接口2流出流量的每一个流在接口2的流入、流出方向分别产生一条NetFlow流量统计日志,总计产生两条NetFlow流量统计日志。其中:每一个流在接口2流入方向产生的日志下列字段赋值均相同:DIRECTION=ingressINPUT_SNMP=2OUTPUT_SNMP=2每一个流的总字节数记录在IN_BYTES字段每一个流的总数据包数记录在IN_PKTS字段
每一个流在接口2流出产生的日志下列字段赋值均相同:DIRECTION=egressINPUT_SNMP=2OUTPUT_SNMP=2每一个流的总字节数记录在OUT_BYTES字段每一个流的总数据包数记录在OUT_PKTS字段16)从接口2流入,且从接口3流出流量的每一个流,仅在接口2流入方向产生一条NetFlow流量统计日志,每一个流产生的日志下列字段赋值均相同:DIRECTION=ingressINPUT_SNMP=2OUTPUT_SNMP=3每一个流的总字节数记录在IN_BYTES字段每一个流的总数据包数记录在IN_PKTS字段17)从接口3流入,且从接口1流出流量的每一个流:不会产生NetFlow流量统计日志;18)从接口3流入,且从接口2流出流量的每一个流,仅在接口2流出方向产生一条NetFlow流量统计日志,每一个流产生的日志下列字段赋值均相同:DIRECTION=egressINPUT_SNMP=3OUTPUT_SNMP=2每一个流的总字节数记录在OUT_BYTES字段每一个流的总数据包数记录在OUT_PKTS字段19)从接口3流入,且从接口3流出流量的每一个流:不会产生NetFlow流量统计日志。5.根据权利要求1所述的路由器NetFlow数据采集判断及纠错的方法,其特征在于,步骤2)中,具体包括:子步骤21)以SNMP采集时间周期T为单位,汇总同一台路由器产生的所有NetFlow日志;子步骤22)在子步骤22汇总的所有NetFlow日志中,查找所有DIRECTION=ingress的日志,并提取这些日志中的INPUT_SNMP字段中的数值并进行去重处理,得到一个以snmp_ifindex作为索引的路由器接口列表If_In_List1;子步骤23)在子步骤21汇总的所有NetFlow日志中,查找所有DIRECTION=egress的日志,并提...

【专利技术属性】
技术研发人员:武迎春孙萍刘艳朋
申请(专利权)人:北京润通丰华科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1