基于网络应用的报文抓取的方法和装置制造方法及图纸

本公开涉及一种基于网络应用的报文抓取方法和装置，该方法包括：预设待抓取的网络应用；连续接收来自交换设备的一段时间内的或预定数量的流量数据；对所接收的流量数据的报文进行DPI分析，并基于所待抓取的网络应用的特征分析并识别出所接收的流量数据中的属于待抓取的网络应用的报文；从所接收的流量数据中的属于待抓取的网络应用的报文中提取出所述网络应用相对应的网络层和传输层信息；基于所提取的网络层和传输层信息，形成针对所述待抓取的网络应用的ACL规则；以及将针对所述待抓取的网络应用的ACL规则下发到所述交换设备，以便基于针对所述待抓取的网络应用的ACL规则针对所述待抓取的网络应用进行报文抓取。针对所述待抓取的网络应用进行报文抓取。针对所述待抓取的网络应用进行报文抓取。

【技术实现步骤摘要】
基于网络应用的报文抓取的方法和装置


[0001]本公开涉及通讯领域，具体而言，涉及一种基于网络应用的报文抓取方法和装置。

技术介绍

[0002]随着互联网技术及5G技术的快速发展，网络中流量越来越大，网络面临类型越来越多的连接异常或攻击事件；此外，客户端对服务器的远程访问失败多数是由网络问题导致的，例如对客户端或服务器的网络配置不当。因此对网络故障的排查就成了工作中不可避免又棘手误时的问题，尤其对网络知识不够熟悉的人员，怎样自动快速定位网络问题，使故障迎刃而解，成为提高工作效率的一大关键。
[0003]网络抓包技术就是将网络传输的数据包进行抓取，通过对抓取的报文进行分析和理解，可以帮助运维人员或其他工程师快速定位问题，分析故障原因以及网络监控溯源等。具体而言，通常在交换机或者网络设备配置端口镜像或者ACL规则，接上PC或者笔记本后通过tcpdump、wireshark等抓包工具将报文抓取下来，进而对抓取的报文进行分析。另外，也有部分网络设备如防火墙提供抓包功能，支持根据源IP、目的IP、目的端口、协议等规则将报文抓取下来，但一般受限于设备性能及功能，仅支持抓取少量报文。
[0004]采用端口镜像抓取报文时，端口镜像将流量全部镜像过来，抓包的流量非常大，例如通信运营商的出口流量可达几十上百G，科研高校的出口流量也可达几个G。但其所抓取的流量中的很大一部分并不是用户关心的流量；另外，受限于抓包性能和硬盘IO性能，导致抓取流量过大时，不能完整保存以及针对抓取到的流量进行的后续分析也会非常困难。如使用wireshark打开大文件时需要占用非常大的内存，打开速度非常慢，经常卡死；即使采用专业抓包分析设备也很难解决类似问题。
[0005]根据ACL规则抓取报文，需要提前知道或者分析出ACL规则元素，如源/目的IP、源/目的端口，但现实中的很多情况是无法准确知道IP和端口信息的，例如在抓取网站流量时，网站一般存在很多域名及子域名，还存在CDN部署情况，导致IP地址很难收集全。另外，根据ACL规则不支持基于网络应用的抓包，其对于网络应用的抓包无能为力。
[0006]因此，需要一种可以精确抓取指定流量的基于网络应用的报文抓取方法和装置。

技术实现思路

[0007]有鉴于此，本公开提供一种基于网络应用的抓取报文方法和装置。根据本公开的一方面，提出一种基于网络应用的报文抓取方法，该方法包括：预设待抓取的网络应用；连续接收来自交换设备的一段时间内的或预定数量的流量数据；对所接收的流量数据的报文进行DPI分析，并基于所待抓取的网络应用的特征分析并识别出所接收的流量数据中的属于待抓取的网络应用的报文；从所接收的流量数据中的属于待抓取的网络应用的报文中提取出所述网络应用相对应的网络层和传输层信息；基于所提取的网络层和传输层信息，形成针对所述待抓取的网络应用的ACL规则；以及将针对所述待抓取的网络应用的ACL规则下发到所述交换设备，以便基于针对所述待抓取的网络应用的ACL规则针对所述待抓取的网
络应用进行报文抓取。
[0008]根据本公开的基于网络应用的报文抓取方法，其中所提取的所述网络应用相对应的网络层和传输层信息包括报文的目的IP、目的端口以及传输层协议类型。
[0009]根据本公开的基于网络应用的报文抓取方法，其中所提取的所述网络应用相对应的网络层和传输层信息包括目的IP以及传输层协议类型。
[0010]根据本公开的基于网络应用的报文抓取方法，其中所述形成针对所述待抓取的网络应用的ACL规则包括：形成包含的目的IP、目的端口以及传输层协议类型的三元组ACL规则或包含的目的IP和传输层协议类型的二元组ACL规则。
[0011]根据本公开的基于网络应用的报文抓取方法，还包括：在发送报文抓取停止的同时，指令所述交换设备删除所下发的ACL规则。
[0012]根据本公开的另一方面，提出一种基于网络应用抓取报文的装置，该装置包括：预设组件，用于预设待抓取的网络应用；报文接收组件，用于连续接收来自交换设备的一段时间内的或预定数量的流量数据；DPI分析组件，用于对所接收的流量数据的报文进行DPI分析，并基于所待抓取的网络应用的特征分析并识别出所接收的流量数据中的属于待抓取的网络应用的报文；采集组件，用于从所接收的流量数据中的属于待抓取的网络应用的报文中提取出所述网络应用相对应的网络层和传输层信息；ACL规则形成组件，用于基于所提取的网络层和传输层信息，形成针对所述待抓取的网络应用的ACL规则；ACL规则下发组件，用于将针对所述待抓取的网络应用的ACL规则下发到所述交换设备，以便基于针对所述待抓取的网络应用的ACL规则针对所述待抓取的网络应用进行报文抓取。
[0013]根据本公开的基于网络应用抓取报文的设备，其中所述采集组件所提取的所述网络应用相对应的网络层和传输层信息包括目的IP、目的端口以及传输层协议类型。
[0014]根据本公开的基于网络应用抓取报文的设备，其中所述采集组件所提取的所述网络应用相对应的网络层和传输层信息包括目的IP以及传输层协议类型。
[0015]根据本公开的基于网络应用抓取报文的设备，其中ACL规则形成组件形成包含的目的IP、目的端口以及传输层协议类型的三元组ACL规则或包含的目的IP和传输层协议类型的二元组ACL规则。
[0016]根据本公开的基于网络应用抓取报文的设备，还包括：ACL规则删除组件，用于在发送报文抓取停止的同时，指令所述交换设备删除所下发的ACL规则。
[0017]综上所述，采用本公开的基于网络应用的报文抓取方法和设备，通过基于DPI深度包检测技术，实时学习待抓取网络应用的报文中的网络层和传输层信息以形成针对待抓取网络应用的ACL规则，将所述ACL规则自动下发到交换设备的芯片中，以实现对指定网络应用的报文的精准抓取，避免了采用镜像方式进行全流量抓取而带来的抓包性能、存储IO、存储空间等方面的限制问题及后续的报文排查分析问题，解决了采用ACL规则时需要提前获取IP端口的问题。其学习ACL规则时间短，节省了存储空间及后续排查分析问题时间，提高了工作效率。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
[0019]通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1所示的是根据本公开实施例的基于网络应用的报文抓取的方法和装置的应用实例图。
[0021]图2所示的根据本公开实施例的基于网络应用的报文抓取方法的流程示意图。
[0022]图3所示的根据本公开实施例的基于网络应用的报文抓取方法的详细流程示意图。
[0023]图4所示的根据本公开实施例的基于网络应用的报文抓取装置的原理示意图。
具体实施方式
[0024]现在将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络应用的报文抓取方法，包括：预设待抓取的网络应用；连续接收来自交换设备的一段时间内的或预定数量的流量数据；对所接收的流量数据的报文进行DPI分析，并基于所待抓取的网络应用的特征分析并识别出所接收的流量数据中的属于待抓取的网络应用的报文；从所接收的流量数据中的属于待抓取的网络应用的报文中提取出所述网络应用相对应的网络层和传输层信息；基于所提取的网络层和传输层信息，形成针对所述待抓取的网络应用的ACL规则；以及将针对所述待抓取的网络应用的ACL规则下发到所述交换设备，以便基于针对所述待抓取的网络应用的ACL规则针对所述待抓取的网络应用进行报文抓取。2.如权利要求1所述的基于网络应用的报文抓取方法，其中所提取的所述网络应用相对应的网络层和传输层信息包括报文的目的IP、目的端口以及传输层协议类型。3.如权利要求1所述的基于网络应用的报文抓取方法，其中所提取的所述网络应用相对应的网络层和传输层信息包括目的IP以及传输层协议类型。4.如权利要求2或3所述的基于网络应用的报文抓取方法，其中所述形成针对所述待抓取的网络应用的ACL规则包括：形成包含的目的IP、目的端口以及传输层协议类型的三元组ACL规则或包含的目的IP和传输层协议类型的二元组ACL规则。5.如权利要求1所述的基于网络应用的报文抓取方法，还包括：在发送报文抓取停止的同时，指令所述交换设备删除所下发的ACL规则。6.一种基于网络应用的报文抓取装置，包括：预设组件，用于预设待抓取的网络应...

【专利技术属性】
技术研发人员：汪庆权，李志，林俊龙，
申请(专利权)人：杭州迪普科技股份有限公司，
类型：发明
国别省市：