一种报文去重方法、装置及存储介质制造方法及图纸

本发明专利技术揭示了一种报文去重方法、装置及存储介质，方法包括接收报文并判断报文是否需要进行去重处理；当需要时，在报文中添加去重报文头；根据报文携带的去重报文头查询所有去重引擎并判断是否存在处理过该种报文的去重引擎；若存在处理过该种报文的去重引擎，则将报文发送至处理过该报文的去重引擎中；若不存在处理过该种报文的去重引擎，则根据报文对应的去重要求指标将报文发送至相应的去重引擎中。本发明专利技术能够灵活的实现流量去重处理，并且可扩展性更好，可降低硬件设计成本。可降低硬件设计成本。可降低硬件设计成本。

【技术实现步骤摘要】
一种报文去重方法、装置及存储介质


[0001]本专利技术涉及网络
，尤其涉及一种报文去重方法及实现该报文去重方法的装置和存储介质。

技术介绍

[0002]在网络中，数据流量千变万化。出于对网络性能分析的需要，网络流量的可视化是网络维护保障的发展趋势。而进行网络流量的可视化分析的底层基础是对网络中实时传输的数据报文进行采集和捕获，根据采集到的数据报文进行统计分析，而在数据采集的过程中，通常需要进行报文去重处理，这里所说的报文去重是指去掉重复的报文。
[0003]网络数据包捕获(俗称抓包)，通常采用两个方式，一种是采用网络设备端口镜像的方式，另一种是通过分光、高阻、以太网(电口)分路器等方式从链路旁路的方式。从客户端(client)发往服务器(Server)的数据报文A，会经过网络的传递。对于网络可视化系统来说，通常会在全网的端到端布设多个数据采集点，可在各个采集点分别会捕获到报文A1、A2、A3、A4、A5，这些报文都是与原始报文A相关的报文，称为同源报文。报文去重就是要去除同源报文中的冗余部分，保留一份数据报文输出给后端的网络可视化分析系统。前端采集捕获的数据包，会发给后端的网络可视化分析工具进行进一步的解码，重复数据包的采集会给后端分析工具带来影响，比如会增加处理压力、增加业务处理的复杂度，因而需要进行去重处理，将去重后的数据报文转发至分析工具。
[0004]然而，现有技术中，去重方式多种多样，如基于Netflow的报文去重方法，又如采用基于FPGA的报文去重方法。对于基于Netflow的报文去重方法，受限于Netflow流表资源数量和硬件集成电路的限制，可去重的流的数量不会太多(Netflow流表资源有限)，可扩展性很差(受限于硬件集成电路)，开发周期长且造价昂贵(需要专门设计对应的ASIC芯片)。而对于基于FPGA的报文去重方法，最大去重能力受限于FPGA的流量带宽，可扩展性虽然较Netflow方案有所增加，但还是不够灵活。

技术实现思路

[0005]本专利技术的目的在于提供一种报文去重方法，能够灵活的实现流量去重处理，并且可扩展性更好，可降低硬件设计成本。同时，还提供一种实现该报文去重方法的装置和存储介质。
[0006]为实现上述目的，本专利技术提出一种报文去重方法，所述报文去重方法包括：
[0007]接收报文并判断所述报文是否需要进行去重处理；
[0008]响应于报文需要进行去重处理，在报文中添加去重报文头，所述去重报文头包括用于标识报文所属流量的流编号字段和用于标识去重要求指标的指标字段；
[0009]根据报文携带的去重报文头查询所有去重引擎并判断是否存在处理过该种报文的去重引擎；
[0010]响应于判断结果，若存在处理过该种报文的去重引擎，则将报文发送至处理过该
报文的去重引擎中；若不存在处理过该种报文的去重引擎，则根据报文对应的去重要求指标将报文发送至相应的去重引擎中。
[0011]优选地，所述判断所述报文是否需要进行去重处理包括：
[0012]通过ACL匹配报文所携带的信息，并在匹配时确定报文需要进行去重处理。
[0013]优选地，所述去重指标字段选自去重优先级、去重率、时延中的一种或多种，其中，去重优先级用于标识流量的去重等级；去重率用于标识流量所需的最低去重率；时延用于标识去重时所使用的最高时延。
[0014]优选地，每个所述去重引擎对应一信息表，所述信息表用于记录去重引擎的当前状态信息和固有属性参数信息，所述当前状态信息包括当前报文吞吐速率、处理过的流量所对应的流编号；所述固有属性参数信息包括最大报文吞吐速率、去重时延、去重率。
[0015]优选地，根据报文携带的去重报文头查询所有去重引擎并判断是否存在处理过该种报文的去重引擎包括：
[0016]查询所有去重引擎所对应的信息表中是否记录报文对应的流编号；
[0017]响应于信息表中记录了报文对应的流编号，则确定信息表对应的去重引擎处理过该种报文。
[0018]优选地，还包括：
[0019]在去重引擎过载时，将报文流发送至其他空闲并满足去重要求指标的去重引擎中，所述过载为去重引擎的当前报文吞吐速率接近或者大于自身的最大报文吞吐速率，所述空闲为去重引擎的当前报文吞吐速率低于自身的最大报文吞吐速率。
[0020]优选地，所有去重引擎并行处理报文。
[0021]本专利技术还揭示了一种报文去重装置，包括：
[0022]若干个去重引擎模块，用于对报文进行去重处理；
[0023]报文匹配模块，用于接收报文并判断所述报文是否需要进行去重处理；
[0024]报文编辑模块，用于响应于报文需要进行去重处理，在报文中添加去重报文头，所述去重报文头包括用于标识报文所属流量的流编号字段和用于标识去重要求指标的指标字段；
[0025]查找模块，用于根据报文携带的去重报文头查询所有去重引擎并判断是否存在处理过该种报文的去重引擎；
[0026]分流模块，用于响应于判断结果，在存在处理过该种报文的去重引擎时将报文发送至处理过该报文的去重引擎中，在不存在处理过该种报文的去重引擎时根据报文对应的去重要求指标将报文发送至相应的去重引擎中。
[0027]本专利技术还揭示了一种报文去重装置，所述报文去重装置包括：
[0028]至少一个处理器；
[0029]以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的计算机程序，所述计算机程序由所述至少一个处理器执行时，使得所述装置执行上述所述的方法。
[0030]本专利技术还揭示了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被机器执行时实现上述所述的方法。
[0031]本专利技术的有益效果是：
[0032]本专利技术能够灵活的实现流量去重处理，并且可扩展性更好，可降低硬件设计成本。
附图说明
[0033]图1是本专利技术一实施例中报文去重方法的流程图；
[0034]图2是去重报文头格式示意图。
[0035]图3是本专利技术一实施例中报文去重装置的结构框图。
具体实施方式
[0036]下面将结合本专利技术的附图，对本专利技术实施例的技术方案进行清楚、完整的描述。
[0037]由于现有技术中所采用的流量去重方案存在可扩展性差，不够灵活的缺点，本专利技术能够更加灵活的实现流量去重处理，且可扩展性更好。
[0038]如图1所示，为本专利技术所揭示的一种报文去重方法，包括如下步骤：
[0039]S100，接收报文并判断所述报文是否需要进行去重处理；
[0040]具体地，对于接收到的报文首先判断其是否需要进行去重处理，对于需要进行去重处理的报文，则进一步进行去重处理，而对于无需进行去重处理的报文，则进行转发处理。实施时，可通过ACL(Access Control Lists，访问控制列表)匹配报文中携带的信息，以确定报文是否需要进行去重处理。这里本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种报文去重方法，其特征在于，所述报文去重方法包括：接收报文并判断所述报文是否需要进行去重处理；响应于报文需要进行去重处理，在报文中添加去重报文头，所述去重报文头包括用于标识报文所属流量的流编号字段和用于标识去重要求指标的指标字段；根据报文携带的去重报文头查询所有去重引擎并判断是否存在处理过该种报文的去重引擎；响应于判断结果，若存在处理过该种报文的去重引擎，则将报文发送至处理过该报文的去重引擎中；若不存在处理过该种报文的去重引擎，则根据报文对应的去重要求指标将报文发送至相应的去重引擎中。2.根据权利要求1所述的报文去重方法，所述判断所述报文是否需要进行去重处理包括：通过ACL匹配报文所携带的信息，并在匹配时确定报文需要进行去重处理。3.根据权利要求1所述的报文去重方法，所述去重指标字段选自去重优先级、去重率、时延中的一种或多种，其中，去重优先级用于标识流量的去重等级；去重率用于标识流量所需的最低去重率；时延用于标识去重时所使用的最高时延。4.根据权利要求1所述的报文去重方法，每个所述去重引擎对应一信息表，所述信息表用于记录去重引擎的当前状态信息和固有属性参数信息，所述当前状态信息包括当前报文吞吐速率、处理过的流量所对应的流编号；所述固有属性参数信息包括最大报文吞吐速率、去重时延、去重率。5.根据权利要求4所述的报文去重方法，根据报文携带的去重报文头查询所有去重引擎并判断是否存在处理过该种报文的去重引擎包括：查询所有去重引擎所对应的信息表中是否记录报文对应的流编号；响应于信息表中记录了报文对应的流编号，则确定信息表对应的去重引擎处理过该种报文。6...

【专利技术属性】
技术研发人员：郭晓董，马佳彪，万欢，唐云丰，
申请(专利权)人：苏州盛科通信股份有限公司，
类型：发明
国别省市：