一种开放式硬件实现深度数据过滤分流的系统及方法技术方案

本发明专利技术公开一种开放式硬件实现深度数据过滤分流的系统及方法，该系统包括分发处理交换机，Intel CPU矩阵，汇聚输出交换机；分发处理交换机的数据初始处理输出端与Intel CPU的数据初始处理接收端连接，Intel CPU的数据深度处理输出端与分发处理交换机的数据深度处理接收端连接，分发处理交换机的数据处理结果输出端与汇聚输出交换机的数据处理结果接收端连接；分发处理交换机和汇聚输出交换机均包括可编程交换芯片，Intel CPU矩阵包括若干Intel CPU，且任一Intel CPU分别与分发处理交换机连接。本发明专利技术技术方案节省硬件开发成本，大大降低产品的开发周期。

【技术实现步骤摘要】
一种开放式硬件实现深度数据过滤分流的系统及方法
本专利技术涉及数据过滤分流
，特别涉及一种开放式硬件实现深度数据过滤分流的系统及方法。
技术介绍
在分流器领域，用户需要通过对现网的高速流量进行深度解析和过滤后，将用户需要的数据提取出来后转发给后端服务器进行进一步分析，过滤的方法包括掩码规则，精确规则，字符串规则，以及掩码/精确和字符串复合规则等。输出给用户的时候需要保证同源同宿。当前分流器领域进行报文的高速深度过滤，大部分实现方案为FPGA或者专门NP(网络处理器)。但是，通过NP/FPGA进行报文过滤处理这种方案，需要开发专门的硬件，市场上没有这种方案的开放式的硬件可以采购，这样开发不仅会提高开发成本，还会增加开发时间。因此，现有技术存在缺陷，需要改进。
技术实现思路
本专利技术提出一种开放式硬件实现深度数据过滤分流的系统及方法，旨在节省硬件开发成本，大大降低产品的开发周期。为实现上述目的，本专利技术提出的一种开放式硬件实现深度数据过滤分流的系统，包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机，用于进行规则查询及数据报文深度处理的IntelCPU矩阵，用于接收处理后的数据报文并输出的汇聚输出交换机；所述分发处理交换机的数据初始处理输出端与所述IntelCPU的数据初始处理接收端连接，所述IntelCPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接，所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片，所述IntelCPU矩阵包括若干IntelCPU，且任一所述IntelCPU分别与所述分发处理交换机连接。优选地，所述可编程交换芯片设置为白盒可编程交换芯片硬件。优选地，所述IntelCPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块IntelCPU处理板。优选地，所述IntelCPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。本专利技术还提出一种开放式硬件实现深度数据过滤分流的方法，其包括如下步骤：S1：分发处理交换机接收外部数据报文，对数据报文进行解析并查询内部掩码规则；S2:分发处理交换机将掩码规则查询结果携带进入数据报文，并输出至IntelCPU矩阵中对应的IntelCPU；S3:IntelCPU对S2中接收的数据报文进行查询精确规则表项、特征码规则，完成规则复合处理，将处理结果携带进入数据报文并发送至分发处理交换机；S4：分发处理交换机将S3中接收的数据报文发送至汇聚输出交换机；S5：汇聚输出交换机根据S4中接收的数据报文携带的信息，进行数据报文的复制和负载均衡同源同宿输出；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片。优选地，所述可编程交换芯片设置为白盒可编程交换芯片硬件。优选地，所述IntelCPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块IntelCPU处理板。优选地，所述IntelCPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。与现有技术相比，本专利技术的有益效果是：节省了硬件开发成本，大大降低产品的开发周期。本方案主要业务处理采用IntelCPU来处理，通过横向扩展CPU数目可以到达扩展系统处理能力的目的。通过DPDK报文处理框架以及HyperScan灵活的字符串搜索功能同样也可以完成高速数据过滤功能，而不需要NP/FPGA专门的开发技术。采用可编程交换芯片来处理掩码规则，不需要额外的NP/FPGA外挂TCAM来实现掩码规则。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术数据过滤分流的系统原理图；图2为本专利技术数据过滤分流的方法流程图；本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式本专利技术提出一种开放式硬件实现深度数据过滤分流的系统，参考图1，包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机，用于进行规则查询及数据报文深度处理的IntelCPU矩阵，用于接收处理后的数据报文并输出的汇聚输出交换机；所述分发处理交换机的数据初始处理输出端与所述IntelCPU的数据初始处理接收端连接，所述IntelCPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接，所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片，所述IntelCPU矩阵包括若干IntelCPU，且任一所述IntelCPU分别与所述分发处理交换机连接。应当说明的是，IntelCPU负责精确规则，特征串规则，复合规则等查询以及其他功能处理，通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。可编程交换芯片负责报文输入，将报文分发到IntelCPU,进行掩码规则查找，最后的负载均衡同源同宿输出。进一步地，所述可编程交换芯片设置为白盒可编程交换芯片硬件。所述IntelCPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块IntelCPU处理板，还可以扩展为多个ATCA机箱。其中，最小形态为在一个1U的盒式设备里面包括可编程芯片和若干个IntelCPU。进一步地，所述IntelCPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。该系统在工作时，分发处理交换机接收外部数据报文，对数据报文进行解析并查询内部掩码规则；分发处理交换机将掩码规则查询结果携带进入数据报文，并输出至IntelCPU矩阵中对应的IntelCPU；IntelCPU对接收的数据报文进行查询精确规则表项、特征码规则，完成规则复合处理，将处理结果携带进入数据报文并发送至分发处理交换机；分发处理交换机将接收的数据报文发送至汇聚输出交换机；汇聚输出交换机根据接收的数据报文携带的信息，进行数据报文的复制和负载均衡同源同宿输出。其中，掩码规则通过控制面的程序统一配置。查询掩码规则并将结果携带到数据报文深度处理去进行规则复合；精确规则表项可以包括IP信息和端口信息，用于与其他规则进行复合，该表项通过控制面的程序统一配置。特征码规则是指搜索报文中的某些字符串的规则，可以包括字符串的出现位置的范围等信息，用于与其他规则进行复合，也是通过控制面程序同意配置。本专利技术还提出一种开放式硬件实现深度数据过滤分流的方法，参考图2，其包括如下步骤：S1：分发处理交换机接收外部数据报文，对数据报文进行解析并查询内部掩码规则；...

【技术保护点】
1.一种开放式硬件实现深度数据过滤分流的系统，其特征在于，包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机，用于进行规则查询及数据报文深度处理的Intel CPU矩阵，用于接收处理后的数据报文并输出的汇聚输出交换机；所述分发处理交换机的数据初始处理输出端与所述Intel CPU的数据初始处理接收端连接，所述Intel CPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接，所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片，所述Intel CPU矩阵包括若干Intel CPU，且任一所述Intel CPU分别与所述分发处理交换机连接。/n

【技术特征摘要】
1.一种开放式硬件实现深度数据过滤分流的系统，其特征在于，包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机，用于进行规则查询及数据报文深度处理的IntelCPU矩阵，用于接收处理后的数据报文并输出的汇聚输出交换机；所述分发处理交换机的数据初始处理输出端与所述IntelCPU的数据初始处理接收端连接，所述IntelCPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接，所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片，所述IntelCPU矩阵包括若干IntelCPU，且任一所述IntelCPU分别与所述分发处理交换机连接。


2.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统，其特征在于，所述可编程交换芯片设置为白盒可编程交换芯片硬件。


3.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统，其特征在于，所述IntelCPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块IntelCPU处理板。


4.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统，其特征在于，所述IntelCPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。


...

【专利技术属性】
技术研发人员：杨晶亮，涂明，沈圳，
申请(专利权)人：深圳市东晟数据有限公司，
类型：发明
国别省市：广东;44