根据接收的UDP报文产生对特定统计数据项的统计结果的系统技术方案

本发明专利技术涉及一种根据接收的UDP报文产生针对特定统计数据项的统计结果的系统，所述UDP报文是通过负载均衡器解析来自网络的查询请求而产生的，所述系统包括：接收部分，用于接收所述负载均衡器发送的UDP报文；计算部分，根据预定义统计数据项组合、预定义统计时长对接收的UDP报文进行统计以产生统计结果，所述统计结果给出了在当前统计时长内累计的包含有所述预定义统计数据项组合的UDP报文数量；发送部分，根据汇总器的请求向其发送所述统计结果。

【技术实现步骤摘要】

本专利技术涉及一种根据接收的UDP报文产生针对特定统计数据项的统计结果的系统。
技术介绍
传统的负载平衡器(Load Balancer)，如采用linux下HaProxy的配置，用于读取来自网络的每一个HTTP请求中所包含的cookies或URL解释，并且基于这些信息重写报头并将HTTP请求发往后端服务器群，使得后端服务器群中各服务器达到流量、资源占用的平衡状态。但是，传统的负载平衡器不会自动对网络的流量进行滤过检查，不能对攻击流量进行限流或丢弃。在现有技术中，已知有基于流量清洗技术通过侦测TCP分组来实现针对ICMP/TCP/UDP流攻击进行防护的，通过重发TCP/UDP分组来实现。这种已知方案仅对TCP/UDP层的分组有效，它对于预防需解密的开放式系统互联参考模型(OSI)第7层应用层的HTTP流攻击无能为力。一种想法是根据对访问URL做统计，根据单位时间访问量如QPS来限制访问请求。针对一个大型网站访问URL的统计通常消耗很多内存。一般来说，对于数据项IP地址、用户标识(USERID)、统一资源定位符(URL)等的任何一个组合，需要记录与该组合相关联的每一个访问的时间戳(timestamp)。当需要计算QPS时，将各个时间点过滤或排序，既费时又耗内存。在现有技术中，当需要计算QPS时，将各个时间点过滤或排序，既费时又耗内存。在现有技术中，当需要计算QPS时，将各个时间点过滤或排序，既费时又耗内存。
技术实现思路
根据本专利技术，提供一种根据接收的UDP报文产生针对特定统计数据项的统计结果的系统，所述UDP报文是通过负载均衡器解析来自网络的查询请求而产生的，所述系统包括：接收部分，用于接收所述负载均衡器发送的UDP报文；计算部分，根据预定义统计数据项组合和预定义统计时长对接收的UDP报文进行统计以产生统计结果，所述统计结果给出了在当前统计时长内累计的包含有所述预定义统计数据项组合的UDP报文数量；发送部分，根据汇总器的请求向其发送所述统计结果。根据本专利技术的系统，其中所述预定义统计数据项组合包括下述之一：用户名、客户端IP地址和通用资源标示符；用户名和通用资源标示符；以及客户端IP地址和通用资源标示符。根据本专利技术的系统，其中所述统计结果以JSONS数据格式通过web页形式被发送。根据本专利技术的系统，其中，根据发送的所述统计结果，所述汇总器产生用于确定是否放行相应查询请求的黑名单。附图说明下面将参考附图详细地描述本专利技术的实施例，其中：图1是根据本专利技术的用于对来自网络的访问请求进行限制的系统的结构图；图2是根据接收的UDP报文产生针对特定统计数据项的统计结果的系统的示例性框图；图3是根据本专利技术的对来自网络的访问请求产生黑名单的系统的示例性汇总器的组成的示例性框图。具体实施方式根据本专利技术，提供一种根据接收的UDP报文产生针对特定统计数据项的统计结果的系统以及包括多个这样系统的聚集器。一个访问请求，如来自因特网的HTTP请求，包括如下数据项：该访问用户要访问的目的域名(host)；用户请求的通用资源标示符(uri)；用户名(uid)；客户端IP地址(cip)等。本专利技术的用于对来自网络的访问请求进行限制的系统包括负载均衡器、聚集器和汇总器。所述负载均衡器接收来自所述网络的访问请求，把所接收的每个访问请求解析成一个UDP报文，并且把UDP报文传送给聚集器。所述聚集器根据预定义统计数据项组合和预定义统计时长对接收到的UDP报文进行统计，并且根据汇总器的请求向其发送统计结果。所述统计结果给出了在当前的预定义统计时长内累计的包含有所述预定义统计数据项组合的UDP报文数量。所述汇总器按照预定的请求时间间隔向所述聚集器请求统计结果，接收来自所述聚集器的统计结果，根据所接收的统计结果和预定义规则生成访问请求的黑名单，并且根据所述负载均衡器的请求把黑名单发送给所述负载均衡器，其中所述黑名单定义了对相应访问请求的处理动作。所述负载均衡器根据当前黑名单确定对所接收的每个访问请求的处理动作。下面结合具体实施例详细描述根据本专利技术实施例的用于对来自网络的访问请求进行限制的系统。但应该理解，具体实施例仅用于理解本专利技术的精神和具体实现，但本专利技术并不受限于特定的实施例。图1示出根据本专利技术用于对来自网络的访问请求进行限制实施例的系统100，该系统100包括3个模块：负载均衡器 101，聚集器 102，和汇总器 103。负载均衡器101接收来自网络的访问请求，如来自因特网的HTTP请求，并将接收的访问请求解析成UDP报文，再将UDP报文传输给聚集器。UDP报文因其资源消耗小、处理速度快等优势可以大大减小负载均衡器的额外开销。UDP协议不属于连接型协议，所以会存在一定的报文丢失现象。但这种丢失在可控误差范围之内，对系统的健硕性影响可忽略。聚集器102可包括多台聚集机20。多台聚集机20水平独立扩展，即每台聚集机20是独立部署和运行的，它们相互之间没有影响和依赖。如果聚集器处理能力不能满足需要，可以增加机器，再部署新的聚集机20。这样可以较好地满足大交通流量的需要。负载均衡器101把每个UDP报文传输至一台选定的聚集机20。各台聚集机20分别进行所述统计。根据本专利技术的一个实施例，负载均衡器101用逐个轮询的方式向多台聚集机20发UDP报文。例如，第一个UDP包发给第一台聚集机20，第二个UDP包发给第二台聚集机20，依次把生成的UDP包按顺序发给各聚集机20。当给最后一台聚集机20发送过过UDP包之后，再重新向第一台聚集机20发送。每台聚集机20按照预定义统计规则或条件，如预定义的统计数据项组合、预定义的统计时间间隔等，对接收到的UDP报文进行统计分析。聚集机20接收UDP报文并且解析UDP报文。UDP报文中包含了用户的HTTP访问请求的信息：用户访问的目的域名(host)、用户请求的通用资源标示符(uri)、用户名(uid)、客户端IP地址(cip)等。然后，聚集机20针对同一个目的域名(相同的host)、同一来源(相同的uid，相同的cip)的访问请求数量作统计，进而可计算出此来源的访问请求量。如果在限定的时间段，如最近60秒或最近5分钟，考察上述统计访问请求量，那么可得本文档来自技高网...

【技术保护点】
一种根据接收的UDP报文产生针对特定统计数据项的统计结果的系统，所述UDP报文是通过负载均衡器解析来自网络的查询请求而产生的，所述系统包括：接收部分，用于接收所述负载均衡器发送的UDP报文；计算部分，根据预定义统计数据项组合和预定义统计时长对接收的UDP报文进行统计以产生统计结果，所述统计结果给出了在当前统计时长内累计的包含有所述预定义统计数据项组合的UDP报文数量；发送部分，根据汇总器的请求向其发送所述统计结果。

【技术特征摘要】
1.一种根据接收的UDP报文产生针对特定统计数据项的统计结
果的系统，所述UDP报文是通过负载均衡器解析来自网络的查询请求
而产生的，所述系统包括：
接收部分，用于接收所述负载均衡器发送的UDP报文；
计算部分，根据预定义统计数据项组合和预定义统计时长对接收
的UDP报文进行统计以产生统计结果，所述统计结果给出了在当前统
计时长内累计的包含有所述预定义统计数据项组合的UDP报文数量；
发送部分，根据汇总器的请求向其发送所述统计结果。
2.根据权利要求1所述的系统，其中所述预定义统计数据项组合
包括下述之一：
用户名、客户端IP地址和通用资源标示符；
用户名和通...

【专利技术属性】
技术研发人员：翁志，周盛宽，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11