一种网络流量缓存系统、方法及装置制造方法及图纸

本申请涉及网络技术领域，尤其涉及一种网络流量缓存系统、方法及装置，用以解决现有技术中反向代理缓存方案和透明代理缓存方案均无法有效适用于运营商网络环境下的问题；本申请实施例提供的网络流量缓存方法，包括：核心路由器在转发承载网页请求消息的IP数据包时，将IP数据包与预先配置的策略路由进行匹配；若匹配，则将IP数据包转发给SDN交换机，以便由SDN交换机确定响应网页请求消息的方式；其中，响应网页请求消息的方式为由WEB网站服务器响应网页请求消息，或由透明代理缓存服务器响应网页请求消息；若不匹配，则将IP数据包转发给WEB网站服务器，以便由WEB网站服务器响应网页请求消息。

Network traffic buffer system, method and device

The application relates to the field of network technology, in particular to a network traffic caching system, method and device for solving the problem that neither the reverse proxy caching scheme nor the transparent proxy caching scheme in the prior art can be effectively applied to the carrier's network environment; the network traffic caching method provided in the embodiment of the application includes The core router matches the IP packet with the pre-configured policy routing when forwarding the IP packet that hosts the Web page request message; if it matches, the IP packet is forwarded to the SDN switch so that the SDN switch can determine how to respond to the Web page request message; and the WEB responds to the Web page request message. The Web server responds to the Web page request message, or the transparent proxy cache server responds to the Web page request message; if not, the IP packet is forwarded to the Web server so that the Web server can respond to the Web page request message.

【技术实现步骤摘要】
一种网络流量缓存系统、方法及装置
本申请涉及网络
，尤其涉及一种网络流量缓存系统、方法及装置。
技术介绍
随着计算机网络技术的飞速发展，在计算机网络中大量部署了Web缓存服务器，有效地加快了用户的访问速率，缓解了网页服务器(WebServer)的处理压力。现有互联网Web缓存部署方式主要有反向代理缓存方案和透明代理缓存方案，其中，方案一：反向代理缓存方案遵循超文本传输协议(HyperTextTransferProtocol，HTTP)，其关键技术点在于域名系统(DomainNameSystem，DNS)服务器在接收到浏览器发来的域名解析请求后，响应Web缓存服务器的IP地址给浏览器，以便浏览器和Web缓存服务器建立起传输控制协议(TransmissionControlProtocol，TCP)连接。Web缓存服务器在接收到浏览器基于TCP连接发来的HTTP请求后，可以代理浏览器向网页服务器发起HTTP请求并将网页服务器响应的HTTP请求内容转发给浏览器，同时缓存HTTP请求内容，以备响应后续的HTTP请求。上述反向代理缓存方案普遍适用于大型内容提供商(ContentProvide，CP)网络环境中，但若应用在运营商网络环境下，会存在以下问题：由于目前互联网网站大量采用超文本传输安全协议(HyperTextTransferProtocoloverSecureSocketLayer，HTTPS)提供Web服务，其中，HTTPS协议要求通信双方需要具备数字证书来进行身份认证，并需要通过相关的加密算法对传输的数据进行双向加密。但由于运营商无法获取到用户的相关证书以及密钥，因此，对于采用HTTPS协议的网站内容，运营商无法采用反向代理缓存方式来进行代理和缓存服务，并且还需手工分析网页服务器的相关域名对应的网页内容是否可引入缓存，以避免将采用HTTPS协议的相关域名对应的网页内容引入缓存。此外，网页服务器一般同时开启TCP80端口、443端口来分别提供HTTP、HTTPS协议的互联网服务，在这种场景下，采用反向代理缓存方案也无法对该网页服务器对应的IP地址下的TCP80端口HTTP协议承载的网页内容进行代理和缓存服务。方式二：透明代理缓存方案也遵循HTTP协议，其关键技术点在于将Web缓存服务器部署在网络出口或者网络关键节点位置，用于监控并挟持所有TCP80端口流量。具体地，在浏览器向网页服务器发起TCP连接请求之后，Web缓存服务器强制劫持TCP连接请求，与浏览器建立TCP连接。并且Web缓存服务器通过劫持浏览器向网页服务器发送的HTTP请求，可以代理浏览器向网页服务器发起HTTP请求并将网页服务器响应的HTTP请求内容转发给浏览器，同时缓存HTTP请求内容，以备响应后续的HTTP请求。上述透明代理缓存方案普遍适用于大型企业网网络环境中，但若应用在运营商网络环境下，也会存在以下问题：由于透明代理缓存方案中，Web缓存服务器需监控并劫持所有TCP80端口的流量，而在互联网中实际存在少量TCP80端口承载了部分非HTTP协议流量，采用这种全量接管的方式将导致非HTTP协议流量承载业务异常。此外，由于Web缓存服务器仅对HTTP协议明确可以缓存的内容开展缓存，对于不能缓存的内容只能提供代理服务。这种只可代理不能缓存的内容一般称为动态内容，若Web缓存服务器全量劫持TCP80端口的流量中存在动态内容，则这些动态内容会大量占用Web缓存服务器资源，导致整体的加速效果下降。由于在运营商网络环境中用户访问流量较大，对服务的可靠性要求较高，考虑到上述缺陷，透明代理缓存方案并不适用于运营商网络环境中。基于此，现有技术中反向代理缓存方案和透明代理缓存方案均无法有效适用于运营商网络环境下。
技术实现思路
本申请实施例提供一种网络流量缓存系统、方法及装置，用以解决现有技术中反向代理缓存方案和透明代理缓存方案均无法有效适用于运营商网络环境下的问题。本申请实施例提供的一种网络流量缓存系统，包括：核心路由器、软件定义网络(SoftwareDefinedNetwork，SDN)交换机、透明代理缓存服务器、互联网WEB网站服务器；其中，所述核心路由器，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配，若匹配，则将所述IP数据包转发给所述SDN交换机；若不匹配，则将所述IP数据包转发给所述WEB网站服务器；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；所述SDN交换机，用于在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由所述WEB网站服务器响应所述网页请求消息，或由所述透明代理缓存服务器响应所述网页请求消息；所述透明代理缓存服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有所述网页请求消息所请求的网页内容的网页资源响应消息；所述网页内容为所述透明代理缓存服务器预先从所述WEB网站服务器获取并缓存的；所述WEB网站服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息。本申请实施例提供的一种网络流量缓存方法，包括：核心路由器在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；若匹配，则所述核心路由器将所述IP数据包转发给软件定义网络SDN交换机；所述SDN交换机在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；若不匹配，则所述核心路由器将所述IP数据包转发给所述WEB网站服务器；所述WEB网站服务器在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息。本申请又一实施例提供的一种网络流量缓存方法，包括：核心路由器在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；若匹配，则将所述IP数据包转发给软件定义网络SDN交换机，以便由所述SDN交换机确定响应所述网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；若不匹配，则将所述IP数据包转发给所述WEB网站服务器，以便由所述WEB网站服务器响应所述网页请求消息。本申请又一实施例提供的一种网络流量缓存方法，包括：软件定义网络SDN交换机确定待转发的IP数据包；所述IP数据包与核心路由器预先配置的策略路由相匹配，其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；基本文档来自技高网...

【技术保护点】
1.一种网络流量缓存系统，其特征在于，该系统包括：核心路由器、软件定义网络SDN交换机、透明代理缓存服务器、互联网WEB网站服务器；其中，所述核心路由器，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配，若匹配，则将所述IP数据包转发给所述SDN交换机；若不匹配，则将所述IP数据包转发给所述WEB网站服务器；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；所述SDN交换机，用于在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由所述WEB网站服务器响应所述网页请求消息，或由所述透明代理缓存服务器响应所述网页请求消息；所述透明代理缓存服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有所述网页请求消息所请求的网页内容的网页资源响应消息；所述网页内容为所述透明代理缓存服务器预先从所述WEB网站服务器获取并缓存的；所述WEB网站服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息。...

【技术特征摘要】
1.一种网络流量缓存系统，其特征在于，该系统包括：核心路由器、软件定义网络SDN交换机、透明代理缓存服务器、互联网WEB网站服务器；其中，所述核心路由器，用于在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配，若匹配，则将所述IP数据包转发给所述SDN交换机；若不匹配，则将所述IP数据包转发给所述WEB网站服务器；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；所述SDN交换机，用于在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由所述WEB网站服务器响应所述网页请求消息，或由所述透明代理缓存服务器响应所述网页请求消息；所述透明代理缓存服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有所述网页请求消息所请求的网页内容的网页资源响应消息；所述网页内容为所述透明代理缓存服务器预先从所述WEB网站服务器获取并缓存的；所述WEB网站服务器，用于在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息。2.如权利要求1所述的系统，其特征在于，所述系统还包括：SDN控制器；其中，所述SDN控制器，用于向所述SDN交换机下发所述转发流表，所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所述SDN交换机确定所述IP数据包的下一跳转发地址；所述SDN交换机具体用于：在转发匹配所述策略路由的IP数据包时，将所述IP数据包与所述SDN控制器下发的所述转发流表进行匹配，若匹配，则将所述IP数据包通过第一端口转发给所述核心路由器；若不匹配，则将所述IP数据包通过第二端口转发给所述透明代理缓存服务器；所述核心路由器还用于：将所述SDN交换机通过所述第一端口发来的IP数据包转发给WEB网站服务器，以便由WEB网站服务器响应所述IP数据包所承载的网页请求消息；所述透明代理缓存服务器具体用于：接收所述SDN交换机通过所述第二端口发来的IP数据包，并响应该IP数据包所承载的网页请求消息。3.如权利要求2所述的系统，其特征在于，所述系统中还包括：缓存日志分析服务器、管理平台；所述透明代理缓存服务器还用于：向所述缓存日志分析服务器上报缓存运行日志；所述缓存运行日志中记录有处理及响应网页请求消息的过程信息；从接收到的IP数据包中获取承载的协议类型为非超文本传输协议HTTP协议的IP数据包所携带的目的IP地址信息；基于获取到的目的IP地址信息，生成承载非HTTP协议的IP数据包的目的IP地址清单并发送给所述SDN控制器；所述缓存日志分析服务器，用于基于所述缓存运行日志中记录的所述过程信息，生成缓存日志分析结果；所述管理平台，用于将人工配置的IP地址黑白名单发送给所述SDN控制器；所述SDN控制器具体用于：基于接收的缓存日志分析结果、承载非HTTP协议的IP数据包的目的IP地址清单、IP地址黑白名单、确定不可缓存IP地址清单；基于所述不可缓存IP地址清单，生成所述转发流表并下发给所述SDN交换机。4.如权利要求3所述的系统，其特征在于，所述系统中还包括：深度包检测DPI流量分析器；所述DPI流量分析器，用于采集并分析由所述核心路由器转发的承载HTTPS协议的TCP端口号为443的IP数据包，获取该IP数据包承载的HTTPS协议交互消息中携带的域名信息并记录在第一域名清单中，将所述第一域名清单发送给所述管理平台；所述缓存日志分析服务器，还用于：基于接收到的所述缓存运行日志，获取由所述透明代理缓存服务器提供缓存服务的网页请求消息中所携带的域名信息，并记录在第二域名清单中；所述管理平台还用于：基于接收到的所述第一域名清单以及第二域名清单，确定可缓存域名清单。5.一种网络流量缓存方法，其特征在于，包括：核心路由器在转发承载网页请求消息的IP数据包时，将所述IP数据包与预先配置的策略路由进行匹配；其中，所述策略路由仅匹配具有指定的IP地址信息且承载传输控制协议TCP端口号为80的IP数据包；若匹配，则所述核心路由器将所述IP数据包转发给软件定义网络SDN交换机；所述SDN交换机在转发匹配所述策略路由的IP数据包时，基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式；其中，响应所述网页请求消息的方式为由互联网WEB网站服务器响应所述网页请求消息，或由透明代理缓存服务器响应所述网页请求消息；若不匹配，则所述核心路由器将所述IP数据包转发给所述WEB网站服务器；所述WEB网站服务器在接收到IP数据包所承载的网页请求消息后，向客户端发送携带有网页内容的网页资源响应消息。6.如权利要求5所述的方法，其特征在于，所述SDN交换机基于所述IP数据包携带的目的IP地址信息以及预先配置的转发流表，确定响应所述IP数据包所承载的网页请求消息的方式，包括：所述SDN交换机接收SDN控制器下发的转发流表；所述转发流表为所述SDN控制器根据不可缓存IP地址清单动态生成的，用于指示所...

【专利技术属性】
技术研发人员：盛帅军，陈清，叶文婷，贺青，周伟华，
申请(专利权)人：中国移动通信集团甘肃有限公司，中国移动通信集团公司，
类型：发明
国别省市：甘肃,62