一种Web协同缓存系统和方法技术方案

本发明专利技术提供了一种Web协同缓存系统，包括：一个集中控制器和两个或两个以上的缓存子节点；所述缓存子节点的缓存摘要包括本地摘要和流行摘要；所述流行摘要，用于维护所述缓存子节点从其相邻节点获取的所有Web对象的路由信息；所述集中控制器包括，全局摘要，用于保存属于所述集中控制器的所有缓存子节点的本地摘要信息。本发明专利技术还提供了一种用于上述系统的方法。本发明专利技术的技术方案能够减轻集中控制器的负载，减小集中控制器作为单一点失效的可能性，有效提高对系统资源的有效使用率，降低终端访问延迟和系统通信带宽开销，显著提高用户的网络服务质量。

【技术实现步骤摘要】

本专利技术涉及计算机网络传输控制领域，具体地说，本专利技术涉及一种W eb协同缓存系统和方法。
技术介绍
AP(Access Point，无线接入点)，相当于连接有线网和无线网的桥梁，其主要作用是提供无线终端对以太网的访问。在典型的园区网络如企业和商场中部署众多AP，大量的移动终端通过这些AP接入互联网。大量WLAN终端的接入容易引起上行汇聚链路的拥塞，增加网络访问延迟，造成TCP吞吐量的下降。为了提高网络业务性能，通用的方案是利用网络缓存技术做Web加速。网络缓存技术利用了 Web对象访问的局部性原理，如果在接近终端的位置设置Web缓存节点，就可以把终端重复访问的热点对象部署在终端附近来提供内容服务，提高网络访问速度。这样大量终端访问的重复性内容就不需要每次都请求Internet源服务器，将大大节省接入与汇聚链路带宽。当前缓存服务器往往部署在园区网络的出口附近，与出口路由器或主干路由节点互联。缓存服务器一般采用高性能的服务器实现，成本较高，而且容易在缓存服务器接入点形成网络拥塞。另一方面，目前AP的硬件性能得到了很大提升，可以外接存储并且软件可编程，但大部分AP的计算和存储资源还很有限，例如通用的AP硬件配置如下:CPU频率为400MHz，内存大小128M，存储空间1GB。因此，单点AP网络缓存效果有限。当前基于AP的缓存研宄工作主要探讨单AP的网络缓存问题，用以提高家庭网络终端的访问速度。而目前大量的协同缓存系统，都针对缓存服务器设计，若直接应用在单个AP资源十分有限但数量较多的环境中，存在缓存路由控制复杂、容易形成单一失效点、缓存替换算法复杂度高和可扩展性差等问题。中国专利技术专利申请CN104618450A提出了一种WLAN的WEB缓存系统和方法，通过在局域网内部署具有包含局域网内所有AP的缓存摘要的全局缓存摘要的缓存控制器来实现集中式的控制以及局域网内大量AP的分布式缓存，试图解决上述问题。但是，这种方案仍不理想，至少存在以下问题:1、在实际应用场景，比如大型商场或超市中，存在某些时段整个系统终端并发访问量会急剧增加的情况。此时，该方案中的AP与缓存控制器之间的交互容易变得异常频繁，网络拥塞程度加剧。如果缓存控制器并发处理能力不足以承受此并发量，那么极有可能造成缓存控制器崩溃失效，从而导致整个系统效率大幅降低；2、在系统实际部署中AP与缓存控制器之间的物理距离往往相隔较远，它们之间的通信延时将随着距离的增加而增加，而AP之间的距离往往相对较近，进而AP与缓存控制器之间的通信延迟往往成为整个终端请求延迟的主要瓶颈所在。因此，现有的Web缓存系统部署方式在具有大量AP的WLAN场景下具有容易形成单一失效点、资源有效使用率低、存在终端访问延迟瓶颈以及系统通信带宽开销偏大等缺点。
技术实现思路
本专利技术的目的是提供一种能够克服上述技术问题，Web协同缓存的解决方案。本专利技术提供了一种Web协同缓存系统，包括:一个集中控制器和两个或两个以上的缓存子节点；所述缓存子节点，用于接收来自与其相连的终端的对Web对象的请求，获取所述对象，并将所述对象发送给所述终端，所述缓存子节点的缓存摘要包括本地摘要和流行摘要；其中，所述本地摘要，用于维护所述缓存子节点的本地缓存存储的所有Web对象的目录信息；所述流行摘要，用于维护所述缓存子节点从其相邻节点获取的所有Web对象的路由信息；所述集中控制器，用于接收来自所述缓存子节点的请求，将所述对象的路由信息发送给所述缓存子节点，包括，全局摘要，用于保存属于所述集中控制器的所有缓存子节点的本地摘要信息。优选地，所述缓存子节点还包括，负载上报模块，用于采集所述缓存子节点的负载信息，并将该信息上报给所述集中控制器；所述集中控制器还包括负载采集模块和调度模块；其中，所述负载采集模块，用于获取所述缓存子节点上报的所述负载信息，并将所述负载信息提供给所述调度模块；所述调度模块，用于根据所述全局摘要和所述负载信息，向所述缓存子节点提供所述对象的路由信息。优选地，所述集中控制器还用于周期性地与属于所述集中控制器的所有所述缓存子节点进行数据同步，更新所述全局摘要。优选地，所述缓存子节点还用于从所述流行摘要中删除失效的路由信息。本专利技术还提供了一种用于上述系统的方法，包括:步骤102，缓存子节点接收终端对Web对象的请求；步骤104，所述缓存子节点根据所述请求检索其缓存摘要，根据所述检索结果获取所述对象。优选地，所述步骤104进一步包括:所述缓存子节点根据所述请求检索所述缓存摘要，在所述对象在所述缓存摘要中的本地摘要中未命中的情况下，在所述缓存摘要中的流行摘要中检索所述对象，根据在所述流行摘要中的检索结果获取所述对象。优选地，所述步骤104进一步包括:在所述对象在所述流行摘要中命中的情况下，所述缓存子节点根据所述流行摘要中关于所述对象的路由信息获取所述对象。优选地，所述方法还包括:步骤106，在所述缓存子节点根据所述流行摘要中关于所述对象的路由信息获取所述对象无效的情况下，所述缓存子节点向所述请求指向的源服务器转发所述请求，从所述源服务器获取所述对象。优选地，所述缓存子节点还用于从流行摘要中删除失效的路由信息，所述步骤106进一步包括:在所述缓存子节点根据所述流行摘要中关于所述对象的路由信息获取所述对象无效的情况下，所述缓存子节点将所述路由信息从所述流行摘要中删除。优选地，所述步骤104进一步包括:在所述缓存子节点根据所述流行摘要中关于所述对象的路由信息获取所述对象有效，且所述缓存子节点的本地缓存未满的情况下，所述缓存子节点将所述对象存入所述本地缓存。优选地，所述步骤104进一步包括:在所述对象在所述流行摘要中未命中的情况下，所述缓存子节点向集中控制器转发所述请求，根据所述集中控制器在其全局摘要中检索所述对象后的返回信息获取所述对象。优选地，所述步骤104进一步包括:在所述集中控制器的返回信息为空的情况下，所述缓存子节点向所述请求指向的源服务器转发所述请求，从所述源服务器获取所述对象。优选地，所述步骤104进一步包括:在所述集中控制器的返回信息为非空的情况下，所述缓存子节点根据所述返回信息中的路由信息获取所述对象。优选地，所述步骤104进一步包括:在所述集中控制器的返回信息为非空的情况下，所述缓存子节点根据所述返回信息中的路由信息获取所述对象，并将所述路由信息添加至所述缓存子节点的所述流行摘要。优选地，所述步骤104进一步包括:所述集中控制器的返回信息为所述全局摘要中包含所述对象的缓存子节点的列表。优选地，所述缓存子节点还包括负载上报模块，用于采集所述缓存子节点的负载信息，并将该信息上报给所述集中控制器；所述集中控制器还包括负载采集模块和调度模块；其中，所述负载采集模块，用于获取所述缓存子节点上报的所述负载信息，并将所述负载信息提供给所述调度模块；所述调度模块，用于根据所述全局摘要和所述负载信息，向所述缓存子节点提供所述对象的路由信息；所述步骤104进一步包括:所述包含所述对象的缓存子节点的列表为根据所述列表中的缓存子节点的负载信息排列的缓存子节点列表。与现有技术相比，本专利技术提出的技术方案具有以下优点:本专利技术的技术方案能够最大程度的减轻集中控制器的负载，减小集中控制器作为单一点失效的可能本文档来自技高网...

【技术保护点】
一种Web协同缓存系统，其特征在于，所述系统包括：一个集中控制器和两个或两个以上的缓存子节点；所述缓存子节点，用于接收来自与其相连的终端的对Web对象的请求，获取所述对象，并将所述对象发送给所述终端，所述缓存子节点的缓存摘要包括本地摘要和流行摘要；其中，所述本地摘要，用于维护所述缓存子节点的本地缓存存储的所有Web对象的目录信息；所述流行摘要，用于维护所述缓存子节点从其相邻节点获取的所有Web对象的路由信息；所述集中控制器，用于接收来自所述缓存子节点的请求，将所述对象的路由信息发送给所述缓存子节点，包括，全局摘要，用于保存属于所述集中控制器的所有缓存子节点的本地摘要信息。

【技术特征摘要】

【专利技术属性】
技术研发人员：王亚坤，张广兴，余显，谢高岗，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11