【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及网络通信领域，特别是涉及一种数据处理方法、缓存节点、协作控制器及系统。
技术介绍
随着宽带接入的普及以及基于流媒体的宽带应用的迅速发展，CDN被发现是一种能够有效缓解流媒体传输的高吞吐率对骨干网络带来的压力，同时提升流媒体服务质量的有效手段。因此，近年来，CDN得到越来越多的重视，并在国内外得到广泛的部署，而流媒体内容也取代Web内容成为CDN的主要承载对象。⑶N的核心思想是将数据内容从中心网络推到边缘靠近用户的地方，这样，不但有效提高了用户访问内容的性能，而且有效减轻了中心设备和骨干网络的压力，通过⑶N可以将内容从原来的单一中心结构变为分布式的结构。单个CDN服务器相当于一个缓存节点，其缓存和服务能力有限，因此需要建立一个由多个CDN服务器组成的缓存节点群组通过协同缓存的方式进行协同工作，充分利用各个CDN服务器彼此的缓存空间提高命中率、分散热点数据、均衡各服务器负载，避免单点出错和解决瓶颈问题。现有的CDN缓存节点，其内部的单一存储空间即存储用于本地访问的本地数据内容又存储用于非本地访问的协作数据内容，且在参与协作的过程中，只考虑协作的全局目标，参与协作的CDN缓存节点完全对等，忽略了缓存的本地优化的不同需求。
技术实现思路
为解决上述技术问题，本申请实施例提供一种数据处理方法、缓存节点、协作控制器及系统，综合协作的全局及单个缓存节点，有效的对参与的协作的数据进行处理。技术方案如下一种数据处理方法，基于数据缓存的缓存节点群组，所述群组中任一缓存节点包括用于对本地客户端访问的数据进行保存的本地替换空间及用于对非本地客户端访问的数据内容进行保存的协...
【技术保护点】
１．一种数据处理方法，其特征在于，基于数据缓存的缓存节点群组，所述群组中任一缓存节点包括：用于对本地客户端访问的数据进行保存的本地替换空间及用于对非本地客户端访问的数据内容进行保存的协作替换空间；所述方法包括：接收客户端数据请求的被访问缓存节点对与所述数据请求相对应的数据内容进行查找；当在所述被访问缓存节点的本地替换空间中未查找到所述数据内容时，查询预设数据内容目录列表；所述数据内容目录列表中设置有数据内容与其对应缓存节点的对应关系；依据所述对应关系将所述缓存节点群组中的其它缓存节点中包含所述数据内容的缓存节点作为目标缓存节点；从所述目标缓存节点的协作替换空间中获取所述数据内容并将所述数据内容保存至所述被访问缓存节点的本地替换空间。
【技术特征摘要】
【国外来华专利技术】1.一种数据处理方法，其特征在于，基于数据缓存的缓存节点群组，所述群组中任一缓存节点包括用于对本地客户端访问的数据进行保存的本地替换空间及用于对非本地客户端访问的数据内容进行保存的协作替换空间；所述方法包括接收客户端数据请求的被访问缓存节点对与所述数据请求相对应的数据内容进行查找；当在所述被访问缓存节点的本地替换空间中未查找到所述数据内容时，查询预设数据内容目录列表；所述数据内容目录列表中设置有数据内容与其对应缓存节点的对应关系； 依据所述对应关系将所述缓存节点群组中的其它缓存节点中包含所述数据内容的缓存节点作为目标缓存节点；从所述目标缓存节点的协作替换空间中获取所述数据内容并将所述数据内容保存至所述被访问缓存节点的本地替换空间。2.根据权利要求1所述的方法，其特征在于，所述查询预设数据内容目录列表的过程具体为查询由协作控制器进行预设的数据内容目录列表。3.根据权利要求2所述的方法，其特征在于，依据所述对应关系确定目标缓存节点的过程包括查询预设数据内容目录列表中设置的数据内容与其对应缓存节点的对应关系； 当查找到与所述客户端所请求数据内容相对应的缓存节点时，将所述缓存节点作为目标缓存节点。4.根据权利要求3所述的方法，其特征在于，还包括当未查找到与所述客户端所请求数据内容相对应的缓存节点时，将接收的客户端数据请求转发至内容源服务器；从所述内容源服务器获取与所述数据请求相对应的数据内容； 将所述获取的数据内容保存至所述被访问缓存节点的协作替换空间。5.根据权利要求4所述的方法，其特征在于，还包括对所述被访问缓存节点的协作替换空间保存的数据内容的目录列表进行更新； 将经过更新的目录列表发送至所述协作控制器。6.根据权利要求5所述的方法，其特征在于，将获取的数据内容保存至协作替换空间的过程中，当协作替换空间的存储空间达到预设阈值时，还包括协作替换空间中数据内容的替换过程，具体为读取协作替换空间中的数据内容目录列表，查询所述目录列表中记录的非本地客户端访问频率最低的数据内容；将所述访问频率最低的数据内容替换为所述获取的数据内容。7.根据权利要求6所述的方法，其特征在于，还包括读取本地替换空间中的数据内容目录列表，查询所述目录列表中记录的本地客户端访问频率最低的数据内容；当协作替换空间中被替换的访问频率最低的数据内容的访问更新时间晚于本地替换空间中访问频率最低的数据内容的访问更新时间且本地替换空间的存储空间未达到预设阈值时，将所述协作替换空间中被替换的访问频率最低的数据内容加入本地替换空间中进行保存。8.根据权利要求6所述的方法，其特征在于，还包括读取本地替换空间中的数据内容目录列表，查询所述目录列表中记录的本地客户端访问频率最低的数据内容；当协作替换空间中被替换的访问频率最低的数据内容的访问更新时间晚于本地替换空间中访问频率最低的数据内容的访问更新时间且本地替换空间的存储空间达到预设阈值时，将所述本地替换空间中访问频率最低的数据内容替换为所述协作替换空间中被替换的访问频率最低的数据内容。9.根据权利要求7或8所述的方法，其特征在于，在所述协作替换空间被访问的过程中，当所述协作替换空间被访问次数过多，造成所述缓存节点所在链路的利用率超过预设链路利用率时，还包括协作替换空间中数据内容的转移过程，具体为统计当前被访问缓存节点协作替换空间中被访问频率从高到低的N个数据内容，所述 N个数据内容为被访问频率值超过预设访问频率值的全部数据内容；将所述N个数据内容的内容列表发送至协作控制器；接收所述协作控制器的转移指令，所述转移指令包括链路利用率低的目标转移缓存节点的物理地址；依据所述物理地址将所述N个数据内容转移至所述链路利用率低的目标转移缓存节点的协作替换空间。10.根据权利要求3所述的方法，其特征在于，从所述目标缓存节点获取数据内容的过程包括将被访问缓存节点接收的客户端数据请求转发至所述目标缓存节点；接收所述目标缓存节点返回的其协作替换空间中保存的与所述数据请求相对应的数据内容。11.根据权利要求10所述的方法，其特征在于，将获取的目标缓存节点的协作替换空间中的数据内容保存至被访问缓存节点的本地替换空间的过程中，当本地替换空间的存储空间达到预设阈值时，还包括本体替换空间中数据内容的替换过程，具体为读取本地替换空间中的数据内容目录列表，查询本地替换空间中记录的本地客户端访问频率最低的数据内容；将所述本地客户端访问频率最低的数据内容替换为所述从目标缓存节点的协作替换空间中获取的数据内容。12.根据权利要求11所述的方法，其特征在于，还包括读取协作替换空间中的数据内容目录列表；当所述数据内容目录列表中未记录有所述本地替换空间中被替换的数据内容且所述协作替换空间的存储空间未达到预设阈值时，将所述本地替换空间中被替换的访问频率最低的内容加入到协作替换空间中进行保存。13.根据权利要求11所述的方法，其特征在于，还包括读取协作替换空间中的数据内容目录列表，查询所述目录列表中记录的非本地客户端访问频率最低的数据内容；当所述数据内容目录表列中未记录有所述本地替换空间中被替换的数据内容且所述协作替换空间达到预设阈值时，将所述协作替换空间中非本地客户端访问频率最低的数据内容替换为本地替换空间中被替换出的本地客户端访问频率最低的数据内容，并将替换出的协作替换空间中非本地客户端访问频率最低的数据内容进行删除。14.一种缓存节点，其特征在于，应用于数据缓存的缓存节点群组中，包括控制模块、 本地替换空间和协作替换空间；其中所述本地替换空间用于对本地客户端访问的数据进行保存；所述协作替换空间用于对非本地客户端访问的数据内容进行保存；所述控制模块用于接收客户端发送的数据请求，并在所述本地替换空间中查找与所述数据请求相对应的的数据内容；当在所述本地替换空间中未查找到所述数据内容时，查询数据内容目录列表中设置的数据内容与其对应缓存节点的对应关系，依据所述对应关系将所述缓存节点群组中的其它缓存节点中包含所述数据内容的缓存节点作为目标缓存节点； 从所述目标缓存节点的协作替换空间中获取所述数据内容并将所述数据内容保存至所述本地替换空间中。15.根据权利要求14所述的缓存节点，其特征在于，所述控制模块包括接收单元，用于接收客户端发送的数据请求；查找单元，用于依据所述接收单元接收的数据请求在所述本地替换空间中查找与所述数据请求相对应的数据内容；查询单元，用于当所述查找单元在所述本地替换空间中未查找到所述数据内容时，查询数据内容目录列表中设置的数据内容与其对应缓存节点的对应关系；确定单元，用于当所述查询单元查询到所述数据内容与其对应缓存节点的对应关系时，依据所述对应关系将所述缓存节点群组中的其它缓存节点中包含所述数据内容的缓存节点确定为目标缓存节点；获取单元，用于从所述确定单元确定的目标缓存节点的协作替换空间获取所述数据内容并将所述数据内容保存至所述本地替换空间。16.根据权利要求15...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。