基于CDN的大文件分发方法技术

本发明专利技术提供了一种基于CDN的大文件分发方法，包括：DNS模块接收自客户端发送的请求，并发送至元数据服务器；元数据服务器通过检索其内置的文件列表信息对请求是否为大文件进行判断，若该请求是大文件，则向DNS模块应答，并由DNS模块与负载均衡系统在边缘节点集中根据预定策略从边缘节点集中抽选至少一个呈健康状态的边缘节点，以响应客户端。在发明专利技术中，在本发明专利技术中，通过DNS模块与负载均衡系统在边缘节点集中根据预定策略从边缘节点集中抽选至少一个呈健康状态边缘节点，实现了用户对大文件并发请求的响应速度，减少了边缘节点的计算负荷，提高了在CDN环境中的大文件实现基于并发请求的数据分发效果。

Large file distribution method based on CDN

The present invention provides a method for distributing large files based on CDN, including: DNS module is received from the client's request, and sent to the metadata server; metadata server by retrieving the built-in file list information on whether the request for large files to determine if the request is large files to the DNS module and response. By the DNS module and the load balancing system in the edge node set according to a predetermined strategy from the edge node set selected at least one is edge node health status, in response to the client. In the invention, the invention, by DNS module and load balancing system according to the predetermined strategy from the edge node set selected at least one is healthy at the edge of the edge node node, to achieve the user response speed of the large file concurrent requests, reduces the computational load of the edge nodes, improves the files in CDN environment the implementation effect of concurrent requests based on data distribution.

【技术实现步骤摘要】

本专利技术涉及内容分发网络
，尤其涉及一种基于CDN的大文件分发方法。
技术介绍
随着互联网业务的迅猛发展，对网络应用或者大文件的下载等服务应用的服务质量及用户体验的提高已不再局限于底层的网络控制。内容分发网络(Content Delivery Network,CDN)技术应运而生。CDN是能在传统的IP网发布带宽丰富媒体而特别优化的网络覆盖层。CDN是一种基于质量和秩序的网络服务模式。CDN以提高互联网业务的服务质量及用户体验为目的，通过网络边缘节点(Network Edge Node,NEN)向互联网业务的终端用户提供更好的网络应用体验。目前，大文件在互联网中所执行的分发请求，都是用户所发起的一个请求针对一个特定的边缘节点的请求。虽然现有技术中也有采取并发下载的技术方案来解决大文件的下载，但是传统的大文件并发下载时，也是将包含大文件的访问请求落在同一个边缘节点中。这会导致CDN中的某个或者某些边缘节点中的缓存系统负载出现拥塞，导致整个CDN出现性能下降，甚至造成CDN网络通信业务陷入停顿。有鉴于此，有必要对现有技术中基于CDN的大文件分发方法予以改进，以解决上述问题。
技术实现思路
本专利技术的目的在于公开一种CDN的大文件分发方法，实现用户对大文件并发请求的响应速度，减少边缘节点的计算负荷，提高基于CDN环境中的大文件实现分发的效果。为实现上述专利技术目的，本专利技术提供了一种基于CDN的大文件分发方法，包括：DNS模块接收自客户端发送的请求，并发送至元数据服务器；元数据服务器通过检索其内置的文件列表信息对请求是否为大文件进行判断，若该请求是大文件，则向DNS模块应答，并由DNS模块与负载均衡系统在边缘节点集中根据预定策略从边缘节点集中抽选至少一个呈健康状态边缘节点，以响应客户端。在一些实施方式中，所述负载均衡系统包括：云存储模块、缓存服务器、云计算模块及数据表；其中，云存储模块接收边缘节点上传的实时监控信息，存入数据表中的同时更新缓存服务器中所留存的监控信息；数据表保存全部监控信息，缓存服务器只保存实时监控信息；所述云计算模块接收DNS模块发送的边缘节点及客户端属性参数，并从缓存服务器中获取边缘节点的实时监控信息，并根据预定策略从边缘节点集中抽选一个呈健康状态边缘节点，以响应客户端。在一些实施方式中，所述预定策略包括设定边缘节点到客户端IP地址的RTT值，所述RTT值小于等于155ms。在一些实施方式中，还包括DNS模块通过解析客户端IP地址，在地址库中执行至少一次查找操作，以从边缘节点集中匹配出与客户端IP地址具有相同ISP及相同地域或者周边地域的边缘节点，以构成可用边缘节点集。在一些实施方式中，所述数据表被配置为数据库、excel文件、word文件、txt文件、json文件或者xml文件。在一些实施方式中，所述数据库包括：Oracle数据库、DB2数据库、Postgre SQL数据库、Microsoft SQL Server数据库、Microsoft Access数据库或者MySQL数据库。在一些实施方式中，所述预定策略还包括边缘节点的负载以及边缘节点的带宽；所述边缘节点的带宽的权重值为40％、边缘节点的负载的权重值为30％、客户端IP地址的RTT值的权重值为30％。与现有技术相比，本专利技术的有益效果是：在本专利技术中，通过DNS模块与负载均衡系统在边缘节点集中根据预定策略从边缘节点集中抽选至少一个呈健康状态边缘节点，实现了用户对大文件并发请求的响应速度，减少了边缘节点的计算负荷，提高了在CDN环境中的大文件实现基于并发请求的数据分发效果。附图说明图1为加载并运行本专利技术基于CDN的大文件分发方法的大文件分发系统的结构图；图2为图1中负载均衡系统的结构图；图3为图1中DNS模块的工作流程图；图4为图1中负载均衡系统的工作流程图。具体实施方式下面结合附图所示的各实施方式对本专利技术进行详细说明，但应当说明的是，这些实施方式并非对本专利技术的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本专利技术的保护范围之内。请参图1至图4所示出的本专利技术基于CDN的大文件分发方法的一种具体实施方式。在本实施方式中，该基于CDN的大文件分发方法，主要由以下步骤实现。DNS模块20接收自客户端10发送的请求，并将该请求发送至元数据服务器30；元数据服务器30通过检索其内置的文件列表信息对请求是否为大文件进行判断，若该请求是大文件，则返回DNS模块20并向DNS模块20应答，并由DNS模块20与负载均衡系统40在边缘节点集50中根据预定策略从边缘节点集50中抽选至少一个呈健康状态的边缘节点(例如，边缘节点501)，并通过边缘节点501响应客户端10。元数据服务器30是分发至客户端10并用于汇报待分发文件的大小、修改时间等文件属性的一个索引服务器，同时也表明了此待分发文件目前存在于一个或多个边缘节点中。具体的，该元数据服务器30所具体执行的操作如下所示。当源站分发文件到边缘节点时，根据待分发文件的属性和文件分发完成情况，添加并修改元数据服务器30中的文件列表信息。在因为特殊需求而需要扩展边缘节点时(即把待分发文件从一个边缘节点拷贝到另一个边缘节点时)也需要修改元数据服务器30中的文件列表信息。在监控到边缘节点集50中的某个边缘节点网络不通或者不可服务时，则也需要修改元数据服务器30中的文件列表信息，删除此边缘节点的信息，防止客户端10发起的range并发请求所导致的大文件在执行分发操作过程中被选取为用于向客户端10的请求响应的边缘节点。如图1所示，该边缘节点集50中形成有i个边缘节点，即边缘节点501、边缘节点502至边缘节点50i；其中，i没有数量的上限。为简化表示，在边缘节点集50中，使用实线框代表被DNS模块20与负载均衡系统40在边缘节点集50中所选取并用于向客户端10发起的range并发请求作出响应的边缘节点(即边缘节点501)，使用虚线框代表没有被DNS模块20与负载均衡系统40所选取的边缘节点(即边缘节点502至边缘节点50i)。结合图2所示，在本实施方式中，该负载均衡系统40包括：云存储模块401、缓存服务器402、云计算模块404及数据表403；其中，云存储模块401接收边缘节点501上传的实时监控信息，存入数据表403中的同时更新缓存服务器402中所留存的监控信息；数据表403保存全部监控信息，缓存服务器402只保存实时监控信息。其中，监控信息包括边缘节点的带宽、边缘节点的负载、边缘节点的磁盘IO读写、边缘节点的TCP连接数、边缘节点的CPU占用率以及客户端IP地址的RTT值等能够表征边缘节点可用性的参数。监控信息的上报频率为1分钟。实时监控信息是指当前分钟的监控信息，全部监控信息是指从CDN系统自上线到当前分钟这一时间段内的所有监控信息。云计算模块404接收DNS模块20发送的边缘节点501及客户端属性参数，并从缓存服务器402中获取边缘节点的实时监控数据，并根据预定策略从边缘节点集50中抽选一个呈健康状态边缘节点(例如，边缘节点501)，以响应客户端10。当然，可根据预定策略从边缘节点集50中抽选两个或者多个呈健康状态边缘节点(未示出)。具体的，图1中箭头①代表：本文档来自技高网...

【技术保护点】
基于CDN的大文件分发方法，其特征在于，包括：DNS模块接收自客户端发送的请求，并发送至元数据服务器；元数据服务器通过检索其内置的文件列表信息对请求是否为大文件进行判断，若该请求是大文件，则向DNS模块应答，并由DNS模块与负载均衡系统在边缘节点集中根据预定策略从边缘节点集中抽选至少一个呈健康状态边缘节点，以响应客户端。

【技术特征摘要】
1.基于CDN的大文件分发方法，其特征在于，包括：DNS模块接收自客户端发送的请求，并发送至元数据服务器；元数据服务器通过检索其内置的文件列表信息对请求是否为大文件进行判断，若该请求是大文件，则向DNS模块应答，并由DNS模块与负载均衡系统在边缘节点集中根据预定策略从边缘节点集中抽选至少一个呈健康状态边缘节点，以响应客户端。2.根据权利要求1所述的基于CDN的大文件分发方法，其特征在于，所述负载均衡系统包括：云存储模块、缓存服务器、云计算模块及数据表；其中，云存储模块接收边缘节点上传的实时监控信息，存入数据表中的同时更新缓存服务器中所留存的监控信息；数据表保存全部监控信息，缓存服务器只保存实时监控信息；所述云计算模块接收DNS模块发送的边缘节点及客户端属性参数，并从缓存服务器中获取边缘节点的实时监控数据，并根据预定策略从边缘节点集中抽选一个呈健康状态的边缘节点，以响应客户端。3.根据权利要求2所述的基于CDN的大文件分发方法，其特征在于，所述预定策略包括设定边缘节点到客户端IP地址的RTT值，所述...

【专利技术属性】
技术研发人员：许广彬，郑军，苗权，王燕，
申请(专利权)人：无锡华云数据技术服务有限公司，
类型：发明
国别省市：江苏;32