基于CDN的内容管理系统技术方案

本发明专利技术提供一种基于CDN的内容管理系统，包括分布式调度中心、大数据中心、任务执行服务器集群、分布式可靠协调系统和内容缓存服务器；所述分布式调度中心用于根据客户请求进行任务调度；所述大数据中心用于保存客户任务请求数据；所述任务执行服务器集群用于接收分布式调度服务器发送的任务转换指令，并发送任务指令到对应区域和运营商的所述内容缓存服务器；所述分布式可靠协调系统用于保存内容管理系统的所有服务器的状态及属性；所述内容缓存服务器用于缓存客户的文件。本发明专利技术的基于CDN的内容管理系统能够实现对缓存文件有效管理。

【技术实现步骤摘要】

本专利技术涉及一种内容管理系统，特别是涉及一种基于⑶N(Content DeliveryNetwork，内容分发网络)的内容管理系统。
技术介绍
随着互联网的蓬勃发展，通过网络来浏览网页、收听音乐、收看视频的用户越来越大。为了保证用户可以快速获取到网络信息，越来越多互联网网站需要通过CDN进行加速。CDN的基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。具体地，CDN通过采用边缘节点缓存客户数据的方式来提高客户端浏览器的访问速度。现有技术中，边缘缓存服务器在以下两种情况下进行文件缓存:一、客户发出推送请求，为解决客户源文件的更新问题，进行文件删除或过期处理；二、通过预测分析可能存在的热点，进行预取操作，以提高客户端第一次访问体验。然而，上述方式导致边缘服务器缓存了客户大量的缓存文件，存在以下不足:(I)现有⑶N产品缺少对边缘服务器的内容管理，不能对缓存文件进行整个生命周期的管理；(2)无法根据不同缓存类型对缓存文件进行针对性处理，如针对流媒体内容进行直播流控制、流媒体格式转换、图片格式转化等处理；(3)对缓存文件的预取功能无法实现范围精确控制、精细流量控制，以及冷热预取。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于⑶N的内容管理系统，通过发送目标URL和操作类型到分布式调度服务器(Master)，Master服务器根据调度策略发送到任务执行服务器(Work)，Work服务器再尽快分发任务消息到所有内容缓存服务器(CacheServer)，CacheServer服务器接收内容管理指令并对缓存文件进行管理。为实现上述目的及其他相关目的，本专利技术提供一种基于⑶N的内容管理系统，包括分布式调度中心、大数据中心、任务执行服务器集群、分布式可靠协调系统和内容缓存服务器；所述分布式调度中心包括多个分布式调度服务器，用于根据客户请求进行任务调度；所述大数据中心用于保存客户任务请求数据，进行任务数据的统计和分析；所述任务执行服务器集群部署在不同区域和运营商，用于接收分布式调度服务器发送的任务转换指令，并发送任务指令到对应区域和运营商的所述内容缓存服务器；所述分布式可靠协调系统用于保存内容管理系统的所有服务器的状态及属性；所述内容缓存服务器用于缓存客户的文件，所述内容缓存服务器上部署有内容管理客户端；所述内容管理客户端用于执行所述任务执行服务器下发的任务，并反馈任务结果至所述任务执行服务器。根据上述的基于⑶N的内容管理系统，其中:所述分布式调度中心中，选举一台分布式调度服务器作为中央调度服务器，在任意一台分布式调度服务器故障时，中央调度服务器选择其他分布式调度服务器接管故障分布式调度服务器的工作；若中央调度服务器故障，则其他分布式调度服务器进行选举一个新的中央调度服务器接管之前的工作。根据上述的基于⑶N的内容管理系统，其中:所述分布式调度服务器包括系统接口模块、任务调度模块、策略模块、任务执行负载均衡模块和子任务分配模块；所述系统接口模块用于接收和验证客户内容管理请求，并保存任务数据，同时将任务添加到任务队列中；所述策略模块用于根据业务配置数据和客户类型生成不同的客户策略；所述任务调度模块用于根据当前客户策略与配置，获取任务队列中的任务，初始化任务并调度执行任务；所述任务执行负载均衡模块用于登记所述任务执行服务器当前的负载、CPU、内存和任务分发情况，并根据同一区域和运营商优先的原则，选择综合负载最低的任务执行服务器执行任务分发；所述子任务分配模块用于将任务数据根据区域或运营商进行拆分为子任务，并发送出到对应目标的任务执行服务器上，并维护任务执行服务器与子任务的关联关系。进一步地，根据上述的基于⑶N的内容管理系统，其中:所述任务分配模块将任务数据根据区域或运营商以二选一的方式进行拆分，并采用json数据交换语言进行编码，采用异步通信方式进行发送。根据上述的基于⑶N的内容管理系统，其中:所述任务执行服务器包括子任务接收模块、任务计算模块、消息发送模块、任务反馈模块和缓存模块；所述子任务接收模块用于接收分布式调度服务器发送的子任务，并添加到任务队列中；所述任务计算模块用于根据所述缓存模块缓存的客户CDN加速信息，计算任务的所覆盖的内容缓存服务器的范围，并生成任务指令；所述消息发送模块用于发送任务指令到所有的目标机器；所述任务反馈模块用于接收内容管理客户端反馈的任务结果，并根据任务结果更新任务进度；所述缓存模块用于缓存CDN网络中各个节点的状态，实时更新所有节点的软硬件故障状态；保存和实时更新客户的业务配置数据，以及缓存任务目标的计算结果。进一步地，根据上述的基于⑶N的内容管理系统，其中:所述消息发送模块向目标机器发送任务指令时，若客户端反馈失败或指令发送超时导致发送失败，则重试若干次，重试时将任务指令重新添加到任务队列中。根据上述的基于⑶N的内容管理系统，其中:所述内容管理客户端包括协议处理模块、任务执行模块和任务反馈模块；所述协议处理模块用于接收并解析任务执行服务器发送的任务指令，并添加到任务队列中；所述任务执行模块用于获取任务队列中任务，并执行任务；所述任务反馈模块用于向所述任务执行服务器反馈任务结果。 根据权利要求7所述的基于CDN的内容管理系统，其特征在于:所述任务执行模块执行任务时，首先需判断任务类型；若是预取任务，则开始下载文件，并定时汇报下载进度到所述任务执行服务器；若是推送任务，则标志文件过期或删除；若是文件校验任务，则计算对应文件的MD5值；若是文件转化任务，则根据目标文件进行格式转化。进一步地，根据上述的基于CDN的内容管理系统，其中:所述预取任务的执行流程包括以下步骤:客户提交预取任务请求；客户的任务请求通过负载均衡服务器转发到任意一台分布式调度服务器；分布式调度服务器校验任务数据，并根据对应的预取策略与任务执行服务器的负载与属性信息，将任务转发到当前较优的任务执行服务器；任务执行服务器计算客户在CDN网络中的加速范围，并找到加速节点缓存服务器所在的负载均衡服务器，询问对应的内容缓存服务器；负载均衡服务器返回对应的内容缓存服务器ip ;任务执行服务器发送预取指令到内容缓存服务器的内容管理客户端；判断所要预取的文件是否存在；如果不存在，则向一级内容缓存服务器请求该文件；一级缓存服务器判断是否存在该文件，如果不存在，则向客户源服务器请求该文件。进一步地，根据上述的基于⑶N的内容管理系统，其中:所述推送任务的执行流程包括以下步骤:客户提交推送任务请求；客户的任务请求通过负载均衡服务器转发到任意一台分布式调度服务器；分布式调度服务器校验任务数据，并根据区域或运营商信息将任务分解为多个子任务，并分配到若干个的任务执行服务器上；任务执行服务器根据目当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种基于CDN的内容管理系统，其特征在于：包括分布式调度中心、大数据中心、任务执行服务器集群、分布式可靠协调系统和内容缓存服务器；所述分布式调度中心包括多个分布式调度服务器，用于根据客户请求进行任务调度；所述大数据中心用于保存客户任务请求数据，进行任务数据的统计和分析；所述任务执行服务器集群部署在不同区域和运营商，用于接收分布式调度服务器发送的任务转换指令，并发送任务指令到对应区域和运营商的所述内容缓存服务器；所述分布式可靠协调系统用于保存内容管理系统的所有服务器的状态及属性；所述内容缓存服务器用于缓存客户的文件，所述内容缓存服务器上部署有内容管理客户端；所述内容管理客户端用于执行所述任务执行服务器下发的任务，并反馈任务结果至所述任务执行服务器。

【技术特征摘要】

【专利技术属性】
技术研发人员：洪珂，陈亮，林更新，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海;31