一种下载数据的方法和装置制造方法及图纸

本发明专利技术公开了一种下载数据的方法和装置，属于数据存储技术领域。所述方法包括：缓存服务器确定本地已存储的待补充的至少一个不完整资源，当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据。采用本发明专利技术，可以提高数据资源的获取效率。

【技术实现步骤摘要】
一种下载数据的方法和装置
本专利技术涉及数据存储
，特别涉及一种下载数据的方法和装置。
技术介绍
随着互联网技术的不断进步，CDN(内容分发网络，ContentDeliveryNetwork)服务也随之快速发展。CDN服务集群中包括大量用于存储数据资源的缓存服务器，用户可以以较短的时间，就近获取其中存储的数据资源。当用户想要通过终端获取某个数据资源时，如想要观看视频或者下载文件，用户可以通过终端发送资源获取请求。CDN服务集群在接收到资源获取请求后，可以将其分发至一台缓存服务器，该缓存服务器中如果未存储有上述数据资源，则可以从相应的资源服务器中获取该数据资源，再将该数据资源反馈给终端，同时可以将数据资源存储在本地。这样，后续如果再接收到该数据资源的资源获取请求，缓存服务器则可以直接反馈本次存储的数据资源。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：如果用户仅想获取某一数据资源的部分内容，如只想看某一视频最后5分钟的内容，缓存服务器则只从资源服务器处获取相应部分的数据资源，而如果再有用户想要获取相同数据资源的全部或者其他未下载部分的内容，缓存服务器则需要与资源服务器再次建立连接，从资源服务器中重新下载该数据资源，这样，不仅容易造成缓存服务器中的资源存储冗余，并且数据资源的获取效率较低。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种下载数据的方法和装置。所述技术方案如下：第一方面，提供了一种下载数据的方法，所述方法包括：缓存服务器确定本地已存储的待补充的至少一个不完整资源；当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据；当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据。可选的，所述缓存服务器确定本地已存储的待补充的至少一个不完整资源，包括：缓存服务器统计本地已存储的所有不完整资源的访问热度；缓存服务器将访问热度大于预设阈值的至少一个不完整资源确定为待补充的不完整资源；所述当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：当满足预设的下载触发条件时，缓存服务器按照所述访问热度从高到低的顺序，自动下载并存储所述至少一个不完整资源的剩余数据。可选的，所述当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：如果当前时刻处于预设的流量低峰时段，缓存服务器则自动下载并存储所述至少一个不完整资源的剩余数据；或者，如果检测到当前流量低于预设的第一流量阈值，缓存服务器则自动下载并存储所述至少一个不完整资源的剩余数据。可选的，所述当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据，包括：如果当前时刻不属于预设的流量低峰时段，缓存服务器则停止下载所述剩余数据；或者，如果检测到当前流量不低于预设的第二流量阈值，缓存服务器则停止下载所述剩余数据；或者，如果所述不完整资源的剩余数据均下载完毕，缓存服务器则停止下载所述剩余数据。可选的，所述缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：缓存服务器根据历史时段内流量最高值、预设下载时长和待补充的不完整资源的剩余数据总量，确定下载任务的并发数量和每个下载任务的限速值；缓存服务器基于所述并发数量和所述限速值，自动下载并存储所述至少一个不完整资源的剩余数据。第二方面，提供了一种下载数据的装置，所述装置包括：确定模块，用于确定本地已存储的待补充的至少一个不完整资源；下载模块，用于当满足预设的下载触发条件时，自动下载并存储所述至少一个不完整资源的剩余数据；停止模块，用于当检测到预设的停止下载事件时，停止下载所述剩余数据。可选的，所述确定模块，具体用于：统计本地已存储的所有不完整资源的访问热度；将访问热度大于预设阈值的至少一个不完整资源确定为待补充的不完整资源；所述下载模块，具体用于：当满足预设的下载触发条件时，按照所述访问热度从高到低的顺序，自动下载并存储所述至少一个不完整资源的剩余数据。可选的，所述下载模块，具体用于：如果当前时刻处于预设的流量低峰时段，则自动下载并存储所述至少一个不完整资源的剩余数据；或者，如果检测到当前流量低于预设的第一流量阈值，则自动下载并存储所述至少一个不完整资源的剩余数据。可选的，所述停止模块，具体用于：如果当前时刻不属于预设的流量低峰时段，则停止下载所述剩余数据；或者，如果检测到当前流量不低于预设的第二流量阈值，则停止下载所述剩余数据；或者，如果所述不完整资源的剩余数据均下载完毕，则停止下载所述剩余数据。可选的，所述下载模块，具体用于：根据历史时段内流量最高值、预设下载时长和待补充的不完整资源的剩余数据总量，确定下载任务的并发数量和每个下载任务的限速值；基于所述并发数量和所述限速值，自动下载并存储所述至少一个不完整资源的剩余数据。第三方面，提供了一种缓存服务器，所述缓存服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的下载数据的方法。第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的下载数据的方法。本专利技术实施例提供的技术方案带来的有益效果是：本专利技术实施例中，缓存服务器确定本地已存储的待补充的至少一个不完整资源，当满足预设的下载触发条件时，缓存服务器自动下载并存储至少一个不完整资源的剩余数据，当检测到预设的停止下载事件时，缓存服务器停止下载剩余数据。这样，缓存服务器可以提前下载并存储本地不完整资源的剩余数据，当用户想要获取该数据资源的任何部分内容时，缓存服务器都可以直接将已缓存的相关数据反馈给用户，无需再次访问资源服务器，从而可以提高数据资源的获取效率。更进一步的，通过设置下载触发条件，选择在流量低峰时段或者流量低峰期进行资源下载，不仅不会对用户访问速率等其他正常业务产生影响，而且可以充分利用该些剩余流量资源。通过对资源热度访问的统计来确定待补充的不完整资源，以更及时的对该些热度较高的待补充资源进行下载，也可以更快速的响应多数用户的访问需求，并且通过阈值的设定，避免缓存服务器的性能资源能耗费在不必要冷门资源上。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种下载数据的场景框架示意图；图2是本专利技术实施例提供的一种下载数据的方法流程图；图3是本专利技术实施例提供的一种下载数据的装置结构示意图；图4是本专利技术实施例提供的一种缓存服务器的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。本专利技术实施例提供了一种下载数据的方法，该方法的执行主体可以是缓存服务器，其中，缓存服务器可以是CDN服务集群中用于存储数据资源的服务器，在本文档来自技高网...

【技术保护点】
一种下载数据的方法，其特征在于，所述方法包括：缓存服务器确定本地已存储的待补充的至少一个不完整资源；当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据；当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据。

【技术特征摘要】
1.一种下载数据的方法，其特征在于，所述方法包括：缓存服务器确定本地已存储的待补充的至少一个不完整资源；当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据；当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据。2.根据权利要求1所述的方法，其特征在于，所述缓存服务器确定本地已存储的待补充的至少一个不完整资源，包括：缓存服务器统计本地已存储的所有不完整资源的访问热度；缓存服务器将访问热度大于预设阈值的至少一个不完整资源确定为待补充的不完整资源；所述当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：当满足预设的下载触发条件时，缓存服务器按照所述访问热度从高到低的顺序，自动下载并存储所述至少一个不完整资源的剩余数据。3.根据权利要求1所述的方法，其特征在于，所述当满足预设的下载触发条件时，缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：如果当前时刻处于预设的流量低峰时段，缓存服务器则自动下载并存储所述至少一个不完整资源的剩余数据；或者，如果检测到当前流量低于预设的第一流量阈值，缓存服务器则自动下载并存储所述至少一个不完整资源的剩余数据。4.根据权利要求1所述的方法，其特征在于，所述当检测到预设的停止下载事件时，缓存服务器停止下载所述剩余数据，包括：如果当前时刻不属于预设的流量低峰时段，缓存服务器则停止下载所述剩余数据；或者，如果检测到当前流量不低于预设的第二流量阈值，缓存服务器则停止下载所述剩余数据；或者，如果所述不完整资源的剩余数据均下载完毕，缓存服务器则停止下载所述剩余数据。5.根据权利要求1所述的方法，其特征在于，所述缓存服务器自动下载并存储所述至少一个不完整资源的剩余数据，包括：缓存服务器根据历史时段内流量最高值、预设下载时长和待补充的不完整资源的剩余数据总量，确定下载任务的并发数量和每个下载任务的限速值；缓存服务器基于所述并发数量和所述限速值，自动下载并存储所述至少一个不完整资源的剩余数据。6.一种下载数据的装置，其特征在于，所述装置包括：确定模块...

【专利技术属性】
技术研发人员：陈丽娟，陈国鹏，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海,31