缓存时间的确定方法、装置及系统制造方法及图纸

本发明专利技术公开了一种缓存时间的确定方法、装置及系统。其中的方法包括：全网客户端对目标页面进行访问时，分别向预取服务器回传所述目标页面对应的资源；所述预取服务器通过解析所述资源，获取所述资源的属性信息的方式，以页面为单位分别收集到针对所述资源对应实例的多个属性信息；所述预取服务器根据收集到的所述多个属性信息的分布，分别计算并记录所述资源对应的缓存时间；所述预取服务器将所述缓存时间提供给所述客户端。可见，本发明专利技术以页面为单位，获取全网用户在访问某页面时该页面和页面资源分别对应的属性特征，根据属性特征的分布分别进行统计，统计该页面资源的对应的最佳缓存时间，浏览器在预取时将根据该最佳缓存时间对页面资源进行缓存，从而提高了网络效率。

【技术实现步骤摘要】
缓存时间的确定方法、装置及系统
本专利技术涉及网络
，特别是涉及缓存时间的确定方法、装置及系统。
技术介绍
随着信息技术的迅速发展，网络规模随着用户数呈指数级增长，也越来越庞大，为了支持断接操作，数据要预先存储到缓存中，由于在断接过程中只能使用本地的数据，所以要提高用户的访问速度，主要采用缓存预取技术来减少网络延迟。用户通过浏览器访问各个站点网页的时，需要传输大量的网页数据(html源码，js代码，图片等多媒体数据)。由于大量的网页数据更新频度较低，特别是js代码之类的，所以http请求的返回数据中往往包含了站长提供的缓存时间，用以提示客户端在预读取时，以缓存的方式获取内容，以减少不必要的网络流量，从而提升网络效率。目前通过站长设置的缓存时间有一些不可避免的缺陷:比如站长经验不足或者失误，往往将可缓存的资源置为不可缓存，一些可以缓存更长时间的资源，往往设置缓存时间较短。如果页面为动态页面，缓存时间往往随动态元素的变化而变化；对于一些大站点，页面经不同服务器进行转发时，缓存时间在转发时也会发生变化；同url的页面中也有多个设置缓存时间的字段，不同站长可能设置不同的字段，这些因素均会导致浏览器服务器接收到的相同url时，对应的缓存时间会有所不同。综上，现有技术中，浏览器客户端进行预读取时，由于各页面的缓存时间设置不科学，浏览器将频繁对资源进行预取，或是预取了无效的资源，从而降低了网络效率。
技术实现思路
本专利技术提供了一种缓存时间的确定方法、装置及系统，通过网站或者页面的集体数据收集分析某些特征，从而更真实的预测页面缓存时间。本专利技术提供了如下方案:一种缓存时间的确定方法，包括:全网客户端对目标页面进行访问时，分别向预取服务器回传所述目标页面对应的资源；所述预取服务器通过解析所述资源，获取所述资源的属性信息的方式，以页面为单位分别收集到针对所述资源对应实例的多个属性信息；所述预取服务器根据收集到的所述多个属性信息的分布，分别计算并记录所述资源对应的缓存时间；所述预取服务器将所述缓存时间提供给所述客户端。优选地，所述解析所述资源，获取所述资源的属性信息包括:对所述资源进行http协议解析，获取到页面指定缓存时间信息、页面大小信息、是否重定向信息、是否设置cookie操作信息和/或控制字段。优选地，所述预取服务器根据收集到的所述多个属性信息的分布，分别计算并记录所述资源对应的缓存时间包括:判断所述资源是否可缓存；对于可缓存的资源，根据针对所述资源多个实例的所述页面指定缓存时间信息，计算出初始平均缓存时间；根据所述预取服务器预置的时间参数以及所述初始平均缓存时间，确定平均缓存时间；将所述平均缓存时间作为最终的缓存时间。优选地，所述判断所述资源是否可缓存包括:根据针对所述资源多个实例的所述是否重定向信息、所述是否设置cookie操作信息、所述页面指定缓存时间信息，计算出重定向比例、设置cookie比例、缓存比例；当所述重定向比例大于预置的最大重定向比例，或者所述设置cookie比例大于预置的最大设置cookie比例的情况下，并且所述缓存比例小于预置的最小缓存比例时，确定所述资源不可缓存，否则，确定所述资源可缓存。优选地，所述根据所述预取服务器预置的时间参数以及所述初始平均缓存时间，确定平均缓存时间包括:如果所述初始平均缓存时间小于预置的最小缓存时间，则取最小缓存时间作为所述平均缓存时间；如果所述初始平均缓存时间大于预置的最大缓存时间，则取最大缓存时间作为所述平均缓存时间；如果所述初始平均缓存时间大于或等于所述最小缓存时间并小于或等于所述最大缓存时间，则取所述初始平均缓存时间作为所述平均缓存时间。优选地，所述方法还包括:如果针对所述资源的实例个数小于预置的最小实例数目，则不计算所述资源对应的缓存时间。优选地，所述预取服务器将所述缓存时间提供给所述客户端包括:客户端访问所述目标页面时，通过预取渠道向所述预取服务器发送预取请求；所述预取服务器接收到针对所述目标页面的预取请求后，到线上存储库查询所述目标页面的信息以及所述目标页面的资源列表；预取服务器将所述目标页面需要预取的资源列表以及每个资源对应的缓存时间下发给所述客户端。优选地，在客户端收到所述预取服务器下发的资源列表及每个资源对应的缓存时间之后，还包括:所述客户端对资源列表中的资源进行预取下载，并根据每一个资源对应的缓存时间，设定资源的有效期。一种缓存时间的确定装置，包括:资源获取单元，用于获取全网客户端对目标页面进行访问时，分别回传的所述目标页面对应的资源；属性信息收集单元，用于通过解析所述资源获取所述资源的属性信息的方式，以页面为单位分别收集到针对所述资源对应实例的多个属性信息；缓存时间确定单元，用于根据收集到的所述多个属性信息的分布，分别计算并记录所述资源对应的缓存时间；缓存时间提供单元，用于将所述缓存时间提供给所述客户端。优选地，所述属性信息收集单元，具体用于:对所述资源进行http协议解析，获取到页面指定缓存时间彳目息、页面大小/[目息、是否重定向/[目息、是否设置cookie操作/[目息和/或控制字段。优选地，所述缓存时间确定单元包括:是否缓存判断子单元，用于判断所述资源是否可缓存；缓存时间计算子单元，对于可缓存的资源，根据针对所述资源多个实例的所述页面指定缓存时间信息，计算出初始平均缓存时间；根据所述预取服务器预置的时间参数以及所述初始平均缓存时间，确定平均缓存时间；将所述平均缓存时间作为最终的缓存时间。优选地，所述是否缓存判断子单元，具体用于:根据针对所述资源多个实例的所述是否重定向信息、所述是否设置cookie操作信息、所述页面指定缓存时间信息，计算出重定向比例、设置cookie比例、缓存比例；当所述重定向比例大于预置的最大重定向比例，或者所述设置cookie比例大于预置的最大设置cookie比例的情况下，并且所述缓存比例小于预置的最小缓存比例时，确定所述资源不可缓存，否则，确定所述资源可缓存。优选地，所述缓存时间计算子单元，具体用于:如果所述初始平均缓存时间小于预置的最小缓存时间，则取最小缓存时间作为所述平均缓存时间；如果所述初始平均缓存时间大于预置的最大缓存时间，则取最大缓存时间作为所述平均缓存时间；如果所述初始平均缓存时间大于或等于所述最小缓存时间并小于或等于所述最大缓存时间，则取所述初始平均缓存时间作为所述平均缓存时间。优选地，所述缓存时间提供单元包括:预取请求接收子单元，用于接收客户端访问所述目标页面时，通过预取渠道发送的预取请求；资源查询子单元，用于针对所述目标页面的预取请求后，到线上存储库查询所述目标页面的信息以及所述目标页面的资源列表；缓存时间下发子单元，用于将所述目标页面需要预取的资源列表以及每个资源对应的缓存时间下发给所述客户端，指示所述客户端对资源列表中的资源进行预取下载，并根据每一个资源对应的缓存时间，设定资源的有效期。一种缓存时间的确定系统，包括上述缓存时间的确定装置以及客户端。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果:可见，本专利技术以页面为单位，获取全网用户在访问某页面时该页面和页面资源分别对应的属性特征，根据属性特征的分布分别进行统计，统计该页面资源的对应的最佳缓存时间，浏览器在预取时本文档来自技高网...

【技术保护点】
一种缓存时间的确定方法，其特征在于，包括：全网客户端对目标页面进行访问时，分别向预取服务器回传所述目标页面对应的资源；所述预取服务器通过解析所述资源，获取所述资源的属性信息的方式，以页面为单位分别收集针对所述资源对应实例的多个属性信息；所述预取服务器根据收集到的所述多个属性信息的分布，分别计算并记录所述资源对应的缓存时间；所述预取服务器将所述缓存时间提供给所述客户端。

【技术特征摘要】
1.一种缓存时间的确定方法，其特征在于，包括: 全网客户端对目标页面进行访问时，分别向预取服务器回传所述目标页面对应的资源； 所述预取服务器通过解析所述资源，获取所述资源的属性信息的方式，以页面为单位分别收集针对所述资源对应实例的多个属性信息； 所述预取服务器根据收集到的所述多个属性信息的分布，分别计算并记录所述资源对应的缓存时间； 所述预取服务器将所述缓存时间提供给所述客户端。2.根据权利要求 1所述的方法，其特征在于，所述解析所述资源，获取所述资源的属性信息包括: 对所述资源进行http协议解析，获取到页面指定缓存时间信息、页面大小信息、是否重定向信息、是否设置cookie操作信息和/或控制字段。3.根据权利要求2所述的方法，其特征在于，所述预取服务器根据收集到的所述多个属性信息的分布，分别计算并记录所述资源对应的缓存时间包括: 判断所述资源是否可缓存； 对于可缓存的资源，根据针对所述资源多个实例的所述页面指定缓存时间信息，计算出初始平均缓存时间； 根据所述预取服务器预置的时间参数以及所述初始平均缓存时间，确定平均缓存时间；将所述平均缓存时间作为最终的缓存时间。4.根据权利要求3所述的方法，其特征在于，所述判断所述资源是否可缓存包括: 根据针对所述资源多个实例的所述是否重定向信息、所述是否设置cookie操作信息、所述页面指定缓存时间信息，计算出重定向比例、设置cookie比例、缓存比例； 当所述重定向比例大于预置的最大重定向比例，或者所述设置cookie比例大于预置的最大设置cookie比例的情况下，并且所述缓存比例小于预置的最小缓存比例时，确定所述资源不可缓存，否则，确定所述资源可缓存。5.根据权利要求3所述的方法，其特征在于，所述根据所述预取服务器预置的时间参数以及所述初始平均缓存时间，确定平均缓存时间包括: 如果所述初始平均缓存时间小于预置的最小缓存时间，则取最小缓存时间作为所述平均缓存时间； 如果所述初始平均缓存时间大于预置的最大缓存时间，则取最大缓存时间作为所述平均缓存时间； 如果所述初始平均缓存时间大于或等于所述最小缓存时间并小于或等于所述最大缓存时间，则取所述初始平均缓存时间作为所述平均缓存时间。6.根据权利要求1至5任一项所述的方法，其特征在于，还包括: 如果针对所述资源的实例个数小于预置的最小实例数目，则不计算所述资源对应的缓存时间。7.根据权利要求1所述的方法，其特征在于，所述预取服务器将所述缓存时间提供给所述客户端包括: 客户端访问所述目标页面时，通过预取渠道向所述预取服务器发送预取请求；所述预取服务器接收到针对所述目标页面的预取请求后，到线上存储库查询所述目标页面的信息以及所述目标页面的资源列表； 预取服务器将所述目标页面需要预取的资源列表以及每个资源对应的缓存时间下发给所述客户端。8.根据权利要求7所述的方法，其特征在于，在客户端收到所述预取服务器下发的资源列表及每个资源对应的缓存时间之后，还...

【专利技术属性】
技术研发人员：汤传喜，崔华，李俊强，郭奇，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京;11