基于数据去重的移动Web请求处理方法、设备及系统技术方案

本发明专利技术公开了一种基于数据去重的移动Web请求处理方法、设备及系统，属于移动Web应用和数据处理技术领域。该方法针对移动Web领域中客户端缓存文件发生少量更新时网络传输大部分不必要的重复内容降低Web性能的问题，提出了在移动Web中采用移动Web请求数据去重机制，对更新文件根据缓存文件删除新版本中的重复数据生成差量文件，网络传输时只将差量文件返回给客户端，客户端根据差量文件和缓存文件进行还原，从而减少网络传输数据量；提出将差量文件解析与服务端渲染异步处理方法，从而减轻客户端的压力，减少动态数据的网络请求次数，提升整体Web性能。

Mobile Web request processing method, equipment and system based on data De weight

The invention discloses a mobile Web request processing method based on data removing weight, a device and a system, belonging to the mobile Web application and the data processing technical field. The method for updating the cache file when few duplicate content in the field of mobile Web client network transmission most of the unnecessary reduction of Web performance problems, put forward to use mobile Web to request data mechanism in mobile Web, to update the file according to delete duplicate data in the new version of the cache file generating difference files, network transmission only the differential file is returned to the client, the client according to the differential file and restore the cache file, thereby reducing the amount of network traffic data; the difference of file parsing and rendering server asynchronous processing method, so as to reduce the pressure to reduce the number of client requests, dynamic data network, improve the overall performance of Web.

【技术实现步骤摘要】
基于数据去重的移动Web请求处理方法、设备及系统
本专利技术属于移动Web应用和数据处理
，更具体地，涉及一种基于数据去重的移动Web请求处理方法、设备及系统。
技术介绍
互联网是当今最重要的信息传播及通讯平台，而万维网Web是互联网中最重要的平台之一，随着进入Web2.0时代，页面内容逐渐多样化和复杂化，如何获得较好的Web性能成为了研究热点。随着移动设备的普及和移动互联网的快速发展，很多传统互联网应用正在向移动互联网方向转变。由于移动端的系统资源相对较缺乏，如较小的内存和存储容量、较弱的处理能力、较差的网络和连接性，请求呈现一个页面的速度要比PC端慢几秒到十几秒，所以针对移动端的优化更值得重视。在信息爆炸时代，资源有限的移动设备对过多信息的处理能力明显不足。有相关研究表明，互联网应用里大量的数据信息存在很多冗余数据，去除冗余数据、减少数据传输量可以节约有限的存储空间、减少网络传输时间、节约用户的时间和成本，对移动互联网有重要的意义。目前主要采用两种方法减少数据传输量：压缩技术和缓存技术。压缩技术针对每个原始文件进行压缩，减少文件传输体积，但是不能压缩文件之间的冗余，对两个相似文件分别压缩之后得到的压缩文件仍然有很多冗余数据。缓存技术可以有效减少网络请求数量，但缓存容量有限，且无法消除数据冗余问题。在文件系统及备份系统中，数据去重技术被采用来大规模识别和消除冗余数据，降低数据存储成本。但将传统领域的冗余消除技术直接应用到移动Web中，会增加额外的运算来进行计算和恢复，对于处理能力较弱的移动端，可能会影响整体Web性能，因此，针对移动Web应用，要实现一个有效的方法，既能消除冗余数据，又能提升整体Web性能。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于数据去重的移动Web请求处理方法、设备及系统，其目的在于减少移动Web请求处理过程中传输大量不必要的冗余数据降低Web性能的问题，既能有效消除冗余数据，又能提升整体Web性能。为实现上述目的，按照本专利技术的一个方面，提供了一种基于数据去重的移动Web请求处理方法，包括：S1、客户端向服务端发送页面请求，以使所述服务端向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；S2、所述客户端接收所述服务端发送的渲染好的页面文件；S3、所述客户端提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，若发现文件发生更新，则执行步骤S4；若文件没有更新，直接使用缓存中的旧版本文件；S4、所述客户端向所述服务端发送差量文件请求，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；S5、所述客户端接收所述服务端发送的差量文件，并由所述差量文件中新增的数据和未变数据内容对应的块号将差量文件与缓存中的旧版本文件合并恢复新版本文件。优选地，所述步骤S5包括以下步骤：S51、初始化空字符串变量strResult表示计算得到的新文件；S52、扫描差量文件中的数组；S53、若当前扫描的数组项内容是字符串，则表示是新增的数据，将该新增的数据添加到strResult中；若当前扫描的数组项内容不是字符串，则表示是记录未变数据内容的块号，根据块号对应的块大小和描述规则计算该块号对应的内容在旧版本文件里的起始和结束位置，用截取字符串方法从旧版本文件获得该描述规则对应的内容，并将该内容添加到strResult中；S54、判断扫描是否结束，若是则执行步骤S55，否则转到S52；S55、返回变量strResult作为新版本文件，结束。为实现上述目的，按照本专利技术的另一个方面，提供了一种基于数据去重的移动Web请求处理方法，包括：A1、服务端接收客户端发送的页面请求，向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；A2、所述服务端将渲染好数据的页面文件发送给所述客户端，以使所述客户端提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，并在文件发生更新时，向所述服务端发送差量文件请求，其中，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；A3、所述服务端接收来自所述客户端的差量文件请求，向所述客户端发送差量文件，以使所述客户端由所述差量文件中新增的数据和未变数据内容对应的块号将接收到的差量文件与缓存中的旧版本文件合并恢复新版本文件。优选地，所述差量文件的生成步骤为：T1、将旧版本文件按固定长度分块，计算每个块的哈希校验码值作为块标识对每个块编号；T2、在新版本文件里进行滚动查找，依次比对新版文件块内容的哈希校验码值是否和旧版本文件的块标识相对应；如果对应，记录对应的块号，滚动下标一个块长度距离；否则将数据压入新数据缓冲区，滚动下标一个字符长度距离；T3、判断新版本文件中的内容是否滚动查找结束，若是则执行步骤T4，否则转到步骤T2；T4、合成新数据缓冲区中的新数据并生成差量文件。为实现上述目的，按照本专利技术的另一个方面，提供了一种客户端，包括：第一发送模块，用于向服务端发送页面请求，以使所述服务端向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；接收模块，用于接收所述服务端发送的渲染好的页面文件；比对判断模块，用于提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，判断文件是否发生更新；第二发送模块，用于在文件发生更新时，向所述服务端发送差量文件请求，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；更新模块，用于接收所述服务端发送的差量文件，并由所述差量文件中新增的数据和未变数据内容对应的块号将差量文件与缓存中的旧版本文件合并恢复新版本文件。优选地，所述更新模块包括：初始化模块，用于初始化空字符串变量strResult表示计算得到的新文件；扫描模块，用于扫描差量文件中的数组；扫描处理模块，用于在当前扫描的数组项内容是字符串时，表示是新增的数据，将该新增的数据添加到strResult中；在当前扫描的数组项内容不是字符串时，表示是记录未变数据内容的块号，根据块号对应的块大小和描述规则计算该块号对应的内容在旧版本文件里的起始和结束位置，用截取字符串方法从旧版本文件获得该描述规则对应的内容，并将该内容添加到strResult中；判断处理模块，用于在扫描结束时，返回变量strResult作为新版本文件；在扫描未结束时，返回执行所述扫描模块的操作。为实现上述目的，按照本专利技术的另一个方面，提供了一种服务端，包括：第一接收模块，用于接收客户端发送的页面请求，向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；第一发送模块，用于将渲染好数据的页面文件发送给所述客户端，以使所述客户端提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，并在文件发生更新时，向所述服务端发送差量文件请求，其中，所述差量文件本文档来自技高网...

【技术保护点】
一种基于数据去重的移动Web请求处理方法，其特征在于，包括：S1、客户端向服务端发送页面请求，以使所述服务端向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；S2、所述客户端接收所述服务端发送的渲染好的页面文件；S3、所述客户端提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，若发现文件发生更新，则执行步骤S4；若文件没有更新，直接使用缓存中的旧版本文件；S4、所述客户端向所述服务端发送差量文件请求，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；S5、所述客户端接收所述服务端发送的差量文件，并由所述差量文件中新增的数据和未变数据内容对应的块号将差量文件与缓存中的旧版本文件合并恢复新版本文件。

【技术特征摘要】
1.一种基于数据去重的移动Web请求处理方法，其特征在于，包括：S1、客户端向服务端发送页面请求，以使所述服务端向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；S2、所述客户端接收所述服务端发送的渲染好的页面文件；S3、所述客户端提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，若发现文件发生更新，则执行步骤S4；若文件没有更新，直接使用缓存中的旧版本文件；S4、所述客户端向所述服务端发送差量文件请求，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；S5、所述客户端接收所述服务端发送的差量文件，并由所述差量文件中新增的数据和未变数据内容对应的块号将差量文件与缓存中的旧版本文件合并恢复新版本文件。2.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：S51、初始化空字符串变量strResult表示计算得到的新文件；S52、扫描差量文件中的数组；S53、若当前扫描的数组项内容是字符串，则表示是新增的数据，将该新增的数据添加到strResult中；若当前扫描的数组项内容不是字符串，则表示是记录未变数据内容的块号，根据块号对应的块大小和描述规则计算该块号对应的内容在旧版本文件里的起始和结束位置，用截取字符串方法从旧版本文件获得该描述规则对应的内容，并将该内容添加到strResult中；S54、判断扫描是否结束，若是则执行步骤S55，否则转到S52；S55、返回变量strResult作为新版本文件，结束。3.一种基于数据去重的移动Web请求处理方法，其特征在于，包括：A1、服务端接收客户端发送的页面请求，向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；A2、所述服务端将渲染好数据的页面文件发送给所述客户端，以使所述客户端提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，并在文件发生更新时，向所述服务端发送差量文件请求，其中，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；A3、所述服务端接收来自所述客户端的差量文件请求，向所述客户端发送差量文件，以使所述客户端由所述差量文件中新增的数据和未变数据内容对应的块号将接收到的差量文件与缓存中的旧版本文件合并恢复新版本文件。4.根据权利要求3所述的方法，其特征在于，所述差量文件的生成步骤为：T1、将旧版本文件按固定长度分块，计算每个块的哈希校验码值作为块标识对每个块编号；T2、在新版本文件里进行滚动查找，依次比对新版文件块内容的哈希校验码值是否和旧版本文件的块标识相对应；如果对应，记录对应的块号，滚动下标一个块长度距离；否则将数据压入新数据缓冲区，滚动下标一个字符长度距离；T3、判断新版本文件中的内容是否滚动查找结束，若是则执行步骤T4，否则转到步骤T2；T4、合成新数据缓冲区中的新数据并生成差量文件。5.一种客户端，其特征在于，包括：第一发送模块，用于向服务端发送页面请求，以使所述服务端向通用网关接口CGI请求动态数据并填充，渲染页面文件，其中，所述页面请求中包括页面文件；接收模块，用于接收所述服务端发送的渲染好的页面文件；比对判断模块，用于提取接收到的页面文件中的文件版本号信息，与缓存中的旧版本文件的版本号对比，判断文件是否发生更新；第二发送模块，用于在文件发生更新时，向所述服务端发送差量文件请求，所述差量文件请求用于请求差量文件，所述差量文件由所述服务端在文件更新时离线生成，且在所述差量文件中包括新增的数据和未变数据内容对应的块号；更新模块，用于接收所述服务端发送的差量文件，并由所述差量文件中新增的数据和未变数据内容对应的块号将差量文件与缓存中的旧版本文件合并恢复新版本文件。6.根据权利要求5所述的客户端，其特征在于，所述更新模块包括：初始化模块，用于初始化空字符串变量strResult表示计算得到的新文件；扫描模块，用于扫描差量文件中的数组；扫描处理模块，用于在当前扫描的数...

【专利技术属性】
技术研发人员：施展，冯丹，毛艳，李双双，单玉祥，张芸怡，方交凤，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42