用于使用压缩历史来改进网络性能的系统和方法技术方案

本发明专利技术描述保存之前传输的数据并且使用其来降低带宽利用并加速未来通信的系统和方法。通过使用算法来识别长的压缩历史匹配，网络装置可以改进压缩效率和速度。网络装置还可以使用应用专用解析来改进压缩历史匹配的长度和数量。进一步，通过共享多个装置之间的压缩历史和压缩历史索引，装置可以使用之前传输到其他装置的数据来压缩网络业务量。可以使用这些系统和方法的任意组合来有效找到对所保存数据的长的匹配，将之前发送数据的存储装置同步，并且在一个或者多个其它装置之间共享之前发送的数据。

【技术实现步骤摘要】
用于使用压缩历史来改进网络性能的系统和方法本申请是针对申请日为2008年3月12日、专利技术名称为“用于使用压缩历史来改进网络性能的系统和方法”、申请号为200880015783.3（国际申请号为PCT/US2008/056681）的专利申请的分案申请。相关申请本申请涉及并要求以下未决美国申请的优先权，其每一个通过引用全部包含于此：2007年3月12日提交的美国申请11/685161″SYSTEMSANDMETHODSFORSHARINGCOMPRESSIONHISTORIESBETWEENMULTIPLEDEVICES″；2007年3月12日提交的美国申请11/685153″SYSTEMSANDMETHODSFORPROVIDINGDYNAMICADHOCPROXY-CACHEHIERARCHIES″；2007年3月12日提交的美国申请11/685165″SYSTEMSANDMETHODSOFCLUSTEREDSHARINGOFCOMPRESSIONHISTORIES″；2007年3月12日提交的美国申请11/685157″SYSTEMSANDMETHODSOFUSINGAPPLICATIONANDPROTOCOLSPECIFICPARSINGFORCOMPRESSION″；2007年3月12日提交的美国申请11/685172″SYSTEMSANDMETHODSOFCOMPRESSIONHISTORYEXPIRATIONANDSYNCHRONIZATION″；2007年3月12日提交的美国申请11/685170″SYSTEMSANDMETHODSFORIDENTIFYINGLONGMATCHESOFDATAINACOMPRESSIONHISTORY″；和2007年3月12日提交的美国申请11/685159″SYSTEMSANDMETHODSFORIDENTIFYINGLONGMATCHESOFDATAINACOMPRESSIONHISTORY″。
本专利技术总的涉及数据通信网络。更具体地，本专利技术涉及用于压缩数据流并且通过影响之前保存的数据来改进网络性能的系统和方法。
技术介绍
通过利用之前保存的数据压缩数据流是用于降低两个装置之间传输的数据流的大小的公知技术。广义而言，典型的压缩方法需要两个装置，每一个保持在装置之间传输的数据的备份。这些所保存的数据的备份可以称之为压缩历史，这是因为它们表示之前传输的随后被用来压缩未来数据流的数据的历史。当装置的其中之一正发送数据到其他装置时，其搜索其压缩历史用于和输入数据匹配，并且将匹配部分替代为对传输流中已保存的数据的索引，降低了传输流的大小。接收装置随后使用该索引并且结合其自身压缩历史来重构未压缩的数据流。然而，该技术通常面临多个挑战。第一，输入流和压缩历史之间不足的长匹配可以导致低的压缩率，并且增加了处理开销和必须访问压缩历史的次数。在装置正同时发送多个数据流并且因此可以具有尝试同时访问压缩历史的许多进程的情况中，这些问题进一步恶化。在使用具有长的潜在访问等待时间的诸如光盘的介质上保存的压缩历史的装置中，这些问题还可以更严重。为了给出一个具体的例子，发送2K文件的装置可以找到散布在其压缩历史之间的四十个匹配索引，每一个索引匹配不同的50字节的文件。这可以要求可能复杂的匹配算法的40次单独的迭代以及对压缩历史的40个单独的盘访问。与之不同，如果装置找到对整体2K文件的单个匹配索引，仅需要单个盘访问即可。因此需要一种系统和方法用来在输入流和压缩历史之间有效建立定位长的匹配。第二，当一个装置具有的其压缩历史中的序列不在另一个装置上的对应的压缩历史中，则结果效率很低。该装置可以使用对该序列的索引来替代数据流的一部分，并且由于其发现其它装置并不具有索引的序列，则随后被迫重发该数据流。此外，非共享的序列可以占用可以用于其它数据的压缩历史中的空间。可以使用多个方法来同步关于在两个装置之间当前正传输的数据的压缩历史。例如，每个装置可传输对应于所传输、接收和保存的字节总数的信息以及识别数据已经被保存在何处的位置标识符。然而，甚至当压缩历史紧随数据传输之后被同步时，多个事件可以导致压缩历史随后发散。例如，一个装置可以用尽存储装置并且被迫重写一个或者多个之前保存的部分。或者一个装置可以具有磁盘错误或者其他硬件或者软件故障，这破坏或者移除一个或者多个之前保存的部分。因此，需要一种改进的系统和方法来有效同步共享的压缩历史。第三，在许多实现方案中，压缩历史和高速缓存仅提供同样的数据在同样两个装置之间反复传输时的益处。在两个位置可以反复传递类似信息的情况中，每一个位置具有多个装置的群集，不能保证该信息在同一对装置之间传递，这也是特别成问题的。例如，两个位置的每一个维持装置的群集来加速该位置之间的通信。群集1可以包含装置A、B和C，并且群集2可以包含装置X、Y和Z。例如，装置A和Z可以每一个维持在A和Z之间传输的文件的压缩历史，但是下一次请求该文件时，请求和响应可以传递通过装置A和Y。类似地，下一次请求该文件时，请求和响应可以传递通过装置B和装置X。一个基本解决方案是将装置群集组织到一个分层，使得对给定群集、网络或者区域的请求传递通过网关装置。然而，该解决方案可以包括附加的配置并且产生网络瓶颈。因此需要影响之前在两个装置之间传输的数据来压缩最初发送器之外的装置之间传输的数据，不必须要求明确分层。
技术实现思路
本专利技术涉及保存之前传输的数据并且使用其来降低带宽利用并加速未来通信的系统和方法。通过使用算法来识别长的压缩历史匹配，网络装置可以改进压缩效率和速度。网络装置还可以使用应用专用解析来改进压缩历史匹配的长度和数量。进一步，通过共享多个装置之间的压缩历史、压缩历史索引和高速缓存，装置可以使用之前传输到其他装置的数据来压缩网络业务量。可以使用以下段落中描述的系统和方法的任意组合来有效找到对所保存数据的长的匹配，将之前发送数据的存储装置同步，并且在一个或者多个其它装置之间共享之前发送的数据。在第一方面中，本专利技术涉及用于通过在存储器中保持的索引中识别输入数据与保存在磁盘上的邻接数据匹配的估计程度高于或者低于预定阈值来确定是否执行基于盘的压缩的系统和方法。在一个实施例中，具有压缩历史的装置在存储器中建立索引，该索引将压缩历史的多个数据部分的指纹对应于识别具有多个数据部分的盘上的位置的位置标识符。该装置识别输入数据的多个指纹匹配存储器中的索引的多个项的指纹，并且从具有对应于第一位置标识符的项目的存储器中的所识别的指纹数量来确定输入数据与盘上邻接数据的估计匹配延长低于预定阈值。如果该匹配延长到低于给定阈值，该装置传输未压缩的数据。如果该匹配延长到高于预定阈值，则该装置使用压缩历史来压缩该数据。在第二方面中，本专利技术涉及用于确定将输入数据的指纹与识别压缩历史中的多个数据实例的指纹索引匹配的优先级的系统和方法。在一个实施例中，具有压缩历史的装置建立一个索引，该索引将压缩历史的多个数据部分的指纹对应于识别具有多个数据部分的盘上的位置的位置标识符。该装置识别输入数据的多个指纹匹配具有至少一个位置标识符的索引中的多个项并且选择具有最少数量的位置标识符的多个项中的一个项。该装置随后可以将输入数据的本文档来自技高网...

【技术保护点】
一种用于在多个装置之间共享压缩历史来改进经由多个连接传输的数据的压缩的方法，所述方法包括：（a）通过第一装置接收来自第二装置的数据流，该数据流根据第一装置和第三装置之间共享的压缩历史而被压缩；（b）通过第一装置识别第三装置；（c）通过第一装置将对于压缩历史的一部分的请求传输到第三装置；（d）通过第一装置接收来自第三装置的压缩历史的所请求的部分；并且（e）通过第一装置解压缩所述数据流。

【技术特征摘要】
2007.03.12 US 11/685,161;2007.03.12 US 11/685,1531.一种用于在多个装置之间共享压缩历史来改进经由多个连接传输的数据的压缩的方法，所述压缩历史为装置之间传输的数据的备份，所述方法包括：(a)通过第一装置接收来自第二装置的数据流，该数据流根据第一装置和第三装置之间共享的压缩历史而被压缩；(b)通过第一装置识别第三装置；(c)通过第一装置将对于压缩历史的一部分的请求传输到第三装置；(d)通过第一装置接收来自第三装置的压缩历史的所请求的部分；并且(e)通过第一装置解压缩所述数据流。2.根据权利要求1所述的方法，其中，所述数据流还根据第一和第二装置之间共享的压缩历史来压缩。3.根据权利要求1所述的方法，其中，所述数据流包括识别位于第三装置的压缩历史中的块的多个位置标识符。4.根据权利要求1所述的方法，其中步骤(b)包括基于包含在数据流中的块标识符来识别第三装置。5.根据权利要求1所述的方法，还包括接收来自第三装置的识别驻留在第三装置上的多个块的信息。6.根据权利要求1所述的方法，其中步骤(b)包括通过第一装置确定包含在数据流中的位置标识符处于和第三装置相关联的值的范围内。7.根据权利要求1所述的方法，还包括通过第一装置向第二装置传输第三装置通过LAN与第一装置相连接的指示。8.根据权利要求1所述的方法，还包括传输解压缩的数据流到客户机。9.一种用于在多个装置之间共享压缩历史来改进经由多个连接传输的数据的压缩的系统，所述压缩历史为装置之间传输的数据的备份，...

【专利技术属性】
技术研发人员：A·塞缪尔斯，S·詹森，Z·蒂塔，D·狄卡斯伯，M·奥夫斯相尼科夫，R·普拉蒙东，
申请(专利权)人：思杰系统有限公司，
类型：发明
国别省市：