共享数据去重复的方法和系统技术方案

本公开涉及在计算机网络中同步加速节点的字典。例如，客户端-服务器网络的多个加速节点的字典可以被同步以便每个字典包括一个或多个同样的数据项和数据标识符对。同步可以包括将特定的数据项、或者数据项与数据标识符的组合发送到其字典中不包括所述数据项或组合的另一加速节点。特定的加速节点可以不发送数据项，而是发送相关联的数据标识符到另一加速节点。由于在采用本文所描述的方法时所有的加速节点(或子集)可以具有同样的字典，因此特定的加速节点可以使用相同的字典与计算机网络的所有其他加速节点(或子集)进行通信。

【技术实现步骤摘要】
【专利摘要】本公开涉及在计算机网络中同步加速节点的字典。例如，客户端-服务器网络的多个加速节点的字典可以被同步以便每个字典包括一个或多个同样的数据项和数据标识符对。同步可以包括将特定的数据项、或者数据项与数据标识符的组合发送到其字典中不包括所述数据项或组合的另一加速节点。特定的加速节点可以不发送数据项，而是发送相关联的数据标识符到另一加速节点。由于在采用本文所描述的方法时所有的加速节点(或子集)可以具有同样的字典，因此特定的加速节点可以使用相同的字典与计算机网络的所有其他加速节点(或子集)进行通信。【专利说明】共享数据去重复的方法和系统
本公开涉及在包括网络节点的计算机网络中共享数据的方法和系统。
技术介绍
现代计算机网络系统可以是相当复杂的而且跨越很大的空间距离。例如，包括客 户端-服务器网络中的服务器的中央数据库可以位于欧洲。不同的客户端系统可以位于， 例如，美国、澳大利亚、南非和其他地理位置。这样的分布式系统可以是在全球范围内经营 的企业的综合网络结构的结果。同时，在这些网络上传输的数据的量正在不断增加。这可 能导致相当大的延迟，特别是广域网连接。在上述的例子中，位于澳大利亚的客户端可以启 动报告程序，该报告程序可以访问在欧洲的中央数据库。这可能导致高响应时间，结果造成 网络限制，诸如带宽、等待时间和拥塞。此外，先进的通信方案会增加需要被存储在不同的 网络节点中的数据量，从而提高网络节点的成本和复杂性。
技术实现思路
在本公开的第一方面中，计算机实现的方法包括：识别在包括多个加速节点的计 算机网络中所包括的第一加速节点，其中，加速节点用于加速通过所述多个加速节点中的 一个或多个连接的客户端计算机系统和服务器计算机系统之间的资源传输，第一加速节点 包括数据项和数据标识符的第一字典，每个数据标识符识别相应的数据项，而且其中加速 节点被配置为向其他加速节点提供数据标识符并基于从其它加速节点接收到的数据标识 符来识别数据项；在第一加速节点处从第二加速节点接收数据项；将数据项包括在第一加 速节点中所包含的第一字典中；以及向计算机网络的第三加速节点提供接收到的数据项、 识别接收到的数据项的数据标识符或两者，其中数据标识符是由第一加速节点确定的或者 从其它加速节点获得的。 在根据第一方面的第二方面中，该方法还包括：在第一加速节点处从一个或多个 附加的加速节点接收附加的数据项；以及将附加的数据项包括在第一字典中。 在根据第一或第二方面的第三方面中，该方法还包括使用预定的算法确定相应的 数据项的数据标识符。 在根据第三方面的第四方面中，预定的算法包括确定散列值。 在根据任一前述方面的第五方面中，第一加速节点将包括数据项、数据标识符或 两者的字典条目的协议存储在第三加速节点的第二字典中。 在根据任一前述方面的第六方面中，该方法还包括：在第一加速节点处确定第二 字典中缺少第一字典中的哪些字典条目；以及从第一加速节点提供缺少的字典条目。 在根据任一前述方面的第七方面中，该方法还包括：确定第三加速节点的字典是 否包含所述数据项；如果确定第三加速节点的字典包含所述数据项，则向第三加速节点提 供用于识别接收到的数据项的数据标识符；以及如果确定第三加速节点的字典不包含所述 数据项，则向第三加速节点提供所述数据项。 在根据任一前述方面的第八方面中，该方法还包括：估计第三加速节点确定识别 接收到的数据项的数据标识符所花费的资源和/或时间量、以及从第一加速节点向第三加 速节点发送所述数据标识符所花费的资源和/或时间量；将第三加速节点确定识别接收到 的数据项的数据标识符所花费的资源和/或时间量与从第一加速节点向第三加速节点发 送所述数据标识符所花费的资源和/或时间量进行比较；如果第三加速节点确定识别接收 到的数据项的数据标识符所花费的资源和/或时间量大于从第一加速节点向第三加速节 点发送所述数据标识符所花费的资源和/或时间量，则从第一加速节点向第三加速节点发 送识别接收到的数据项的数据标识符；如果第三加速节点确定识别接收到的数据项的数据 标识符所花费的资源和/或时间量小于从第一加速节点向第三加速节点发送所述数据标 识符所花费的资源和/或时间量，则使第三加速节点计算所述数据标识符。 在根据任一前述方面的第九方面中，数据标识符是由第一加速节点提供的，该方 法还包括：在第三加速节点处接收第一字典的数据标识符；确定第三加速节点的字典不包 括所述数据标识符；向第一加速节点请求由所述数据标识符识别的数据项；从第一加速节 点向第三加速节点发送所述数据项；以及将接收到的数据标识符和接收到的数据项包括在 第三加速节点的字典中。 在根据任一前述方面的第十方面中，第一加速节点规律地向包括第三加速节点的 一个或多个相邻加速节点广播它的字典至少一部分。 在根据任一前述方面的第十一方面中，所述数据项是经由第一加速节点在计算机 网络上发送的资源。 在根据任一前述方面的第十二方面中，该方法还包括：将所述多个加速节点中的 一个加速节点的网络流量与预定的阈值进行比较；确定计算机网络的所述加速节点的网络 流量低于预定的阈值；响应于确定计算机网络的所述加速节点的网络流量低于预定的阈 值，向计算机网络的第三加速节点提供接收到的数据项、识别接收到的数据项的数据标识 符或两者。 在根据任一前述方面的第十三方面中，该方法还包括：在第一加速节点处生成将 被包括在第一加速节点的字典中的数据项；确定识别生成的数据项的数据标识符；以及向 第三加速节点提供生成的数据项、或者生成的数据项与计算的数据标识符的组合。 在根据任一前述方面的第十四方面中，该方法还包括：由第一加速节点确定在预 定的时间段内，预定的数据标识符被用于与其他加速节点通信的次数；将所述次数与预定 的次数进行比较；以及当确定所述次数小于预定的次数时，从字典删除由所述数据标识符 识别的数据项。 在根据任一前述方面的第十五方面中，所述客户端-服务器网络包括所述多个加 速节点的至少三个不同的子集，每个子集包括至少一个加速节点，其中，第一加速节点被包 括在第一子集中，第二加速节点被包括在第二子集中，而且第三加速节点被包括在第三子 集中，第一加速节点包括至少一个附加的字典，而且该方法还包括向加速节点的第一子集 中的其他加速节点提供所述附加的字典的数据标识符，以便基于所述附加的字典的数据标 识符来识别数据项。 在根据任一前述方面的第十六方面中，该方法还包括规律地同步计算机网络的所 有加速节点、或者计算机网络的加速节点的子集的所有字典，在同步完成之后，计算机网络 的加速节点的所有字典至少部分地包括同样的字典条目。 在根据任一前述方面的第十七方面中，该方法还包括在没有填入（populate)的 字典的情况下，将第三加速节点添加到计算机网络，或者第三加速节点的第二字典已经部 分或完全丢失，以及通过从计算机网络的其他加速节点接收数据来建立或者恢复第三加速 节点的第二字典。 在根据任一前述方面的第十八方面中，由第一网络节点接收到的数据项是服务器 和客户端之间的通信过程的一部分。 在第十九方面中，系统包括一个或多个处理器以及计算机本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：识别在包括多个加速节点的计算机网络中所包括的第一加速节点，其中，加速节点用于加速通过所述多个加速节点中的一个或多个连接的客户端计算机系统和服务器计算机系统之间的资源传输，第一加速节点包括具有数据项和数据标识符的第一字典，每个数据标识符识别相应的数据项，而且其中加速节点被配置为向其他加速节点提供数据标识符并基于从另一加速节点接收到的数据标识符来识别数据项；在第一加速节点处从第二加速节点接收数据项；将数据项包括在第一加速节点中所包含的第一字典中；以及向计算机网络的第三加速节点提供接收到的数据项、识别接收到的数据项的数据标识符或两者，其中数据标识符是由第一加速节点确定的或者从其它加速节点获得的。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：O伊戈尔卡，
申请(专利权)人：SAP欧洲公司，
类型：发明
国别省市：德国;DE