分布式数据处理制造技术

技术编号:30264523 阅读:20 留言:0更新日期:2021-10-09 21:12
在包括至少一个服务器和多个客户端的分布式计算环境中处置数据,其中多个客户端至少包括第一客户端和第二客户端。第一客户端向第二客户端发送对数据的第一请求,从第二客户端接收第一响应作为对第一请求的响应,基于第一响应中包括的有效性指示确定所请求数据的有效性的概率,该有效性指示表示从第二客户端请求的数据无效的概率。第一客户端确定第一请求所请求的并且从第二客户端可用的数据可能无效,向服务器发送第二请求以从服务器获得数据,并从服务器接收数据。并从服务器接收数据。并从服务器接收数据。

【技术实现步骤摘要】
【国外来华专利技术】分布式数据处理
[0001]本专利技术涉及分布式计算机环境中的数据处置,该分布式计算机环境包括至少一个服务器和多个客户端,该多个客户端至少包括第一客户端和第二客户端。更具体而言,本专利技术涉及在诸如对等网络的客户端之类的客户端之间传播数据。
[0002]在过去的几十年中,web技术和分布式计算系统的不断扩大的范围导致需要分发仅在有限时间内有效的数据。因此,预期进一步优化网络上的数据分发,以便确保服务器和客户端主要仅接收和发送有效数据,例如,未过时的数据,从而消除无效数据的传输和处理,并且因此减少web流量负荷以及服务器和客户端的工作负荷。在过去几年中,已经在这方面采取了一些方法。
[0003]US 7,509,372 B2描述了一种对等系统,其中第一(客户端)对等节点向已经存储所请求的内容的第二对等节点发送对内容的请求。基于第二(服务器)对等节点的过载状况,第二(服务器)对等节点将所请求的内容返回给第一对等节点,或者返回具有从其可以检索所请求的内容的替代对等节点的列表。第一(客户端)对等节点然后可以从替代对等节点之一检索所请求的内容。
[0004]US 8,145,845 B2涉及从可以应用于对等系统的轻量级目录访问协议(LDAP)检索数据。如果所请求的数据存在、有效并且LDAP属性或LDAP索引的生存时间(TTL)尚未过期,那么数据可以从虚拟属性高速缓存中被检索并返回到发出请求的客户端、应用服务器或LDAP操作。TTL指示符被用于允许确定高速缓存、索引、虚拟高速缓存、虚拟索引或类似数据结构中的相关联的数据项是否准确或可靠。如果虚拟属性被索引,但索引的TTL已过期或以其它方式失效,那么可以发送信号以发起索引的重建。
[0005]US 2002/0120710 A1描述了客户端向服务器发送对动态内容的集合的请求。然后服务器访问与内容的被高速缓存的版本相关联的信息并确定该内容是否仍然有效。如果内容无效,那么内容的更新后的版本被导出并被发送到客户端。
[0006]US 2003/0061272 A1涉及驻留在网络环境中并接收对特定资源的请求的代理高速缓存。如果代理高速缓存确定文档不驻留在高速缓存中或文档可能无效,那么代理高速缓存构造针对作为文档的源的服务器的请求并请求文档的副本或被高速缓存的版本是否有效。
[0007]根据第一方面,提供了一种用于在分布式计算环境中处置数据的方法,该分布式计算环境包括至少一个服务器和多个客户端,该多个客户端至少包括第一客户端和第二客户端。该方法包括在第一客户端处向第二客户端发送对数据的第一请求;从第二客户端接收作为对第一请求的响应的第一响应;基于包括在第一响应中的有效性指示确定第一请求所请求的并且从第二客户端可用的数据的有效性的概率,该有效性指示表示从第二客户端请求的数据无效的概率;并且响应于确定第一请求所请求的并且从第二客户端可用的数据可能无效,向服务器发送第二请求以从服务器获得数据并在对第二请求的第二响应中接收来自服务器的数据。
[0008]根据另一方面,第二响应包括表示从服务器请求的数据无效的概率的有效性指示。存储从服务器接收的与第二响应中包括的有效性指示相关联的数据。
[0009]根据又一方面,确定第一请求所请求的并且从第二客户端可用的数据的有效性的概率包括基于第一响应中包括的所请求的数据的大小以及到第二客户端的连接的给定带宽来估计从第二客户端接收数据的时间。数据的有效性概率是在估计的接收时间确定的。
[0010]根据又一方面,该方法包括,响应于确定第一请求所请求的并且从第二客户端可用的数据可能有效,如果数据尚未包括在第一响应中,那么从第二客户端检索数据,并存储与包括在第一响应中的有效性指示相关联的检索到的数据。
[0011]根据另外的方面,第一客户端从第三客户端接收对数据的第三请求并且响应于第三请求而向第三客户端发送第三响应,其中第三响应包括与数据相关联的有效性指示。
[0012]根据又一方面,响应于接收到第三请求,第一客户端基于所存储的与数据相关联的有效性指示来评估所请求的数据无效的概率,并且响应于确定所请求的数据可能仍然有效,在第三响应中包括由第三客户端请求的数据。
[0013]根据另一方面,有效性指示包括时间戳t0,时间戳t0指示生成所请求的数据的时间。
[0014]根据另一方面,有效性指示还包括由概率模型建模的所请求的数据的有效性速率C。
[0015]根据又一方面,确定所请求的数据可能无效包括计算由(公式1)给出的有效性概率值,其中t表示当前时间或估计的数据接收时间,并将有效性概率值与给定阈值进行比较,并且如果有效性概率值低于给定阈值,那么确定所请求的数据可能无效。
[0016]根据另一方面,提供了一种计算机器,该计算机器充当用于在分布式计算环境中处置数据的第一客户端,该分布式计算环境包括至少一个服务器和多个客户端,该多个客户端至少包括第一客户端和第二客户端,计算机器被布置为执行上面提到的方面中的任一个的方法。
[0017]根据另一方面,提供了一种计算机程序产品,该计算机程序产品包括存储在计算机可读介质上的程序代码指令,用于当所述程序在计算机上执行时执行根据上面提到的方面中的任一个的方法步骤。
[0018]将参考附图描述给出的机制。相似的附图标记一般表示相同或功能相似的元件:
[0019]图1是根据本文描述的分布式计算机环境的示意图。
[0020]图2是根据一些实施例的消息序列图。
[0021]图3示出了根据一些实施例的作为以任意单位(例如,以秒为单位)的所传输数据的大小的函数的以任意单位(例如,以秒为单位)的接收时间。
[0022]图4示出了根据一些实施例的第一响应的可能数据格式。
[0023]图5示出了根据一些另外的实施例的第一响应的可能数据格式。
[0024]图6在流程图中示出了根据一些实施例的第一客户端可用于接收数据的可能场景。
[0025]图7示出了根据一些实施例的当所请求的数据被包括在第一响应中时的可能场景。
[0026]图8是根据另一个实施例的消息序列图。
[0027]图9是根据又一个实施例的消息序列图。
[0028]图10示出了根据一些实施例的随时间降低的可能性准确度的示例性函数。
[0029]图11是根据一些实施例的计算机器的内部组件的图解表示。
[0030]web技术和分布式计算系统的应用领域的增加导致了在对等系统上有效传输具有时间有限的有效性的数据的问题。特别地,应当确保作为分布式环境的一部分的请求数据的客户端接收有效数据,以便避免分布式环境内的数据不一致。
[0031]例如,当数据库内容(例如通过经由数据更新更改底层数据)经历改变时,在从存储在数据库中的底层数据选择和复制的数据中可能发生数据无效。在已经执行数据库中的数据更新之后,从所选择的底层数据的集合复制的数据然后可能不再与对应的更新后的底层数据的集合完全相同。因此,复制的数据变得过时并因此无效,并且通过网络的进一步分发和客户端进本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在分布式计算环境中处置数据的方法,所述分布式计算环境包括至少一个服务器和多个客户端,所述多个客户端至少包括第一客户端和第二客户端,所述方法包括,在第一客户端处:向第二客户端发送对数据的第一请求;从第二客户端接收第一响应作为对第一请求的响应;基于包括在第一响应中的有效性指示确定第一请求所请求的并且从第二客户端可用的数据的有效性的概率,所述有效性指示表示从第二客户端请求的数据无效的概率;响应于确定第一请求所请求的并且从第二客户端可用的数据可能无效,向服务器发送第二请求以从服务器获得数据;在对第二请求的第二响应中接收来自服务器的数据。2.如权利要求1所述的方法,其中第二响应包括表示从服务器请求的数据无效的概率的有效性指示,所述方法还包括:存储从服务器接收的与第二响应中包括的有效性指示相关联的数据。3.如权利要求1或权利要求2所述的方法,其中确定第一请求所请求的并且从第二客户端可用的数据的有效性的概率包括:基于第一响应中包括的所请求的数据的大小以及到第二客户端的连接的给定带宽来估计从第二客户端接收数据的时间;确定数据在估计的接收时间的有效性的概率。4.如权利要求2或权利要求3所述的方法,还包括:响应于确定第一请求所请求的并且从第二客户端可用的数据可能有效,如果数据尚未包括在第一响应中,那么从第二客户端检索数据;存储与包括在第一响应中的有效性指示相关联的检索到的数据。5.如权利要求2至4中的任一项所...

【专利技术属性】
技术研发人员:P
申请(专利权)人:艾玛迪斯简易股份公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1