图形计算的并行化制造技术

一种用于异步并行化图形计算的方法，该方法包括：在多个工作机上分发多个片段，以使每个工作机具有至少一个本地片段，所述多个片段是通过对一图形进行分割而获得，每个片段是该图形的一子图；通过每个工作机使用预定义的顺序批处理算法计算其至少一个本地片段的每个片段上部分结果；由每个工作机基于一个或更多个更新消息使用预定义的顺序增量算法迭代地计算其至少一个本地片段中每个片段的更新的部分结果，直到满足终止条件为止，其中从一个或更多个其它工作机分别接收一个或更多个更新消息，并将所述一个或更多个更新消息分别存储在各自的缓冲区中；其中允许每个工作机根据其延迟延展来决定何时执行下一轮计算，并且其中所述工作机在执行下一轮计算之前，暂停由所述延迟延展指示的时间，所述延迟延展可以根据每个工作机相对于其他工作机的相对计算进度进行动态调整。一些实施例可以具有减少落后者和延时计算的效果。

【技术实现步骤摘要】
【国外来华专利技术】图形计算的并行化
以下公开内容涉及图形计算的并行化。
技术介绍
用于图形计算已有几个并行模型。图形系统已采用批量同步并行(BSP)模型。在BSP下，迭代计算被分为多个超步(superstep)，而来自一个超步的消息只能在下一个超步中访问。这导致了落后者(straggler)，即，一些工作机(worker)比其他工作机花费更长的时间。随着多个工作机的不对称收敛，每个超步的速度都被限制在最慢的工作机的速度。为了减少落后者，采用了异步并行(AP)模型。在AP下，工作机可以立即访问消息。快速的工作机可以走在前面，而不必等待落后者。但是，AP可能会导致过多的延迟计算，例如由消息触发的进程，这些消息由于最新消息而很快变得过时。为了纠正这些问题，已经研究了BSP和AP的修订版，特别是延迟同步并行(SSP)模型。SSP通过允许最快的工作机以固定的步数(有界延迟，boundedstaleness)超过最慢的工作机，来缓解BSP。它减少了落后者，但导致了多余的延迟计算。
技术实现思路
在一个方面，提供了一种用于异步并行化图形计算的方法。该方法包括：在多个工作机上分发多个片段，以使每个工作机具有至少一个本地片段，所述多个片段是通过对一图形进行分割而获得，每个片段是该图形的一子图；通过每个工作机使用预定义的顺序批处理算法计算其至少一个本地片段的每个片段上部分结果；由每个工作机基于一个或更多个更新消息使用预定义的顺序增量算法迭代地计算其至少一个本地片段中每个片段的更新的部分结果，直到满足终止条件为止，其中从一个或更多个其它工作机分别接收一个或更多个更新消息，并将所述一个或更多个更新消息分别存储在各自的缓冲区中；允许每个工作机根据其延迟延展来决定何时执行下一轮计算，并且其中所述工作机在执行下一轮计算之前，暂停由所述延迟延展指示的时间，所述延迟延展可以根据每个工作机相对于其他工作机的相对计算进度进行动态调整。也可以包括以下一项或多项功能。通过来自以下组的一个或更多个参数来调整每个工作机的延迟延展：存储在相应缓冲器中的更新消息的数量，从其中接收一个或更多个更新消息的一个或更多个其他工作机的数量，在所有工作机上执行最小和最大的轮次、运行时间预测、查询日志以及从所有工作机收集的其他统计信息。当工作机在延迟延展期间暂停时，将其资源分配给一个或更多个其他工作机。当每个工作机在其当前轮次计算之后没有存储在相应缓冲器中的更新消息时，该工作机向主机发送非活动的标志；当从所有工作机接收到非活动时，所述主机向所有工作机广播终止消息；响应于所述终止消息，当每个工作机处于非活动状态时，其以“确认”做出响应，或者当其处于活动状态或在队列中以进行下一轮计算时，以“等待”做出响应；在从所有工作机接收到“确认”之后，所述主机从所有工作机拉出所述更新的部分结果，并且将预定义的集合函数应用于所述更新的部分结果。所述预定义的顺序增量算法是单调的。所述更新消息基于各自的部分结果，并且由预定义的更新参数来定义。在另一方面，提供了一种系统，该系统被配置为执行用于异步并行化图形计算的方法。某些实施方式可以提供以下一项或多项优点。可以通过动态调整工作机的相对进度来减少落后者和延迟计算。在单调条件下，也可以保证正确的收敛。根据以下详细描述、附图和权利要求，其他方面、特征和优点将变得显而易见。附图说明将参考以下附图描述实施例，其中：图1(a)描绘了在不同的模型下运行用于计算如图1(b)所示的连通分量(CC)示例。图1(b)描绘了CC示例。图2示出了在AAP下CC的PEval。图3示出了AAP下CC的IncEval。图4示出了AAP的工作流程。图5示出了GRAPE+的架构。图6示出了性能评估的结果具体实施方式在本申请中描述的用于异步并行化图形计算的方案称为自适应异步并行(AAP)模型。AAP是一种并行模型，它继承了BSP和AP的优点，并减少了落后者和延迟计算，而无需在两者之间进行显式切换。更好的是，AAP模型可以确保一致性，并在一般条件下保证正确的收敛。对于不同的算法，输入图形和聚类比例，AP和BSP的任何一个都不比另一个好。对于许多图形算法，单个执行中的不同阶段需要不同的模型以实现最佳性能。但是，在AP和BSP之间进行切换需要预测切换点并招致切换成本。由于没有全局同步障碍，AAP本质上是异步的。与BSP和AP相反，AAP下的每个工作机都维护参数以测量(a)相对于其他工作机的进度，以及(b)消息累积的变化(延迟)。每个工作机都可以立即访问传入的消息，并根据自己的参数决定是否开始下一轮计算。与SSP相比，每个工作机都根据其相对进度和消息的延迟动态调整其参数，而不是使用固定范围。这些工作机可以是分布式处理器，也可以是单台计算机上的处理器，也可以是处理器上的线程。图1(a)比较了在不同并行模型下的运行以计算图1(b)所示连通分量。考虑在三个工作机执行的计算任务，其中工作机P1和P2占用3个时间单位进行一轮计算，P3占用6个单位，并且用1个单位传递消息。这是在不同的模型下执行的。(1)BSP，如图1(a)(1)所示，工作机P3花费的时间是P1和P2的两倍，并且是落后者。由于其全局同步，每个超步占用6个时间单位，即最慢的P3的速度。(2)AP，AP允许工作机在其消息缓冲区不为空时开始下一轮。但是，它带有冗余的延迟计算。如图1(a)(2)所示，在时钟时间7，P3第二轮只能使用来自第一轮P1和P2的消息。当P1和P2的最新更新到达时，P3的这轮在时间8变得延迟。如稍后将看到的，更快的P1和P2的大部分计算也是多余的。(3)SSP，考虑1的有界延迟，即最快的工作机最多可以比最慢的工作机多1轮。如图1(a)(3)所示，在前3轮中P1和P2没有被落后者阻挡。但是，像AP一样，P3的第二轮也是延迟的。此外，由于有界延迟的条件，P1和P2直到P3分别完成其第2轮和第3轮时才能开始其第4轮和第5轮。结果，在时钟时间14之后，P1、P2和P3的行为类似于BSP模型。(4)AAP，AAP允许工作机积累更改并根据其他工作机的进度决定何时开始下一轮。如图1(a)(4)所示，在P3在时钟时间6完成一轮计算之后，它可以在时间8开始下一轮计算，这时可获得P1和P2的最新变化。与AP相反，AAP减少了冗余的延迟计算。这也有助于我们减轻落后者的问题，因为P3可以利用快速工作机的最新更新以较少的轮次收敛。AAP通过不阻挡快速工作机来减少落后者。当计算占用大量CPU资源并产生偏斜时，由于更新导致均匀分割的图形偏斜时，或者由于分割成本而使我们无法承受均匀分割大图时，这特别有用。此外，AAP仅在接收到足够的最新消息后才激活工作机，从而减少了冗余延迟计算。这使我们可以通过工作量调整将资源重新分配给有用的计算。此外，AAP在以下方面与以前的模型有所不同。(1)模型切换。BSP、AP和SSP是具有固定参数的A本文档来自技高网...

【技术保护点】
1.一种用于异步并行化图形计算的方法，该方法包括：/n在多个工作机上分发多个片段，以使每个工作机具有至少一个本地片段，所述多个片段是通过对一图形进行分割而获得，每个片段是该图形的一子图；/n通过每个工作机使用预定义的顺序批处理算法计算其至少一个本地片段的每个片段上部分结果；/n由每个工作机基于一个或更多个更新消息使用预定义的顺序增量算法迭代地计算其至少一个本地片段中每个片段的更新的部分结果，直到满足终止条件为止，其中从一个或更多个其它工作机分别接收一个或更多个更新消息，并将所述一个或更多个更新消息分别存储在各自的缓冲区中；/n其中允许每个工作机根据其延迟延展来决定何时执行下一轮计算，并且其中所述工作机在执行下一轮计算之前，暂停由所述延迟延展指示的时间，所述延迟延展可以根据每个工作机相对于其他工作机的相对计算进度进行动态调整。/n

【技术特征摘要】
【国外来华专利技术】20180608 CN PCT/CN2018/0903721.一种用于异步并行化图形计算的方法，该方法包括：
在多个工作机上分发多个片段，以使每个工作机具有至少一个本地片段，所述多个片段是通过对一图形进行分割而获得，每个片段是该图形的一子图；
通过每个工作机使用预定义的顺序批处理算法计算其至少一个本地片段的每个片段上部分结果；
由每个工作机基于一个或更多个更新消息使用预定义的顺序增量算法迭代地计算其至少一个本地片段中每个片段的更新的部分结果，直到满足终止条件为止，其中从一个或更多个其它工作机分别接收一个或更多个更新消息，并将所述一个或更多个更新消息分别存储在各自的缓冲区中；
其中允许每个工作机根据其延迟延展来决定何时执行下一轮计算，并且其中所述工作机在执行下一轮计算之前，暂停由所述延迟延展指示的时间，所述延迟延展可以根据每个工作机相对于其他工作机的相对计算进度进行动态调整。


2.根据权利要求1所述的方法，其中，通过来自以下组的一个或更多个参数来调整每个工作机的延迟延展：存储在相应缓冲器中的更新消息的数量，从其中接收一个或更多个更新消息的一个或更多个其他工作机的数量，在所有工作机上执行最小和最大的轮次、运行时间预测、查询日志以及从所有工作机收集的其他统计信息。


3.根据权利要求1或2所述的方法，其中，当可用时...

【专利技术属性】
技术研发人员：樊文飞，于文渊，徐静波，
申请(专利权)人：浙江天猫技术有限公司，
类型：发明
国别省市：浙江;33