一种分散规约处理方法、装置及可读存储介质制造方法及图纸

本发明专利技术提供一种分散规约处理方法、装置及可读存储介质，该方法包括：获取树状网络拓扑中的第一数据放置信息和第二数据放置信息，第一数据放置信息包括在目标节点上执行分散规约操作前目标服务器中的第一数据信息，第二数据放置信息包括在目标节点上执行分散规约操作后目标服务器中的第二数据信息；在确定对目标子节点下的N1个目标服务器中的第一数据信息更新的情况下，将N1个目标服务器中的第一数据信息放置到目标子节点下的N2个目标服务器中；N2与目标子节点的收敛比相关；根据N2个目标服务器中更新的第一数据信息，得到更新后的第一数据放置信息；根据更新后的第一数据放置信息、第二数据放置信息和分散规约算法进行分散规约处理。散规约处理。散规约处理。

【技术实现步骤摘要】
一种分散规约处理方法、装置及可读存储介质


[0001]本专利技术涉及无线通信
，特别是指一种分散规约处理方法、装置及可读存储介质。

技术介绍

[0002]现有的多机通信框架，在选择全规约方案时，采用经验参数进行决策，基于经验参数选择的全规约方案仅在简单网络(如所有节点在同一交换机下或全连接网络)下表现出最优性能，而难以在相对复杂的网络拓扑(如分层树状网络拓扑)下维持高性能。

技术实现思路

[0003]本专利技术的目的是提供一种分散规约处理方法、装置及可读存储介质，以解决基于现有方式选择的全规约方案难以在树状网络拓扑下维持高性能的问题。
[0004]为达到上述目的，本专利技术的实施例提供一种分散规约处理方法，包括：
[0005]获取树状网络拓扑中的第一数据放置信息和第二数据放置信息，所述树状网络拓扑包括至少两个服务器和至少两个交换机，所述第一数据放置信息包括在目标节点上执行分散规约操作之前各个目标服务器中放置的第一数据信息，所述第二数据放置信息包括在所述目标节点上执行分散规约操作之后各个目标服务器中放置的第二数据信息，所述目标节点为所述交换机，所述目标服务器为所述树状网络拓扑中以所述目标节点为根节点的子树中的服务器；
[0006]在确定对目标子节点下的N1个目标服务器中放置的第一数据信息进行更新的情况下，将所述N1个目标服务器中的第一数据信息重新放置到所述目标子节点下的N2个目标服务器中，得到所述N2个目标服务器中更新的第一数据信息；N1为所述树状网络拓扑中以所述目标子节点为根节点的子树中包含的服务器的总数量，N2与所述目标子节点的收敛比相关，所述目标子节点包括所述目标节点的至少一个子节点；
[0007]根据N2个目标服务器中更新的第一数据信息，得到更新后的第一数据放置信息；
[0008]根据更新后的第一数据放置信息、第二数据放置信息和分散规约算法进行分散规约处理。
[0009]可选地，所述将所述N1个目标服务器中的第一数据信息重新放置到所述目标子节点下的N2个目标服务器之前，还包括：
[0010]根据目标子节点的收敛比，在所述目标子节点的d个子节点中确定e个子节点，d为所述目标子节点包含的子节点总数量；
[0011]根据所述e个子节点下的目标服务器的数量，确定所述N2。
[0012]可选地，本专利技术实施例的方法，还包括：
[0013]计算第一开销时长和第二开销时长，所述第一开销时长为所述目标子节点下的N1个服务器将各自拥有的数据传出所述目标子节点所需的时长，所述第二开销时长为N2个服务器将各自拥有的数据传出所述目标子节点所需的时长；
[0014]在所述第二开销时长小于所述第一开销时长的情况下，确定目标子节点下的N1个目标服务器中放置的第一数据信息进行更新。
[0015]可选地，所述第一开销时长和第二开销时长分别与以下参数相关；
[0016]通信延迟参数，所述通信延迟参数包括通信步骤数和启动一步通信所带来的延迟；
[0017]带宽开销参数，所述带宽开销参数包括一条物理链路上所传递的总数据量以及传输单位数据量数据所需要的开销；
[0018]计算开销参数，所述计算开销参数包括聚合操作的数量以及处理单元进行单次操作所需要的时间；
[0019]内存读写开销参数，所述内存读写开销参数包括读和写内存的总数据量以及内存读写单位数据所需要的时间；
[0020]带宽竞争参数，所述带宽竞争参数包括通信的扇入数，产生带宽拥塞时的扇入数阈值，以及网络竞争所导致的时耗增长与扇入数之间的线性比率。
[0021]可选地，所述第一开销时长和第二开销时长分别满足以下公式：
[0022]T＝Aα+Bβ+Cγ+Dδ+max(w
‑
w
t
,0)Bε；
[0023]其中，T表示第一开销时长或第二开销时长，A表示通信步骤数，α表示通启动一步通信所带来的延迟，B表示一条物理链路上所传递的总数据量，β表示传输单位数据量数据所需要的开销，C表示聚合操作的数据量，γ表示处理单元进行单次操作所需要的时间，D表示读和写内存的总数据量，δ表示内存读写单位数据所需要的时间，w表示通信的扇入数，w
t
表示产生带宽拥塞时的扇入数阈值，ε表示网络竞争所导致的时耗增长与扇入数之间的线性比率。
[0024]可选地，在所述目标节点下的子树为非对称结构的情况下，所述分散规约算法为数据由第一服务器发送给第二服务器，所述第一服务器为在执行分散规约操作之前放置该数据的服务器，所述第二服务器为在执行分散规约操作之后放置该数据的服务器。
[0025]本专利技术实施例还提供了一种分散规约处理装置，包括：
[0026]第一获取模块，用于获取树状网络拓扑中的第一数据放置信息和第二数据放置信息，所述树状网络拓扑包括至少两个服务器和至少两个交换机，所述第一数据放置信息包括在目标节点上执行分散规约操作之前各个目标服务器中放置的第一数据信息，所述第二数据放置信息包括在所述目标节点上执行分散规约操作之后各个目标服务器中放置的第二数据信息，所述目标节点为所述交换机，所述目标服务器为所述树状网络拓扑中以所述目标节点为根节点的子树中的服务器；
[0027]重置模块，用于在确定对目标子节点下的N1个目标服务器中放置的第一数据信息进行更新的情况下，将所述N1个目标服务器中的第一数据信息重新放置到所述目标子节点下的N2个目标服务器中，得到所述N2个目标服务器中更新的第一数据信息；N1为所述树状网络拓扑中以所述目标子节点为根节点的子树中包含的服务器的总数量，N2与所述目标子节点的收敛比相关，所述目标子节点包括所述目标节点的至少一个子节点；
[0028]第二获取模块，用于根据N2个目标服务器中更新的第一数据信息，得到更新后的第一数据放置信息；
[0029]处理模块，用于根据更新后的第一数据放置信息、第二数据放置信息和分散规约
算法进行分散规约处理。
[0030]可选地，本专利技术实施例的装置，还包括：
[0031]第一确定模块，用于在重置模块将所述N1个目标服务器中的第一数据信息重新放置到所述目标子节点下的N2个目标服务器之前，根据目标子节点的收敛比，在所述目标子节点的d个子节点中确定e个子节点，d为所述目标子节点包含的子节点总数量；
[0032]第二确定模块，用于根据所述e个子节点下的目标服务器的数量，确定所述N2。
[0033]可选地，本专利技术实施例的装置，还包括：
[0034]计算模块，用于计算第一开销时长和第二开销时长，所述第一开销时长为所述目标子节点下的N1个服务器将各自拥有的数据传出所述目标子节点所需的时长，所述第二开销时长为N2个服务器将各自拥有的数据传出所述目标子节点所需的时长；
[0035]第三确定模块，用于在所述第二开销时长小于所述第一开销时长的情况下，确定目标子节点下的N1个目标服务器中放置的第一数据信息进行更新。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分散规约处理方法，其特征在于，包括：获取树状网络拓扑中的第一数据放置信息和第二数据放置信息，所述树状网络拓扑包括至少两个服务器和至少两个交换机，所述第一数据放置信息包括在目标节点上执行分散规约操作之前各个目标服务器中放置的第一数据信息，所述第二数据放置信息包括在所述目标节点上执行分散规约操作之后各个目标服务器中放置的第二数据信息，所述目标节点为所述交换机，所述目标服务器为所述树状网络拓扑中以所述目标节点为根节点的子树中的服务器；在确定对目标子节点下的N1个目标服务器中放置的第一数据信息进行更新的情况下，将所述N1个目标服务器中的第一数据信息重新放置到所述目标子节点下的N2个目标服务器中，得到所述N2个目标服务器中更新的第一数据信息；N1为所述树状网络拓扑中以所述目标子节点为根节点的子树中包含的服务器的总数量，N2与所述目标子节点的收敛比相关，所述目标子节点包括所述目标节点的至少一个子节点；根据N2个目标服务器中更新的第一数据信息，得到更新后的第一数据放置信息；根据更新后的第一数据放置信息、第二数据放置信息和分散规约算法进行分散规约处理。2.根据权利要求1所述的方法，其特征在于，所述将所述N1个目标服务器中的第一数据信息重新放置到所述目标子节点下的N2个目标服务器之前，还包括：根据目标子节点的收敛比，在所述目标子节点的d个子节点中确定e个子节点，d为所述目标子节点包含的子节点总数量；根据所述e个子节点下的目标服务器的数量，确定所述N2。3.根据权利要求1或2所述的方法，其特征在于，还包括：计算第一开销时长和第二开销时长，所述第一开销时长为所述目标子节点下的N1个服务器将各自拥有的数据传出所述目标子节点所需的时长，所述第二开销时长为N2个服务器将各自拥有的数据传出所述目标子节点所需的时长；在所述第二开销时长小于所述第一开销时长的情况下，确定目标子节点下的N1个目标服务器中放置的第一数据信息进行更新。4.根据权利要求3所述的方法，其特征在于，所述第一开销时长和第二开销时长分别与以下参数相关；通信延迟参数，所述通信延迟参数包括通信步骤数和启动一步通信所带来的延迟；带宽开销参数，所述带宽开销参数包括一条物理链路上所传递的总数据量以及传输单位数据量数据所需要的开销；计算开销参数，所述计算开销参数包括聚合操作的数量以及处理单元进行单次操作所需要的时间；内存读写开销参数，所述内存读写开销参数包括读和写内存的总数据量以及内存读写单位数据所需要的时间；带宽竞争参数，所述带宽竞争参数包括通信的扇入数，产生带宽拥塞时的扇入数阈值，以及网络竞争所导致的时耗增长与扇入数之间的线性比率。5.根据权利要求4所述的方法，其特征在于，所述第一开销时长和第二开销时长分别满足以下公式：
T＝Aα+Bβ+Cγ+Dδ+max(w
‑
w
t
,0)Bε；其中，T表示第一开销时长或第二开销时长，A表示通信步骤数，α表示通启动一步通信所带来的延迟，B表示一条物理链路上所传递的总数据量，β表示传输单位数据量数据所需要的开销，C表示聚合操作的数据量，γ表示处理单元进行单次操作所需要的时间，D表示读和写内存的总数据量，δ表示内存读写单位数据所需要的时间，w表示通信的扇入数，w
t
表示产生带宽拥塞时的扇入数阈值，ε表示网络竞争所导致的时耗增长与扇入数之间的线性比率。6.根据权利要求1所述的方法，其特征在于，在所述目标节点下的子树为非对称结构的情况下，所述分散规约算法为数据由第一服务器发送给第二服务器，所述第一服务器为在执行分散规约操作之前放置该数据的服务器，所述第二服务器为在执行分散规约操作之后放置该数据的服务器。7.一种分散规约处理装置，其特征在于，包括：第一获取模块，用于获取树状网络拓扑中的第一数据放置信息和第二数据放置信息，所述树状网络拓扑包括至少两个服务器和至少两个交换机，所述第一数据放置信息包括在目标节点上执行分散规约操作之前各个目标服务器中放置的第一数据信息，所述第二数据放置信息包括在所述目标节点上执行分散规约操作之后各个目标服务器中放置的第二数据信息，所述目标节点为所述交换机，所述目标服务器为所述树状网络拓扑中以所述目标节点为根节点的子树中的服务器；重置模块，用于在确定对目标子节点下的N1个目标服务器中放置的第一数据信息进行更新的情况下，将所述N1个目标服务器中的第一数据信息重新放置到所述目标子节点下的N2个目标服务器中，得到所述N2个目标服务器中更新的第一数据信息；N1为所述树状网络拓扑中以所述目标子节点为根节点的子树中包含的服务器的总数量，...

【专利技术属性】
技术研发人员：李丹，熊典，丛鹏宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：