【技术实现步骤摘要】
本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于分布式数据处理系统的数据交换通信路径自动构建系统及其方法，从而实现数据交换通信的自动安排。
技术介绍
1、随着分布式计算的普及，大型的作业或大逻辑张量会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，并在各个部分计算过程需要进行中间参数的交互。这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会称为另一个计算设备上的计算任务的输入数据，这会引起计算设备之间的数据传输开销。在作业数据很大的情况下，这种不同计算设备之间的传输开销对于分布式数据处理系统而言将造成极大的计算负担。为此，本申请专利技术人于2020年02月13向中国专利局提出了申请号为“202010090335.2”名称为“逻辑节点的分布式签名决策系统及其方法”的专利技术申请(公告号cn110955734b)，该专利技术专利提出了一种sbp签名决策系统能够从全局角度讲静态分布式数据处理系统在处理数据过程中的不同计算设备之间的数据交换量最小化，从而减少的数据交互过程产生的开销，这样有效地降低了数据交换对实际运算操作带来的不良影响。该专利技术专利将通过引用方式作为本申请的一部分包含在本申请的说明书中。
2、随着大规模深度学习框架的发展，一维sbp(1dsbp)已经不能满足描述并行策略的需求，随着卡数机器数的增多，往往只有高维的sbp(ndsbp)才能描述并定制出最优最快的并行策略。而把1dsbp扩展到高维的ndsbp，不仅在并行策略的挑选上增大了难度，还在
3、在一个神经网络或初始逻辑节点拓扑图里面，相邻的两个逻辑节点或计算节点之间，也就是计算图的边，往往代表着一次通信，也就是一个张量的传输(需要指出的时，也有一些边不是代表着通信，比如控制边，他们通常用于控制算子的先后顺序，没有任何的传输。)。具体而言，一个张量在上下游的状态可能是不同的，也就是说，上游逻辑节点输出的张量的分布式sbp描述符所描述的张量的分布方式与其上游的逻辑节点所需要的输入的张量的分布式sbp描述符所描述的张量的分布方式时不同的，比如，上游输出的张量是的sbp描述符为s0(第0维分割)，在下游所需要接收的张量的sbp描述符是b(广播张量)，这样的话，从上游到下游就要进行一次allgather这样的通信原语所表达的数据交换通信过程。以2dsbp为例，比如上游输出的张量是的sbp描述符为是(p,s1),在下游所需要接收的张量的sbp描述符是是(p,b)，这样的话从上游到下游，每一个第二分级就需要进行一次allgather的s1→b通信，即(p,s1)→(p,b)。类似地，对于(p,s1)→(b,s1)的例子，从上游到下游需要进行一次第一分级的p→b的allreduce这样的通信原语的通信。但是并不是所有的分布式描述符都可以直接具有对应的通信原语进行数据交换通信，例如，(p,s1)→(b,b)以及(s0,s1)→(b,b)不能通过现有的集合通信的通信原语来实现数据交换通信，也就是像(p,s1)→(b,b)以及(s0,s1)→(b,b)这种数据变换通信在当前是走不通的，不能用一次allgather的方式来完成通信，因为数据的排布方式并不是单纯纵向或者横向的堆砌，而是纵向以及横向同时按照一定的排布组合起来。
4、对于无法采用现有基本通信原语实现一次性数据交换通信的情形，通常认为其数据传输代价为无穷大，因此在现有技术中是经常要避免的，为此，现有技术中采用通过选择逻辑节点的候选sbp签名中能够用现有基本通信原语实现一次性数据交换通信的sbp签名来进行避免传输代价无穷大的情形。但是在有些分布式数据处理系统中，有些sbp签名具有特别的效果，甚至有些逻辑节点的sbp签名属于指定而不可变更，这就需要花费更多的精力进行调整，以便在不可变更的情况下实现这种数据交换通信，这将会极大地消耗技术人员的精力来处理这种数据交换通信。这种无法实现的数据交换通信通常存在于由不同的高维的sbp(ndsbp)所描述的张量之间。
5、因此，在无法通过基础的通信原语来实现不同的高维的sbp(ndsbp)所描述的张量之间完成高维的sbp(ndsbp)之间数据交换通信的情形下，如何能够像现有的能够自动通过基本通信原语实现数据交换通信的一维sbp所描述的张量一样自动实现，这是本领域技术人员期望已久的结果。也就是说，人们期望一种能够自动实现这种不能直接一次性采用现有基本通信原语来完成数据交换通信的系统的方法。
技术实现思路
1、为此，基于本申请的专利技术人提出的数据交换通信路径自动构建系统，为解决上述技术问题提供了可能。本申请提出了一种数据交换通信路径自动构建系统，用于分布式数据处理，所述系统包括：初始逻辑节点生成组件，接收用户输入的任务配置数据，生成用于所述分布式数据处理系统的初始逻辑节点拓扑图，每个初始逻辑节点用于执行预定的数据处理操作，并被附加有预定的节点属性，所述节点属性包括初始逻辑节点的所属的逻辑数据处理设备的位置标记、基于所述任务配置数据附有候选sbp分布式签名集合，所述位置标记表达了初始逻辑节点的所属的逻辑数据处理设备的部署结构，所述候选sbp分布式签名集合中的每个sbp分布式签名指定了其所属的初始逻辑节点的每个输入逻辑张量的一维或多维度sbp分布式描述符以及每个输出逻辑张量的一维或多维度sbp分布式描述符；通信直通路径确定组件，遍历每个初始逻辑节点作为当前初始逻辑节点，基于其候选sbp分布式签名集合的每个sbp分布式签名的每个输入端的输入逻辑张量的sbp分布式描述符以及该输入端对应的上游初始逻辑节点的输出端的输出逻辑张量的sbp分布式描述符，在所述输出逻辑张量的sbp分布式描述符和所述输入逻辑张量的sbp分布式描述符不同情况下，根据集合通信的基本通信原语，确定能够仅仅通过集合通信的一个基本通信原语完成从所述输出逻辑张量的sbp分布式描述符所描述的张量到所述输入逻辑张量的sbp分布式描述符所描述的张量的通信变换的当前初始逻辑节点与所述上游初始逻辑节点之间存在候选通信直通路径；通信间接路径获取组件，在通信直通路径确定组件确定当前初始逻辑节点与所述上游初始逻辑节点之间不存在能够仅仅通过集合通信的一个基本通信原语完成从所述输出逻辑张量的sbp分布式描述符所描述的张量到所述输入逻辑张量的sbp分布式描述符所描述的张量的通信变换的通信直通路径的情况下，采用最短路径法，获取到一条或多条，经由一个或多个采用不同sbp分布式描述符所描述的中间张量，将所述输出逻辑张量的sbp分布式描述符所描述的张量变换到所述输入逻辑张量的sbp分布式描述符所描述的张量的候选通信间接路径，所述候选通信间接路径的任意两个相邻张量之间通过集合通信的一个基本通信原语完成所述两个相邻张量中上游张量到下游张量的变换；以及中间张量生成节点插入组件，基于所述通信间接路径获取组件的生成结果，针对所选择的候选通信间接路径任意的当本文档来自技高网...
【技术保护点】
1.一种数据交换通信路径自动构建系统，用于分布式数据处理，所述系统包括：
2.根据权利要求1所述的数据交换通信路径自动构建系统，其还包括：
3.根据权利要求2所述的数据交换通信路径自动构建系统，其中，所述通信间接路径获取组件在生成所述候选通信间接路径后将该候选通信间接路径的传输代价存储在所述通信路径库组件的传输代价换算表中。
4.根据权利要求1或2所述的数据交换通信路径自动构建系统，其中不存在能够仅仅通过集合通信的一个基本通信原语完成从所述输出逻辑张量的SBP分布式描述符所描述的张量到所述输入逻辑张量的SBP分布式描述符所描述的张量的通信变换的通信直通路径的情况为以下情况之一：
5.根据权利要求4所述的数据交换通信路径自动构建系统，还包括：
6.一种数据交换通信路径自动构建方法，用于分布式数据处理，所述方法包括：
7.根据权利要求6所述的数据交换通信路径自动构建方法，其还包括：
8.根据权利要求7所述的数据交换通信路径自动构建方法，其中，所述通信间接路径获取组件在获取所述候选通信间接路径后将该候选
9.根据权利要求6或7所述的数据交换通信路径自动构建方法，其中不存在能够仅仅通过集合通信的一个基本通信原语完成从所述输出逻辑张量的SBP分布式描述符所描述的张量到所述输入逻辑张量的SBP分布式描述符所描述的张量的通信变换的通信直通路径的情况为以下情况之一：
10.根据权利要求9所述的数据交换通信路径自动构建方法，还包括：
...【技术特征摘要】
1.一种数据交换通信路径自动构建系统，用于分布式数据处理，所述系统包括：
2.根据权利要求1所述的数据交换通信路径自动构建系统，其还包括：
3.根据权利要求2所述的数据交换通信路径自动构建系统，其中，所述通信间接路径获取组件在生成所述候选通信间接路径后将该候选通信间接路径的传输代价存储在所述通信路径库组件的传输代价换算表中。
4.根据权利要求1或2所述的数据交换通信路径自动构建系统，其中不存在能够仅仅通过集合通信的一个基本通信原语完成从所述输出逻辑张量的sbp分布式描述符所描述的张量到所述输入逻辑张量的sbp分布式描述符所描述的张量的通信变换的通信直通路径的情况为以下情况之一：
5.根据权利要求4所述的数据交换通信路径自动构建系统，还包括：
...【专利技术属性】
技术研发人员：李一鹏，王迎港，郭冉，张文骁，成诚，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。