一种并行模式搜索空间构造系统和方法技术方案

本发明专利技术提供了一种并行模式搜索空间构造系统和方法，该方法为：初始化输入逻辑张量；计算并输出逻辑张量真值；构造所有候选并行模式，确定输入和输出张量并行模式迭代内容；结合输入张量并行模式迭代内容，切分输入逻辑张量为物理张量；判断物理张量计算合法性，若合法，计算物理张量结果并输出；若非法，继续输入张量并行模式迭代过程；结合输出张量并行模式迭代内容，合并物理张量运算结果为逻辑张量；对比逻辑张量真值和逻辑张量，若相等，将该并行模式添加到合法并行模式搜索空间中，并直接继续输入张量并行模式迭代过程；若不相等，继续输出张量并行模式迭代过程，直到迭代完成后，重复所述以上步骤，直到所述输入张量并行模式迭代过程完成。模式迭代过程完成。模式迭代过程完成。

【技术实现步骤摘要】
一种并行模式搜索空间构造系统和方法


[0001]本专利技术涉及数据处理
，尤其涉及一种并行模式搜索空间构造系统和方法。

技术介绍

[0002]随着分布式计算的普及，大型作业或大型逻辑张量会通过分割方式将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，在各个计算过程中会进行中间参数的交互，这将引起计算设备之间的数据传输开销。随着数据量的增大，这种不同计算设备之间的数据传输开销对于分布式数据处理系统而言将造成极大的计算负担。
[0003]在申请号为“202010090335.2”， 公告号CN110955734B ，专利技术名称为“逻辑节点的分布式签名决策系统及其方法”的专利技术申请中，提出一种SBP分布式签名决策系统能够从全局角度讲静态分布式数据处理系统在处理数据过程中的不同计算设备之间的数据交换量最小化，从而减少的数据交互过程产生的开销。但该专利技术申请要求系统设计师基于分布式描述符根据自身经验事先在系统中定义有效并行模式搜索空间，这要求系统设计工程师具有全面的数学理论和丰富的系统分析经验。因此，在支持数据并行、模型并行和混合并行、流水并行的分布式数据处理系统中，如何自动化的生成并行模式搜索空间是提高分布式计算系统正确性、降低开发难度的关键问题。

技术实现思路

[0004]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种并行模式搜索空间构造系统和方法，其具体技术方案如下：一种并行模式搜索空间构造系统，包括：初始化器，用于初始化输入逻辑张量；迭代器，包括输入张量并行模式迭代器和输出张量并行模式迭代器，用于迭代并行模式搜索空间中的每一个候选并行模式；计算器，包括逻辑算子计算引擎和物理算子计算引擎，所述逻辑算子计算引擎用于计算逻辑算子张量运算结果，输出逻辑张量真值，所述物理算子计算引擎计算物理算子张量运算结果，输出物理张量；张量转换器，包括张量合并器和张量切分器，所述张量切分器用于结合输入逻辑张量和输入张量并行模式迭代器，将逻辑张量转换为物理张量，所述张量合并器用于结合输出物理张量和输出张量并行模式迭代器，将物理张量转换为逻辑张量；张量对比器，用于比较两个或多个张量是否相等；合法并行模式添加器，用于将判断合法的并行模式添加到合法并行模式搜索空间中。
[0005]进一步的，所述并行模式搜索空间中的每个候选并行模式，指定了其所属节点的每个输入张量的分布式描述符，以及每个输出张量的分布式描述符，并且每个已经确定并
行模式的上游节点的输出端的分布式描述符，针对当前节点的每一个候选并行模式，都有确定的当前节点的输出并行模式。
[0006]进一步的，所述分布式描述符包括：分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符，且所述分布式描述符构成了所述张量转换器内容。
[0007]进一步的，所述计算器基于张量相乘运算以启动逻辑算子计算引擎和物理算子计算引擎，计算器的计算内容的表达式为：初始化器初始的输入逻辑张量分别为X和W，X和W分别为m， n 维张量，即, ，其中d
k
和e
k
分别为X或W第k维的大小。
[0008]进一步的，所述张量对比器具体的，用于对比逻辑张量真值和所述转换后逻辑张量是否相等，对比内容不限于逻辑张量形状、数值、数值类型，还包括其他张量固定属性。
[0009]一种并行模式搜索空间构造方法，包括如下步骤：步骤1、利用初始化器初始化输入逻辑张量；步骤2、将所述输入逻辑张量输入并启动逻辑算子计算引擎，输出逻辑张量真值；步骤3、构造并行模式搜索空间，从而确定输入张量并行模式迭代器迭代分布式签名和输出张量并行模式迭代器迭代分布式签名；步骤4、结合输入张量并行模式迭代器迭代分布式签名，利用张量切分器将所述输入逻辑张量转换为物理张量，并输出；步骤5、判断物理张量，计算合法性，若合法，则将物理张量输入并启动物理算子计算引擎，输出物理张量运算结果；若非法，则将物理张量继续输入张量并行模式迭代器的迭代过程，直到迭代完成；步骤6、结合输出张量并行模式迭代器迭代分布式签名，利用张量合并器将所述输出物理张量运算结果转换为逻辑张量，并输出；步骤7、利用张量对比器判断所述逻辑张量真值和所述转换后逻辑张量是否相等，若相等，则利用合法并行模式添加器将该并行模式添加到合法并行模式搜索空间中，并直接继续所述输入张量并行模式迭代器的迭代过程；若不相等，继续所述输出张量并行模式迭代器的迭代过程，直到迭代完成后，继续所述输入张量并行模式迭代器迭代过程。
[0010]步骤8、重复所述1至7步骤，直到所述输入张量并行模式迭代器迭代完成，此时合法并行模式搜索空间构造完毕。
[0011]进一步的，所述初始化过程包括初始化张量的所有固定属性。
[0012]本专利技术的优点：本专利技术的一种并行模式搜索空间构造系统和方法，能够通过自动化的方式，自动构造有效的并行模式搜索空间，降低了要求设计者具有丰富经验的要求，提升了数据处理效率。
附图说明
[0013]图1是本专利技术的一种并行模式搜索空间构造系统的结构图；图2是本专利技术的一种并行模式搜索空间构造方法的流程图；
其中，S101
‑
初始化器，S201
‑
迭代器，S202
‑
输入张量并行模式迭代器，S203
‑
输出张量并行模式迭代器，S301
‑
计算器，S302
‑
算子计算引擎，S303
‑
物理算子计算引擎，S401
‑
张量转换器，S402
‑
张量合并器，S403
‑
张量切分器，S501
‑
张量对比器，S601
‑
合法并行模式添加器。
具体实施方式
[0014]为了使本专利技术的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本专利技术作进一步详细说明。
[0015]如图1所示，本专利技术的一种并行模式搜索空间构造系统，包括：初始化器S101，用于初始化输入逻辑张量，生成用于分布式数据处理系统的初始逻辑节点拓扑图；迭代器S201，包括输入张量并行模式迭代器S202和输出张量并行模式迭代器S203，用于迭代并行模式搜索空间中的每一个候选并行模式。
[0016]所述并行模式搜索空间大小与非限定分布式描述符相关，所述并行模式搜索空间中的每个候选并行模式，指定了其所属节点的每个输入张量的分布式描述符，以及每个输出张量的分布式描述符；根据所述候选并行模式，可将逻辑张量通过切分转换为物理张量，也可将物理张量通过合并转换为逻辑张量。并且每个已经确定并行模式的上游节点的输出端的分布式描述符，针对当前节点的每一个候选并行模式，都有确定的当前节点的输出并行模式。
[0017]所述分布式描述符不限定于现有张量的分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符，且所述分布式描述符构成了所述张量转换器内容。
[0018]计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种并行模式搜索空间构造系统，其特征在于，包括：初始化器，用于初始化输入逻辑张量；迭代器，包括输入张量并行模式迭代器和输出张量并行模式迭代器，用于迭代并行模式搜索空间中的每一个候选并行模式；计算器，包括逻辑算子计算引擎和物理算子计算引擎，所述逻辑算子计算引擎用于计算逻辑算子张量运算结果，输出逻辑张量真值，所述物理算子计算引擎计算物理算子张量运算结果，输出物理张量；张量转换器，包括张量合并器和张量切分器，所述张量切分器用于结合输入逻辑张量和输入张量并行模式迭代器，将逻辑张量转换为物理张量，所述张量合并器用于结合输出物理张量和输出张量并行模式迭代器，将物理张量转换为逻辑张量；张量对比器，用于比较两个或多个张量是否相等；合法并行模式添加器，用于将判断合法的并行模式添加到合法并行模式搜索空间中。2.如权利要求1所述的一种并行模式搜索空间构造系统，其特征在于，所述并行模式搜索空间中的每个候选并行模式，指定了其所属节点的每个输入张量的分布式描述符，以及每个输出张量的分布式描述符，并且每个已经确定并行模式的上游节点的输出端的分布式描述符，针对当前节点的每一个候选并行模式，都有确定的当前节点的输出并行模式。3.如权利要求2所述的一种并行模式搜索空间构造系统，其特征在于，所述分布式描述符包括：分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符，且所述分布式描述符构成了所述张量转换器内容。4.如权利要求1所述的一种并行模式搜索空间构造系统，其特征在于，所述计算器基于张量相乘运算以启动逻辑算子计算引擎和物理算子计算引擎，计算器的计算内容的表达式为：初始化器初始的输入逻辑张量分别为X和W，X和W分别为m， n 维张量，即, ，其中d
k
和e
k
分...

【专利技术属性】
技术研发人员：杨非，陈岱渊，华炜，鲍虎军，钟昊文，
申请(专利权)人：之江实验室，
类型：发明
国别省市：