System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 张量处理方法及装置、设备和介质制造方法及图纸_技高网

张量处理方法及装置、设备和介质制造方法及图纸

技术编号:43937324 阅读:8 留言:0更新日期:2025-01-07 21:29
本公开提供了一种张量处理方法及装置、设备和介质,涉及数据处理技术领域,尤其涉及人工智能和分布式处理技术领域。实现方案为:基于待处理的N维的第一张量的尺寸,从数据库中查询第一切分参数;通过基于第一切分参数切分第一张量,确定多个子张量;以及利用多个处理单元并行处理多个子张量,数据库的构建过程包括:确定N维坐标空间中的多个离散点;确定每个离散点对应的候选切分参数集合;以及基于多个离散点的候选切分参数集合将N维坐标空间划分为多个目标子空间,每个目标子空间存在能够对应共同切分参数的多个第一离散点,数据库查询过程包括:确定第一张量相应的目标点所处的第一目标子空间;确定第一目标子空间对应的共同切分参数为第一切分参数。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及人工智能和分布式处理,具体涉及一种张量处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、随着人工智能技术的发展,越来越多的应用基于人工智能技术取得了远超过传统算法的效果。深度学习是数据密集型算法和计算密集型算法,待处理数据通常为多维张量形式,为了提高基于深度学习的神经网络模型处理复杂任务的效率,可以针对输入数据张量进行切分,进而利用多个处理硬件对切分后的张量执行分布式处理。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现思路

1、本公开提供了一种张量处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面,提供了一种张量处理方法,包括:基于待处理的第一张量的尺寸,从数据库中查询第一切分参数;通过基于所述第一切分参数切分所述第一张量,确定多个子张量;以及利用多个处理单元并行处理所述多个子张量,其中,所述第一张量的维数为正整数n,所述数据库是利用如下过程构建的:确定n维坐标空间中的多个离散点,其中,所述多个离散点中的每个离散点在所述n维坐标空间中的n个维度的坐标值为正整数;针对所述多个离散点中的每个离散点,确定该离散点对应的候选切分参数集合;以及将所述n维坐标空间划分为多个目标子空间,其中,每个目标子空间中的至少一个离散点满足于如下的第一条件:该目标子空间中存在多个第一离散点,其中,所述多个第一离散点中每个第一离散点的候选切分参数集合中存在共同切分参数,并且其中,所述至少一个第一离散点在该目标子空间中的数量比例不小于比例阈值,并且其中,所述基于待处理的第一张量的尺寸,从数据库中查询第一切分参数包括:确定目标点所处的第一目标子空间,其中,所述目标点在所述n个维度的坐标值是基于所述第一张量沿所述n个维度的尺寸确定的;以及确定所述第一目标子空间对应的共同切分参数为所述第一切分参数。

3、根据本公开的另一方面,提供了一种张量处理装置,包括:查询单元,被配置为基于待处理的第一张量的尺寸,从数据库中查询第一切分参数;第一确定单元,被配置为通过基于所述第一切分参数切分所述第一张量,确定多个子张量;以及多个处理单元,被配置为并行处理所述多个子张量,其中,所述第一张量的维数为正整数n,所述数据库是利用数据库构建装置构建的,所述数据库构建装置包括:第二确定单元,被配置为确定n维坐标空间中的多个离散点,其中,所述多个离散点中的每个离散点在所述n维坐标空间中的n个维度的坐标值为正整数;第三确定单元,被配置为针对所述多个离散点中的每个离散点,确定该离散点对应的候选切分参数集合;以及划分单元,被配置为将所述n维坐标空间划分为多个目标子空间,其中,每个目标子空间中的至少一个离散点满足于如下的第一条件:该目标子空间中存在多个第一离散点,其中,所述多个第一离散点中每个第一离散点的候选切分参数集合中存在共同切分参数,并且其中,所述至少一个第一离散点在该目标子空间中的数量比例不小于比例阈值,并且其中,所述查询单元包括:第一确定子单元,被配置为确定目标点所处的第一目标子空间,其中,所述目标点在所述n个维度的坐标值是基于所述第一张量沿所述n个维度的尺寸确定的;以及第二确定子单元,被配置为确定所述第一目标子空间对应的共同切分参数为所述第一切分参数。

4、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述张量处理方法。

5、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述张量处理方法。

6、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时能够实现上述张量处理方法。

7、根据本公开的一个或多个实施例,可以更高效地确定张量切分参数,进而提升张量处理效率。

8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种张量处理方法,包括:

2.如权利要求1所述的方法,其中,所述候选切分参数集合中的每个候选切分参数满足于如下的第二条件:基于该候选切分参数切分N维的第二张量得到的切分结果的处理时长不大于时长阈值,其中,所述第二张量沿N个维度的尺寸为该离散点在所述N维坐标空间中的N个维度的坐标值。

3.如权利要求2所述的方法,其中,所述针对所述多个离散点中的每个离散点,确定该离散点对应的候选切分参数集合包括:

4.如权利要求3所述的方法,其中,所述基于所述多个初始切分参数各自对应的处理时长,确定该离散点对应的时长阈值包括:

5.如权利要求1-4中任一项所述的方法,其中,所述多个目标子空间中的第二目标子空间是利用如下方式确定的:

6.如权利要求5所述的方法,其中,所述基于所述至少一个第一候选子空间中第一离散点的数值比例最高的第一候选子空间,确定所述第二目标子空间包括:

7.如权利要求6所述的方法,还包括:

8.如权利要求5-7中任一项所述的方法,其中,所述通过基于所述第一初始点向多个扩展方向进行扩展,确定多个第一扩展子空间包括:

9.如权利要求5-8中任一项所述的方法,其中,所述从所述多个离散点中确定第一初始点包括:

10.如权利要求9所述的方法,其中,所述多个扩展方向是利用如下方式确定的:

11.如权利要求9或10所述的方法,其中,所述多个目标子空间中的第三目标子空间是利用如下方式确定的:

12.如权利要求11所述的方法,其中,所述N个维度中的切分维度是利用如下方式确定的:

13.如权利要求11或12所述的方法,还包括:

14.如权利要求13所述的方法,其中,所述确定目标点所处的第一目标子空间包括:

15.如权利要求1-14中任一项所述的方法,其中,

16.如权利要求15所述的方法,其中,所述多个离散点是利用如下方式确定的:

17.如权利要求16所述的方法,其中,所述多个离散点在所述N维坐标空间中均匀分布。

18.如权利要求1-17中任一项所述的方法,其中,所述数据库中的每个切分参数的取值范围的大小不大于范围阈值。

19.如权利要求18所述的方法,其中,所述通过基于所述第一切分参数切分所述第一张量,确定多个子张量包括:

20.一种张量处理装置,包括:

21.一种电子设备,包括:

22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-19中任一项所述的方法。

23.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现根据权利要求1-19中任一项所述的方法。

...

【技术特征摘要】

1.一种张量处理方法,包括:

2.如权利要求1所述的方法,其中,所述候选切分参数集合中的每个候选切分参数满足于如下的第二条件:基于该候选切分参数切分n维的第二张量得到的切分结果的处理时长不大于时长阈值,其中,所述第二张量沿n个维度的尺寸为该离散点在所述n维坐标空间中的n个维度的坐标值。

3.如权利要求2所述的方法,其中,所述针对所述多个离散点中的每个离散点,确定该离散点对应的候选切分参数集合包括:

4.如权利要求3所述的方法,其中,所述基于所述多个初始切分参数各自对应的处理时长,确定该离散点对应的时长阈值包括:

5.如权利要求1-4中任一项所述的方法,其中,所述多个目标子空间中的第二目标子空间是利用如下方式确定的:

6.如权利要求5所述的方法,其中,所述基于所述至少一个第一候选子空间中第一离散点的数值比例最高的第一候选子空间,确定所述第二目标子空间包括:

7.如权利要求6所述的方法,还包括:

8.如权利要求5-7中任一项所述的方法,其中,所述通过基于所述第一初始点向多个扩展方向进行扩展,确定多个第一扩展子空间包括:

9.如权利要求5-8中任一项所述的方法,其中,所述从所述多个离散点中确定第一初始点包括:

10.如权利要求9所述的方法,其中,所述多个扩展方向是利用如下方式确定的:

...

【专利技术属性】
技术研发人员:武卓然张家辉
申请(专利权)人:昆仑芯北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1