System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据传输方法、数据处理装置及电子设备制造方法及图纸_技高网

一种数据传输方法、数据处理装置及电子设备制造方法及图纸

技术编号:44547113 阅读:1 留言:0更新日期:2025-03-11 14:12
本申请实施例公开了一种数据传输方法、数据处理装置及电子设备,涉及芯片技术领域,解决了采用并行的数据处理方式,当数据之间存在依赖关系时,如何以较低的成本,针对不同芯片架构的芯片开发算子,以实现数据之间同步的问题。具体方案为,提供一种数据传输方法,应用于数据处理装置中,该方法包括:首先,在第一逻辑位置对应的存储空间中申请目标存储空间。然后,将第二逻辑位置对应的存储空间中存储的数据,传输至目标存储空间。最后,将数据与第二逻辑位置之间的第一对应关系,变更为数据与第一逻辑位置之间的第二对应关系。

【技术实现步骤摘要】

本申请实施例涉及芯片,尤其涉及一种数据传输方法、数据处理装置及电子设备


技术介绍

1、人工智能模型应用的领域越来越广泛,例如自然语言处理、计算机视觉、自动驾驶等领域。随着对人工智能模型执行性能的需求越来越高,出现了很多专用于人工智能模型的芯片,该芯片通过设计专用的硬件加速单元来提升人工智能模型的执行性能,例如图形处理器(graphics processing unit,gpu)、神经网络处理器(neural network processingunit,npu)等。

2、与人工智能模型对应的计算网络,一般采用并行的数据处理方式,从而进一步提高人工智能模型的执行性能。但是,当数据之间存在依赖关系时,如何以较低的成本,针对不同芯片架构的芯片开发算子,以实现数据之间的同步成为亟需解决的问题。


技术实现思路

1、本申请实施例提供一种数据传输方法、数据处理装置及电子设备,解决了采用并行的数据处理方式,当数据之间存在依赖关系时,如何以较低的成本,针对不同芯片架构的芯片开发算子,以实现数据之间同步的问题。

2、为达到上述目的,本申请实施例采用如下技术方案:

3、本申请实施例第一方面,提供一种数据传输方法,应用于数据处理装置中,该方法包括:首先,在第一逻辑位置对应的存储空间中申请目标存储空间。然后,将第二逻辑位置对应的存储空间中存储的数据,传输至目标存储空间。最后,将数据与第二逻辑位置之间的第一对应关系,变更为数据与第一逻辑位置之间的第二对应关系。

>4、基于本方案,通过逻辑位置实现数据的传输,当数据从第二逻辑位置传输至第一逻辑位置时,通过将数据与第二逻辑位置之间的第一对应关系,变更为数据与第一逻辑位置之间的第二对应关系,以指示数据传输完成。可以理解的,在进行数据传输时,不需要考虑数据在实际物理器件之间的传输,从而当该数据传输方法用于实现数据之间的同步时,开发人员可以在开发算子时预先定义逻辑位置与物理器件之间的对应关系,基于逻辑位置开发算子,当芯片的架构改变时,通过重新定义逻辑位置与物理器件之间的对应关系,可以继续通过该算子在新架构的芯片中传输数据并实现同步,而不需要重新开发新的算子,可以降低开发成本。

5、结合第一方面,在一种可能的实现方式中,上述将第二逻辑位置对应的存储空间中存储的数据,传输至目标存储空间,包括:首先,创建第一逻辑位置和第二逻辑位置之间的逻辑管道。然后,将第一标识和第二逻辑位置对应的存储空间中存储的数据,输入逻辑管道,第一标识用于确定数据传输至目标存储空间是否传输完成。最后,将第一标识和数据从逻辑管道输出。

6、结合第一方面,在一种可能的实现方式中,上述第一标识位于数据之后且与数据相邻,将数据与第二逻辑位置之间的第一对应关系,变更为数据与第一逻辑位置之间的第二对应关系,包括:当第一标识从逻辑管道的虚拟出口输出时,确定数据被传输至目标存储空间,将数据与第二逻辑位置之间的第一对应关系,变更为数据与第一逻辑位置之间的第二对应关系。

7、结合第一方面,在一种可能的实现方式中,创建第一逻辑位置和第二逻辑位置之间的逻辑管道,包括:接收创建逻辑管道命令,创建逻辑管道命令用于指示根据第一逻辑位置和第二逻辑位置创建逻辑管道。在创建逻辑管道命令的控制下创建逻辑管道。

8、结合第一方面,在一种可能的实现方式中,将第一标识和第二逻辑位置对应的存储空间中存储的数据,输入逻辑管道,包括:接收进入队列命令,进入队列命令用于指示:将第一标识和第二逻辑位置对应的存储空间中存储的数据,输入逻辑管道。在进入队列命令的控制下,将第一标识和第二逻辑位置对应的存储空间中存储的数据,输入逻辑管道。

9、结合第一方面,在一种可能的实现方式中,将第一标识和数据从逻辑管道输出,包括:接收出队列命令,出队列命令用于指示:将第一标识和数据从逻辑管道输出。在出队列命令的控制下将第一标识和数据从逻辑管道输出。

10、结合第一方面,在一种可能的实现方式中,在第一逻辑位置对应的存储空间中申请目标存储空间,包括:接收存储空间分配命令,存储空间分配命令用于指示:在第一逻辑位置对应的存储空间中申请目标存储空间。在存储空间分配命令的控制下,在第一逻辑位置对应的存储空间中申请目标存储空间。

11、结合第一方面,在一种可能的实现方式中,存储空间分配命令还用于指示:在目标存储空间中设置第二标识,第二标识用于指示目标存储空间中存储有数据。该方法还包括:在存储空间分配命令的控制下,在目标存储空间中设置第二标识。当数据从目标存储空间搬离时,接收存储空间释放命令,存储空间释放命令用于指示释放目标存储空间,并将第二标识设置为第三标识,第三标识用于指示目标存储空间已完成释放。在存储空间释放命令的控制下,释放目标存储空间,并将第二标识设置为第三标识。

12、基于本方案,通过在目标存储空间设置第二标识,第二标识用于指示目标存储空间中存储有数据,当数据从目标存储空间搬离时,在存储空间释放命令的控制下释放该目标存储空间,并将第二标识设置为第三标识,第三标识用于指示目标存储空间已完成释放。从而可以通过该第二标识和第三标识,确定该目标存储空间是否完成释放,可以充分利用第一逻辑位置对应的存储空间,提高数据处理装置的执行性能,提高人工智能模型的执行性能。

13、结合第一方面,在一种可能的实现方式中,第一逻辑位置对应第一存储器,第二逻辑位置对应第二存储器,第一存储器和/或第二存储器位于数据处理装置的内部。

14、结合第一方面,在一种可能的实现方式中,第一存储器和第二存储器位于数据处理装置的内部,且第一存储器和第二存储器为同一个存储器。

15、本申请实施例第二方面,提供一种数据处理装置,该数据处理装置包括处理模块和收发模块。其中,处理模块用于在第一逻辑位置对应的存储空间中申请目标存储空间。收发模块用于将第二逻辑位置对应的存储空间中存储的数据,传输至目标存储空间。处理模块还用于将数据与第二逻辑位置之间的第一对应关系,变更为数据与第一逻辑位置之间的第二对应关系。

16、结合第二方面,在一种可能的实现方式中,处理模块具体用于创建第一逻辑位置和第二逻辑位置之间的逻辑管道。收发模块具体用于将第一标识和第二逻辑位置对应的存储空间中存储的数据,输入逻辑管道,第一标识用于确定数据传输至目标存储空间是否传输完成。收发模块还用于将第一标识和数据从逻辑管道输出。

17、结合第二方面,在一种可能的实现方式中,第一标识位于数据之后且与数据相邻。处理模块具体用于当第一标识从逻辑管道的虚拟出口输出时,确定数据被传输至目标存储空间,将数据与第二逻辑位置之间的第一对应关系,变更为数据与第一逻辑位置之间的第二对应关系。

18、结合第二方面,在一种可能的实现方式中,收发模块具体用于接收创建逻辑管道命令,创建逻辑管道命令用于指示根据第一逻辑位置和第二逻辑位置创建逻辑管道。处理模块具体用于在创建逻辑管道命令的控制下创建逻辑管道。

本文档来自技高网...

【技术保护点】

1.一种数据传输方法,其特征在于,应用于数据处理装置中,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将第二逻辑位置对应的存储空间中存储的数据,传输至所述目标存储空间,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一标识位于所述数据之后且与所述数据相邻,所述将所述数据与第二逻辑位置之间的第一对应关系,变更为所述数据与所述第一逻辑位置之间的第二对应关系,包括:

4.根据权利要求2或3所述的方法,其特征在于,所述创建所述第一逻辑位置和所述第二逻辑位置之间的逻辑管道,包括:

5.根据权利要求2-4中任一项所述的方法,其特征在于,所述将第一标识和所述第二逻辑位置对应的存储空间中存储的数据,输入所述逻辑管道,包括:

6.根据权利要求2-5中任一项所述的方法,其特征在于,所述将所述第一标识和所述数据从所述逻辑管道输出,包括:

7.根据权利要求1-6中任一项所述的方法,其特征在于,所述在第一逻辑位置对应的存储空间中申请目标存储空间,包括:

8.根据权利要求7所述的方法,其特征在于,所述存储空间分配命令还用于指示:在所述目标存储空间中设置第二标识,所述第二标识用于指示所述目标存储空间中存储有数据;所述方法还包括:

9.根据权利要求1-8中任一项所述的方法,其特征在于,所述第一逻辑位置对应第一存储器,所述第二逻辑位置对应第二存储器;

10.根据权利要求9所述的方法,其特征在于,所述第一存储器和所述第二存储器位于所述数据处理装置的内部,且所述第一存储器和所述第二存储器为同一个存储器。

11.一种数据处理装置,其特征在于,所述数据处理装置包括处理模块和收发模块;

12.根据权利要求11所述的装置,其特征在于,

13.根据权利要求12所述的装置,其特征在于,所述第一标识位于所述数据之后且与所述数据相邻;

14.根据权利要求12或13所述的装置,其特征在于,

15.根据权利要求12-14中任一项所述的装置,其特征在于,

16.根据权利要求12-15中任一项所述的装置,其特征在于,

17.根据权利要求11-16中任一项所述的装置,其特征在于,

18.根据权利要求17所述的装置,其特征在于,所述存储空间分配命令还用于指示:在所述目标存储空间中设置第二标识,所述第二标识用于指示所述目标存储空间中存储有数据;

19.根据权利要求11-18中任一项所述的装置,其特征在于,所述第一逻辑位置对应第一存储器,所述第二逻辑位置对应第二存储器;

20.根据权利要求19所述的装置,其特征在于,所述第一存储器和所述第二存储器位于所述数据处理装置的内部,且所述第一存储器和所述第二存储器为同一个存储器。

21.一种电子设备,其特征在于,所述电子设备包括处理器,以及与所述处理器耦合的数据处理装置,所述数据处理装置为如权利要求11-20中任一项所述的数据处理装置。

22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-10中任意一项所述的数据传输方法。

...

【技术特征摘要】

1.一种数据传输方法,其特征在于,应用于数据处理装置中,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将第二逻辑位置对应的存储空间中存储的数据,传输至所述目标存储空间,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一标识位于所述数据之后且与所述数据相邻,所述将所述数据与第二逻辑位置之间的第一对应关系,变更为所述数据与所述第一逻辑位置之间的第二对应关系,包括:

4.根据权利要求2或3所述的方法,其特征在于,所述创建所述第一逻辑位置和所述第二逻辑位置之间的逻辑管道,包括:

5.根据权利要求2-4中任一项所述的方法,其特征在于,所述将第一标识和所述第二逻辑位置对应的存储空间中存储的数据,输入所述逻辑管道,包括:

6.根据权利要求2-5中任一项所述的方法,其特征在于,所述将所述第一标识和所述数据从所述逻辑管道输出,包括:

7.根据权利要求1-6中任一项所述的方法,其特征在于,所述在第一逻辑位置对应的存储空间中申请目标存储空间,包括:

8.根据权利要求7所述的方法,其特征在于,所述存储空间分配命令还用于指示:在所述目标存储空间中设置第二标识,所述第二标识用于指示所述目标存储空间中存储有数据;所述方法还包括:

9.根据权利要求1-8中任一项所述的方法,其特征在于,所述第一逻辑位置对应第一存储器,所述第二逻辑位置对应第二存储器;

10.根据权利要求9所述的方法,其特征在于,所述第一存储器和所述第二存储器位于所述数据处理装置的内部,且所述第一存储器和所述第二存储器为同一...

【专利技术属性】
技术研发人员:李东锋田宏民冯岩王凯
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1