System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、电子设备以及存储介质制造方法及图纸_技高网

数据处理方法、装置、电子设备以及存储介质制造方法及图纸

技术编号:43020177 阅读:12 留言:0更新日期:2024-10-18 17:22
本公开提供了数据处理方法、装置、电子设备以及存储介质,本公开涉及数据处理技术领域,尤其涉及神经网络、计算引擎等技术领域。具体实现方案为:根据目标对象的功能需求,从公共算子集中筛选出所需的多个算子,以构建算子集;基于形参到实参的映射关系,确定算子集内各算子的参数;基于算子之间的参数依赖关系,构建算子集的计算拓扑图;基于计算拓扑图处理目标任务的数据。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及神经网络、计算引擎等。


技术介绍

1、随着大数据和人工智能技术的快速发展,大量的数据能够被分析处理,从中挖掘出有用的信息,或将其处理为所需的数据。

2、随着需求的增加,处理数据所需的算子也越来越多,处理流程也越来越复杂。例如,使用神经网络模型,模型特征需要通过算子计算,该模型也需要多个算子有序的搭建起来。


技术实现思路

1、本公开提供了一种数据处理方法、装置、电子设备以及存储介质

2、根据本公开的一方面,提供了一种数据处理方法,包括:

3、根据目标对象的功能需求,从公共算子集中筛选出所需的多个算子,以构建算子集;

4、基于形参到实参的映射关系,确定算子集内各算子的参数;

5、基于算子之间的参数依赖关系,构建算子集的计算拓扑图;

6、基于计算拓扑图处理目标任务的数据。

7、根据本公开的另一方面,提供了一种数据处理装置,包括:

8、筛选模块,用于根据目标对象的功能需求,从公共算子集中筛选出所需的多个算子,以构建算子集;

9、确定模块,用于基于形参到实参的映射关系,确定算子集内各算子的参数;

10、构建模块,用于基于算子之间的参数依赖关系,构建算子集的计算拓扑图;

11、处理模块,用于基于计算拓扑图处理目标任务的数据。

12、根据本公开的另一方面,提供了一种电子设备,包括:

13、至少一个处理器;以及p>

14、与该至少一个处理器通信连接的存储器;其中,

15、该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一方法。

16、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一方法。

17、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一方法。

18、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述根据目标对象的功能需求,从公共算子集中筛选出所需的多个算子,以构建算子集,包括:

3.根据权利要求2所述的方法,其中,所述将所述目标对象的功能需求和所述公共算子集中的功能描述信息进行匹配,包括:

4.根据权利要求2所述的方法,还包括:

5.根据权利要求1所述的方法,还包括:

6.根据权利要求1所述的方法,其中,所述算子集内的任一第三目标算子支持所述目标对象自定义不同执行结果需返回的状态码。

7.根据权利要求6所述的方法,其中,所述状态码包括以下中的至少一种:

8.根据权利要求1所述的方法,其中,所述基于算子之间的参数依赖关系,构建所述算子集的计算拓扑图,包括:

9.根据权利要求1-8中任一项所述的方法,其中,所述基于所述计算拓扑图处理目标任务的数据,包括:

10.根据权利要求9所述的方法,其中,所述将各子图分配到相应的计算集群中以处理所述目标任务的数据,包括:

11.根据权利要求10所述的方法,其中,所述控制所述子图中的各算子基于所述内存按列处理数据,包括:

12.根据权利要求10所述的方法,还包括:

13.一种数据处理装置,包括:

14.根据权利要求13所述的装置,其中,所述筛选模块,包括:

15.根据权利要求14所述的装置,其中,所述匹配子单元,具体用于:

16.根据权利要求14所述的装置,还包括推荐模块,具体用于:

17.根据权利要求13所述的装置,还包括映射模块,用于:

18.根据权利要求13所述的装置,其中,所述算子集内的任一第三目标算子支持所述目标对象自定义不同执行结果需返回的状态码。

19.根据权利要求18所述的装置,其中,所述状态码包括以下中的至少一种:

20.根据权利要求13所述的装置,其中,所述构建模块,包括:

21.根据权利要求13-20中任一项所述的装置,其中,所述处理模块,包括:

22.根据权利要求21所述的装置,其中,所述处理单元,具体用于:

23.根据权利要求22所述的装置,其中,所述处理单元,具体用于:

24.根据权利要求22所述的装置,还包括监控模块,用于监控所述子图中各算子的执行状态。

25.一种电子设备,包括:

26.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。

27.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述根据目标对象的功能需求,从公共算子集中筛选出所需的多个算子,以构建算子集,包括:

3.根据权利要求2所述的方法,其中,所述将所述目标对象的功能需求和所述公共算子集中的功能描述信息进行匹配,包括:

4.根据权利要求2所述的方法,还包括:

5.根据权利要求1所述的方法,还包括:

6.根据权利要求1所述的方法,其中,所述算子集内的任一第三目标算子支持所述目标对象自定义不同执行结果需返回的状态码。

7.根据权利要求6所述的方法,其中,所述状态码包括以下中的至少一种:

8.根据权利要求1所述的方法,其中,所述基于算子之间的参数依赖关系,构建所述算子集的计算拓扑图,包括:

9.根据权利要求1-8中任一项所述的方法,其中,所述基于所述计算拓扑图处理目标任务的数据,包括:

10.根据权利要求9所述的方法,其中,所述将各子图分配到相应的计算集群中以处理所述目标任务的数据,包括:

11.根据权利要求10所述的方法,其中,所述控制所述子图中的各算子基于所述内存按列处理数据,包括:

12.根据权利要求10所述的方法,还包括:

13.一种数据处理装置,包括:

14.根据权利要求13所述的装置,...

【专利技术属性】
技术研发人员:刘桐仁
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1