任务处理方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种任务处理方法、装置、电子设备和存储介质。所述方法包括：获取待处理任务的中间表示模型；对处理节点进行分组，获得处理节点组；根据处理组件的性能参数、处理节点组的资源需求以及处理节点之间的连接关系，确定目标处理组件，以及第一映射方式；根据处理核心的性能参数、处理节点的资源需求以及处理节点之间的连接关系，确定目标处理核心以及第二映射方式；根据第一映射方式、第二映射方式和目标处理核心，对待处理任务进行处理，获得处理结果。根据本公开的实施例的任务处理方法，可将待处理任务进行分组，并确定映射关系及处理时序，实现了处理资源的各层次的映射，使得任务的处理效率更高。使得任务的处理效率更高。使得任务的处理效率更高。

【技术实现步骤摘要】
任务处理方法、装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种任务处理方法、装置、电子设备和存储介质。

技术介绍

[0002]众核芯片指包括多个可以独立执行不同指令或者处理不同数据的处理核心的芯片。因为众核芯片高度并行与高度可扩展的特点，因此众核芯片在神经网络模型处理任务进行加速的场景中具有很大的潜力，且越来越多神经网络专用的众核加速芯片也被设计出来。但因为众核芯片的灵活性，使其针对同一任务，将任务的各个节点部署在各个处理核心中的灵活性变得更大，即存在更多的可能的部署方案。这为神经网络在众核芯片上的部署带来了巨大的优化空间同时，也增加了部署的难度。
[0003]映射是部署过程的关键步骤，即，指定每个处理核心在每个时刻执行什么处理。更具体的，指定每个核在每个时刻执行什么指令，存储、发送、运算或接收什么数据，以及执行何种运算。
[0004]相关技术中的神经网络映射方案，大都针对以PE(Process Element，运算单元)阵列或MAC阵列(multiplier and accumulation，乘累加单元)为核心的神经网络加速器。包括针对一个或多个算子，设计其在PE阵列上的执行顺序(时间映射)，其在PE阵列上的并行展开方式(空间映射)，以及输入值、权重及中间数据等在PE阵列上的传输与缓存模式。这方面的典型技术是基于循环控制(for循环)的调度优化技术。
[0005]但相关技术中的方案并不完全适用于众核芯片，执行神经网络模型处理任务的众核芯片由多个处理核心构成，处理核心内部包括以PE阵列(或MAC阵列)为处理核心的大规模并行计算组件。而多个芯片又可以构成芯片阵列，以此便形成了芯片阵列
→
芯片
→
处理核心
→
PE阵列的层次化处理资源体系。而相关技术中的方式适用于处理核心内的映射，而并不适用于任务在更高层次的处理资源中的映射。使得针对特定硬件结构或特定映射方式的算法流程的通用性和层次间的迭代性较差。

技术实现思路

[0006]本公开提出了一种任务处理方法、装置、电子设备和存储介质。
[0007]根据本公开的一方面，提供了一种任务处理方法，包括：获取待处理任务的中间表示模型，其中，所述中间表示模型包括待处理任务的处理节点，以及所述处理节点之间的连接关系；对所述中间表示模型中的各处理节点进行分组，获得处理节点组；根据处理资源中各处理组件的性能参数、所述处理节点组的资源需求以及所述处理节点之间的连接关系，确定用于处理所述处理节点组的目标处理组件，并确定所述目标处理组件的第一映射方式，所述第一映射方式表示各目标处理组件与所述处理节点组之间的具体对应关系以及所述目标处理组件的工作的时序；根据所述目标处理组件中处理核心的性能参数、所述处理节点组中各处理节点的资源需求以及所述处理节点之间的连接关系，在所述目标处理组件
中确定目标处理核心，并确定所述目标处理核心的第二映射方式，其中，所述目标处理核心用于处理所述处理节点组中的各处理节点，所述第二映射方式表示各目标处理核心与所述处理节点之间的具体对应关系以及所述目标处理核心的工作的时序；根据所述第一映射方式、所述第二映射方式和所述目标处理核心，对所述待处理任务进行处理，获得处理结果。
[0008]在一种可能的实现方式中，对所述中间表示模型中的各处理节点进行分组，获得处理节点组，包括：根据所述连接关系中的数据传输量、所述各处理节点的处理资源需求、所述各处理节点的存储资源需求、各所述处理节点的类型以及处理节点组之间的通信次数中的至少一种进行分组，获得所述处理节点组。
[0009]在一种可能的实现方式中，所述待处理任务包括通过至少一个神经网络模型进行处理的任务，其中，对所述中间表示模型中的各处理节点进行分组，获得多个处理节点组，包括：根据所述处理节点所属的神经网络模型进行分组，获得所述处理节点组，或者将每个处理节点分别划分为一个处理节点组。
[0010]在一种可能的实现方式中，所述处理组件的性能参数包括处理组件的功能和算力，其中，根据处理资源中各处理组件的性能参数、所述处理节点组的资源需求以及所述处理节点之间的连接关系，确定用于处理所述处理节点组的目标处理组件，包括以下中的至少一种：根据所述处理节点组中各处理节点的类型以及所述各处理组件的功能，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的算力，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的资源利用率，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的能耗，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的处理时间，确定所述目标处理组件。
[0011]在一种可能的实现方式中，所述确定所述目标处理组件的第一映射方式，包括：根据所述处理资源中所述各处理组件的存储资源、所述各处理组件的资源利用率以及所述各处理组件的处理进程是否产生死锁中的至少一种，以及所述处理节点之间的连接关系，确定所述目标处理组件之间的数据传输路径；根据所述目标处理组件的数据传输路径，确定所述第一映射方式。
[0012]在一种可能的实现方式中，所述方法还包括：根据所述待处理任务处理过程中的进程参数，对所述目标处理组件、所述第一映射方式、所述目标处理核心和所述第二映射方式中的至少一种进行调整，其中，所述进程参数包括目标处理组件的资源利用率、目标处理组件的能耗、目标处理组件的处理时间、目标处理组件之间的数据传输时间、目标处理核心资源利用率、目标处理核心的处理时间、目标处理核心之间的数据传输时间中的至少一种。
[0013]在一种可能的实现方式中，所述方法还包括：根据所述待处理任务处理过程中的进程参数，对所述处理节点组进行调整，其中，所述进程参数包括目标处理组件的资源利用率、目标处理组件的能耗、目标处理组件的处理时间、目标处理组件之间的数据传输时间、目标处理核心资源利用率、目标处理核心的处理时间、目标处理核心之间的数据传输时间中的至少一种。
[0014]在一种可能的实现方式中，所述方法还包括：接收映射指令，其中，所述映射指令包括确定所述目标处理组件、所述第一映射方式、所述目标处理核心和所述第二映射方式的指令；根据所述映射指令，对所述待处理任务进行处理，获得处理结果。
[0015]根据本公开的一方面，提供了一种任务处理装置，包括：中间表示模型获取模块，用于获取待处理任务的中间表示模型，其中，所述中间表示模型包括待处理任务的处理节点，以及所述处理节点之间的连接关系；分组模块，用于对所述中间表示模型中的各处理节点进行分组，获得处理节点组；第一映射模块，用于根据处理资源中各处理组件的性能参数、所述处理节点组的资源需求以及所述处理节点之间的连接关系，确定用于处理所述处理节点组的目标处理组件，并确定所述目标处理组件的第一映射方式，所述第一映射方式表示各目标处理组件与所述处理节点组之间的具体对应关系以及所述目标处理组件的工作的时序；第二映射模块，用于根据所述目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：获取待处理任务的中间表示模型，其中，所述中间表示模型包括待处理任务的处理节点，以及所述处理节点之间的连接关系；对所述中间表示模型中的各处理节点进行分组，获得处理节点组；根据处理资源中各处理组件的性能参数、所述处理节点组的资源需求以及所述处理节点之间的连接关系，确定用于处理所述处理节点组的目标处理组件，并确定所述目标处理组件的第一映射方式，所述第一映射方式表示各目标处理组件与所述处理节点组之间的具体对应关系以及所述目标处理组件的工作的时序；根据所述目标处理组件中处理核心的性能参数、所述处理节点组中各处理节点的资源需求以及所述处理节点之间的连接关系，在所述目标处理组件中确定目标处理核心，并确定所述目标处理核心的第二映射方式，其中，所述目标处理核心用于处理所述处理节点组中的各处理节点，所述第二映射方式表示各目标处理核心与所述处理节点之间的具体对应关系以及所述目标处理核心的工作的时序；根据所述第一映射方式、所述第二映射方式和所述目标处理核心，对所述待处理任务进行处理，获得处理结果。2.根据权利要求1所述的方法，其特征在于，对所述中间表示模型中的各处理节点进行分组，获得处理节点组，包括：根据所述连接关系中的数据传输量、所述各处理节点的处理资源需求、所述各处理节点的存储资源需求、各所述处理节点的类型以及处理节点组之间的通信次数中的至少一种进行分组，获得所述处理节点组。3.根据权利要求1所述的方法，其特征在于，所述待处理任务包括通过至少一个神经网络模型进行处理的任务，其中，对所述中间表示模型中的各处理节点进行分组，获得多个处理节点组，包括：根据所述处理节点所属的神经网络模型进行分组，获得所述处理节点组，或者将每个处理节点分别划分为一个处理节点组。4.根据权利要求1所述的方法，其特征在于，所述处理组件的性能参数包括处理组件的功能和算力，其中，根据处理资源中各处理组件的性能参数、所述处理节点组的资源需求以及所述处理节点之间的连接关系，确定用于处理所述处理节点组的目标处理组件，包括以下中的至少一种：根据所述处理节点组中各处理节点的类型以及所述各处理组件的功能，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的算力，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的资源利用率，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的能耗，确定所述目标处理组件；根据所述处理节点组的资源需求和所述各处理组件的处理时间，确定所述目标处理组件。5.根据权利要求1所述的方法，其特征在于，所述确定所述目标处理组件的第一映射方
式，包括：根据所述处理资源中所述各处理组件的存储资源、所述各处理组件的资源利用率以及所述各处理组件的处理进程是否产生死锁中的至少一种，以及所述处理节点之间的连接关系，确定所述目标处理组件...

【专利技术属性】
技术研发人员：赵蓉，张伟豪，马松辰，施路平，
申请(专利权)人：清华大学，
类型：发明
国别省市：