任务调度方法及相关产品技术

本申请涉及一种任务调度方法及相关产品，主要根据机器学习模型所包含的运算任务的计算复杂度和访存量，将不同运算任务分配至不同的计算平台中。通过将计算强度作为主要划分依据，实现对运算任务的合理调度，充分利用了不同计算平台的计算资源达到协同处理的目的，可极大提高计算效率。极大提高计算效率。极大提高计算效率。

【技术实现步骤摘要】
任务调度方法及相关产品


[0001]本申请涉及数据处理
，特别是涉及一种任务调度方法及相关产品。

技术介绍

[0002]近些年来，机器学习取得了重大突破，例如：在机器学习领域，采用深度学习算法训练的神经网络模型，通过建立模型来模拟人类大脑的神经连接结构，在处理图像、声音和文本等信号时，通过多个变换阶段分层对数据特征进行描述，从而在图像识别、语音处理、智能机器人等应用领域取得了令人瞩目的成果。
[0003]随着机器学习算法的复杂度不断提高，机器学习模型的运算任务也在不断增加。目前，针对机器学习模型的运算任务的处理方式中，为了满足通用性的要求，通常将整个运算任务放在计算能力强的计算平台(如服务器)中进行处理。
[0004]然而，采用上述方式，会浪费一些其他计算平台(如终端)的计算能力，使得运算任务的处理效率不佳。

技术实现思路

[0005]基于此，有必要针对上述运算任务的处理效率不佳的技术问题，提供一种任务调度方法及相关产品。
[0006]一种任务调度方法，所述方法包括：
[0007]获取多个计算平台对应的算力和带宽；
[0008]根据所述算力和所述带宽，确定每一计算平台对应的性能评估策略；
[0009]获取机器学习模型所包含的运算任务的计算量和访存量；
[0010]根据所述计算量和所述访存量，并基于所述每一计算平台对应的性能评估策略，确定所述运算任务在所述每一计算平台中运行时对应的性能参数；
[0011]根据所述性能参数，生成任务调度策略；
[0012]基于所述任务调度策略，将所述运算任务在所述多个计算平台中进行调度。
[0013]在其中一个实施例中，根据所述算力和所述带宽，确定每一计算平台对应的性能评估策略，包括：
[0014]根据所述算力和所述带宽，确定每一计算平台对应的性能评估函数；或者，根据所述算力和所述带宽，确定每一计算平台对应的性能评估函数曲线。
[0015]在其中一个实施例中，根据所述算力和所述带宽，确定每一计算平台对应的性能评估策略，包括：
[0016]根据所述算力和所述带宽，确定每一计算平台所能提供的最大计算强度；
[0017]根据所述每一计算平台所能提供的最大计算强度、所述算力和所述带宽，确定每一计算平台对应的性能评估策略。
[0018]在其中一个实施例中，根据所述计算量和所述访存量，并基于所述每一计算平台对应的性能评估策略，确定所述运算任务在所述每一计算平台中运行时对应的性能参数，
包括：
[0019]根据所述计算量和所述访存量，确定运算任务对应的计算强度；
[0020]根据所述运算任务对应的计算强度和所述每一计算平台对应的性能评估策略，确定所述运算任务在所述每一计算平台中运行时对应的性能参数。
[0021]在其中一个实施例中，所述性能参数包括运算任务在计算平台中运行时所能达到的每秒运算次数。
[0022]在其中一个实施例中，所述计算平台包括第一计算平台和第二计算平台，其中，所述第一计算平台与所述第二计算平台的带宽相同，所述第一计算平台的算力大于所述第二计算平台；
[0023]根据所述性能参数，生成任务调度策略，包括：
[0024]若所述运算任务在所述第一计算平台中运行时所能达到的每秒运算次数大于所述运算任务在所述第二计算平台中运行时所能达到的每秒运算次数，则将所述运算任务分配至所述第一计算平台中；
[0025]若所述运算任务在所述第一计算平台中运行时所能达到的每秒运算次数与所述运算任务在所述第二计算平台中运行时所能达到的每秒运算次数相同，则将所述运算任务分配至所述第二计算平台中。
[0026]在其中一个实施例中，所述计算平台包括第一计算平台和第二计算平台，其中，所述第一计算平台的带宽大于所述第二计算平台的带宽，所述第一计算平台的算力大于所述第二计算平台；
[0027]根据所述性能参数，生成任务调度策略，包括：
[0028]若所述运算任务对应的计算强度小于或等于所述第二计算平台所能提供的最大计算强度，则将所述运算任务分配至所述第二计算平台中；
[0029]若所述运算任务对应的计算强度大于所述第二计算平台所能提供的最大计算强度，则将所述运算任务分配至所述第一计算平台中。
[0030]在其中一个实施例中，所述计算平台包括第一计算平台和第二计算平台，其中，所述第一计算平台的带宽小于所述第二计算平台的带宽，所述第一计算平台的算力大于所述第二计算平台；
[0031]根据所述性能参数，生成任务调度策略，包括：
[0032]若所述运算任务在所述第一计算平台中运行时所能达到的每秒运算次数小于或等于所述运算任务在所述第二计算平台中运行时所能达到的每秒运算次数计算平台所能提供的最大计算强度则将所述运算任务分配至所述第二计算平台中；
[0033]若所述运算任务在所述第一计算平台中运行时所能达到的每秒运算次数大于所述运算任务在所述第二计算平台中运行时所能达到的每秒运算次数计算平台所能提供的最大计算强度，则将所述运算任务分配至所述第一计算平台中。
[0034]在其中一个实施例中，所述运算任务包括机器学习模型对应的运算任务、机器学习模型中每一层网络对应的运算任务或神经网络算子对应的运算任务。
[0035]在其中一个实施例中，所述第一计算平台为服务器，所述第二计算平台为终端。
[0036]在其中一个实施例中，所述方法还包括：获取终端的数量；
[0037]根据所述性能参数，生成任务调度策略，包括：
[0038]根据所述性能参数和所述终端的数量，生成任务调度策略。
[0039]在其中一个实施例中，所述方法还包括：获取所述终端对应的负载信息和所述服务器对应的负载信息；
[0040]根据所述性能参数，生成任务调度策略，包括：
[0041]根据所述性能参数、所述终端对应的负载信息和所述服务器对应的负载信息，生成任务调度策略。
[0042]一种任务调度器，包括指令生成电路和通信电路，所述指令生成电路用于执行如上所述的任务调度方法，并根据所述任务调度策略生成控制指令，根据所述控制指令，以控制所述通信单元将所述运算任务在所述多个计算平台中进行调度分发。
[0043]一种任务处理系统，包括终端和服务器，所述终端包括如上所述的任务调度器，所述控制指令包括终端控制指令和服务器控制指令，所述终端用于根据所述终端控制指令对分配到终端的运算任务进行运算，所述服务器用于根据所述服务器控制指令对分配到服务器的运算任务进行运算。
[0044]一种板卡，所述板卡包括：人工智能处理器，所述人工智能处理器用于执行上述任一所述的方法。
[0045]一种主板，所述主板包括：通用处理器和上述的板卡。
[0046]一种电子设备，所述电子设备包括上述的主板。
[0047]上述任务调度方法及相关产品，采用计算平台的属性：算力和带宽，机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，所述方法包括：获取多个计算平台对应的算力和带宽；根据所述算力和所述带宽，确定每一计算平台对应的性能评估策略；获取机器学习模型所包含的运算任务的计算量和访存量；根据所述计算量和所述访存量，并基于所述每一计算平台对应的性能评估策略，确定所述运算任务在所述每一计算平台中运行时对应的性能参数；根据所述性能参数，生成任务调度策略；基于所述任务调度策略，将所述运算任务在所述多个计算平台中进行调度。2.根据权利要求1所述的方法，其特征在于，根据所述算力和所述带宽，确定每一计算平台对应的性能评估策略，包括：根据所述算力和所述带宽，确定每一计算平台对应的性能评估函数；或者，根据所述算力和所述带宽，确定每一计算平台对应的性能评估函数曲线。3.根据权利要求1所述的方法，其特征在于，根据所述算力和所述带宽，确定每一计算平台对应的性能评估策略，包括：根据所述算力和所述带宽，确定每一计算平台所能提供的最大计算强度；根据所述每一计算平台所能提供的最大计算强度、所述算力和所述带宽，确定每一计算平台对应的性能评估策略。4.根据权利要求1所述的方法，其特征在于，根据所述计算量和所述访存量，并基于所述每一计算平台对应的性能评估策略，确定所述运算任务在所述每一计算平台中运行时对应的性能参数，包括：根据所述计算量和所述访存量，确定运算任务对应的计算强度；根据所述运算任务对应的计算强度和所述每一计算平台对应的性能评估策略，确定所述运算任务在所述每一计算平台中运行时对应的性能参数。5.根据权利要求1-4任一所述的方法，其特征在于，所述性能参数包括运算任务在计算平台中运行时所能达到的每秒运算次数。6.根据权利要求5所述的方法，其特征在于，所述计算平台包括第一计算平台和第二计算平台，其中，所述第一计算平台与所述第二计算平台的带宽相同，所述第一计算平台的算力大于所述第二计算平台；根据所述性能参数，生成任务调度策略，包括：若所述运算任务在所述第一计算平台中运行时所能达到的每秒运算次数大于所述运算任务在所述第二计算平台中运行时所能达到的每秒运算次数，则将所述运算任务分配至所述第一计算平台中；若所述运算任务在所述第一计算平台中运行时所能达到的每秒运算次数与所述运算任务在所述第二计算平台中运行时所能达到的每秒运算次数相同，则将所述运算任务分配至所述第二计算平台中。7.根据权利要求5所述的方法，其特征在于，所述计算平台包括第一计算平台和第二计算平台，其中，所述第一计算平台的带宽大于所述第二计算平台的带宽，所述第一计算平台的算力大于所述第二计算平台；根据所述性能参数，生成任务调度策略，包括：
若...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：