资源调度方法及相关装置、图形处理器、摄像器件和介质制造方法及图纸

本申请公开了一种资源调度方法及相关装置、图形处理器、摄像器件和介质，其中，资源调度方法包括：响应于GPU任务池中待调度GPU任务的调出请求，检测GPU资源池中各个GPU流分别是否空闲；其中，待调度GPU任务需提交至空闲的GPU流处理；基于GPU资源池中各个GPU流均不空闲，统计GPU资源池中GPU流的总数量；基于总数量与图形处理器的最大并发运行数量，确定待调度GPU任务的调度策略；其中，调度策略包括以下任一者：为待调度GPU任务在GPU资源池创建新的GPU流，等待GPU资源池出现空闲的GPU流。上述方案，能够提升GPU资源调度的有效性和可靠性，以提高GPU资源的利用率，从而最终提高数据处理效率。效率。效率。

【技术实现步骤摘要】
资源调度方法及相关装置、图形处理器、摄像器件和介质


[0001]本申请涉及数据处理
，特别是涉及一种资源调度方法及相关装置、图形处理器、摄像器件和介质。

技术介绍

[0002]目前，图像数据处理时，各个算子对图像数据的智能处理（如，缩放、抠图）、神经网络的数据计算，以及一些其他高计算量的逻辑运行都会交由图形处理器（Graphic Processing Unit，GPU）进行处理。
[0003]然而，现有的资源调度方式，各个算子提交GPU任务都是相互独立进行，缺乏对资源调度的整体把控，导致算法方案执行过程中对GPU资源的利用率不高，整体性能受限，特别是在算法方案较为复杂，所要处理的GPU任务较多时，数据处理效率严重不足，算法吞吐量急剧降低，远远无法达到硬件以及软件性能的理论值。有鉴于此，如何提升GPU资源调度的有效性和可靠性，以提高GPU资源的利用率，从而最终提高数据处理效率。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种资源调度方法及相关装置、图形处理器、摄像器件和介质，能够提升GPU资源调度的有效性和可靠性，以提高GPU资源的利用率，从而最终提高数据处理效率。
[0005]为了解决上述问题，本申请第一方面提供了一种资源调度方法，包括：响应于GPU任务池中待调度GPU任务的调出请求，检测GPU资源池中各个GPU流分别是否空闲；其中，待调度GPU任务需提交至空闲的GPU流处理；基于GPU资源池中各个GPU流均不空闲，统计GPU资源池中GPU流的总数量；基于总数量与图形处理器的最大并发运行数量，确定待调度GPU任务的调度策略；其中，调度策略包括以下任一者：为待调度GPU任务在GPU资源池创建新的GPU流，等待GPU资源池出现空闲的GPU流。
[0006]为了解决上述问题，本申请第二方面提供了一种资源调度装置，包括：检测模块、统计模块和确定模块，检测模块，用于响应于GPU任务池中待调度GPU任务的调出请求，检测GPU资源池中各个GPU流分别是否空闲；其中，待调度GPU任务需提交至空闲的GPU流处理；统计模块，用于基于GPU资源池中各个GPU流均不空闲，统计GPU资源池中GPU流的总数量；确定模块，用于基于总数量与图形处理器的最大并发运行数量，确定待调度GPU任务的调度策略；其中，调度策略包括以下任一者：为待调度GPU任务在GPU资源池创建新的GPU流，等待GPU资源池出现空闲的GPU流。
[0007]为了解决上述问题，本申请第三方面提供了一种图形处理器，包括GPU控制器、GPU管理器、GPU内存和若干GPU核，GPU管理器维护有GPU任务池和GPU资源池，GPU控制器用于执行程序指令以实现上述第一方面中的资源调度方法。
[0008]为了解决上述问题，本申请第四方面提供了一种摄像器件，包括相互耦接的摄像头和上述第三方面中的图形处理器，摄像头用于拍摄图像数据，图形处理器用于对图像数
据进行任务生成、调度及处理。
[0009]为了解决上述问题，本申请第五方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于上述第一方面中的资源调度方法。
[0010]上述方案，响应于GPU任务池中待调度GPU任务的调出请求，检测GPU资源池中各个GPU流是否分别空闲，且待调度GPU任务需提交至空闲的GPU流处理，再基于GPU资源池中各个GPU流均不空闲，统计GPU资源池中GPU流的总数量，从而基于总数量与图形处理器的最大并发数量，确定调度GPU任务的调度策略，且调度策略包括以下一者：为待调度GPU任务在GPU资源池创建新的GPU流，等待GPU资源池出现空闲的GPU流，一方面待调度GPU需提交至空闲的GPU流处理，能够尽可能避免由于随机调度而导致调度至忙碌的GPU流从而延长任务等待时长，另一方面在GPU资源池中各个GPU流均不空闲的情况下，通过GPU资源池中GPU流的总数量和图形处理器的最大并发数量，确定调度GPU任务的调度策略，能够充分利用图形处理器的并行计算能力，并尽可能地避免额外的资源浪费。故此，能够提升GPU资源调度的有效性和可靠性，以提高GPU资源的利用率，从而最终提高数据处理效率。
附图说明
[0011]图1是本申请资源调度方法一实施例的流程示意图；图2是算子“图像分类”以神经网络VGG
‑
A实现时一实施例的流水示意图；图3是本申请资源调度装置一实施例的框架示意图；图4是本申请图形处理器一实施例的框架示意图；图5是本申请摄像器件一实施例的框架示意图；图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
[0012]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0013]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0014]本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
[0015]请参阅图1，图1是本申请资源调度方法一实施例的流程示意图。具体而言，可以包括如下步骤：步骤S11：响应于GPU任务池中待调度GPU任务的调出请求，检测GPU资源池中各个GPU流分别是否空闲。
[0016]在一个实施场景中，GPU任务池用于存储算法方案中各个算子分别提交的待调度任务集合，且各个算子分别提交的待调度任务集合中均包含至少一个待调度GPU任务。例如，算法方案中可以包含3个算子，第一个算子提交的待调度任务集合中可以包含J个待调度GPU任务，第二个算子提交的待调度任务集合中可以包含K个待调度GPU任务，第三个算子提交的待调度任务结合中可以包含L个待调度GPU任务，其中，J、K、L的均为正整数。需要说
明的是，上述举例仅仅是实际应用过程中一种可能实施方式，并不因此而限定算法方案和待调度任务集合的实际内容。此外，本公开实施例中GPU任务池等“池”可以以队列、堆栈等形式组织形成，在此对“池”的组织形式，不做限定。
[0017]在一个具体的实施场景中，算子既可以通过神经网络实现，也可以通过算子函数实现，还可以通过其他任何可实现一定功能的算法（如，程序等），在此对算子的实现方式不做限定。示例性地，对于“目标检测”功能的算子而言，可以通过诸如Faster RCNN等神经网络实现；或者，对于“边缘提取”功能的算子而言，可以通过诸如Canny、sobel等算子函数实现；或者，对于“颜色空间转换”功能的算子而言，可以通过诸如OpenCV中cvtColor程序实现。其他情况可以以此类推，在此不再一一举例。
[0018]在一个具体的实施场景中，算法方案实际包含的算子个数以及算子种类，可以根据实际情况进行设置，在此不做限定。示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度方法，其特征在于，包括：响应于GPU任务池中待调度GPU任务的调出请求，检测GPU资源池中各个GPU流分别是否空闲；其中，所述待调度GPU任务需提交至空闲的GPU流处理；基于所述GPU资源池中各个所述GPU流均不空闲，统计所述GPU资源池中所述GPU流的总数量；基于所述总数量与图形处理器的最大并发运行数量，确定所述待调度GPU任务的调度策略；其中，所述调度策略包括以下任一者：为所述待调度GPU任务在所述GPU资源池创建新的GPU流，等待所述GPU资源池出现空闲的GPU流。2.根据权利要求1所述的方法，其特征在于，所述调度策略基于所述总数量是否低于所述最大并发运行数量的预设倍数来确定。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述总数量与图形处理器的最大并发运行数量，确定所述待调度GPU任务的调度策略，包括以下至少一者：响应于所述总数量不低于所述最大并发运行数量的预设倍数，确定所述调度策略包括：等待所述GPU资源池出现空闲的GPU流；响应于所述总数量低于所述最大并发运行数量的预设倍数，确定所述调度策略包括：为所述待调度GPU任务在所述GPU资源池创建新的GPU流。4.根据权利要求1所述的方法，其特征在于，所述方法还还包括：基于所述GPU资源池中至少一个所述GPU流空闲，将所述待调度GPU任务提交至所述GPU资源池中任一空闲的GPU流。5.根据权利要求1所述的方法，其特征在于，所述GPU任务池用于存储算法方案中各个算子分别提交的待调度任务集合，所述算法方案中所述各个算子按照预设顺序排列，所述各个算子分别提交的待调度任务集合在所述GPU任务池中按照所述预设顺序排列，且所述GPU任务池按照先入先出的原则调出任务。6.根据权利要求1或5所述的方法，其特征在于，所述图形处理器包括GPU管理器，所述GPU管理器维护有所述GPU任务池和所述GPU资源池。7.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：响应于新获取到图像数据，基于为处理所述图像数据而预先部署的算法方案中的算子和在GPU内存中预先存储的算子任务映射集，生成所述算子的待调度任务集合；其中，所述算子任务映射集包括：各个算子分别对应...

【专利技术属性】
技术研发人员：黄鹏，吴立，殷俊，岑鑫，虞响，陈波扬，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：