资源管理方法和装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种资源管理分配方法和装置、电子设备及存储介质，其中方法包括：读取配置文件，其中，所述配置文件包括虚拟机的虚拟GPU的参数，所述虚拟机包括至少一个虚拟GPU；在接收到待处理任务的情况下，为所述待处理任务对应的目标虚拟GPU分配物理GPU，所述至少一个可用虚拟GPU包括所述目标虚拟GPU。在本申请实施例中，不为虚拟GPU和物理GPU预先建立固定的映射关系，而是在虚拟GPU接收到任务后，动态的为虚拟GPU分配对应的物理GPU，可以灵活的基于当前任务的特点来对GPU资源进行分配，以达到提升GPU的资源利用率，并提高GPU系统的整体性能。

【技术实现步骤摘要】
资源管理方法和装置、电子设备及存储介质
本申请涉及计算机
，具体涉及一种资源管理方法和装置、电子设备及存储介质。
技术介绍
随着图像处理单元GPU在科学计算、大数据、金融等领域的广泛应用，大量小规模轻负载的计算任务使得GPU资源面临着计算负载低、使用频次高的挑战。一方面单一小规模应用任务难以充分发挥GPU的计算性能优势，另一方面大量小任务增加了GPU集群的功耗比，并降低了整体的资源利用率。为了解决上述问题，业界提出了GPU虚拟化技术。即将每个物理GPU资源划分为多个细粒度虚拟GPU计算资源，使得小任务可以直接使用虚拟GPU进行处理，以提高应用的并行度以及GPU集群的资源利用效率。然而，如何对虚拟GPU资源进行管理是本领域待解决的技术问题。
技术实现思路
本申请实施例提供了一种资源管理分配方法和装置、电子设备及存储介质。本申请实施例第一方面提供一种资源管理分配方法，包括：读取配置文件，所述配置文件包括虚拟机的虚拟图像处理单元GPU配置参数；基于所述配置文件，生成所述虚拟机的至少一个可用虚拟GPU；响应于接收到目标用户的待处理任务，为所述待处理任务对应的目标虚拟GPU分配物理GPU，所述至少一个可用虚拟GPU包括所述目标虚拟GPU。在一种可选的实施方式中，所述为所述待处理任务对应的目标虚拟GPU分配物理GPU，包括：基于所述目标虚拟GPU所需的显存大小以及资源状态表，为所述目标虚拟GPU分配物理GPU，其中，所述资源状态表包括多个物理GPU中每个物理GPU的当前状态信息。在一种可选的实施方式中，所述当前状态信息包括：物理GPU的显存大小、与物理GPU已经被占用的显存对应的每个虚拟GPU的用户信息、与物理GPU已经被占用的显存对应的每个虚拟GPU的显存大小。在一种可选的实施方式中，所述基于所述目标虚拟GPU的所需显存大小以及资源状态表，为所述目标虚拟GPU分配物理GPU，包括：基于所述目标虚拟GPU的所需显存大小和资源状态表，为所述目标虚拟GPU分配物理GPU，以使得所述多个物理GPU的显存被使用最少。在一种可选的实施方式中，所述基于所述目标虚拟GPU的显存大小和资源状态表，为所述目标虚拟GPU分配物理GPU，包括：基于所述资源状态表，按照多个物理GPU的排列顺序，依次确定每个物理GPU的剩余显存大小，直到确定的剩余显存满足所述目标虚拟GPU的所需显存；将剩余显存满足所述目标虚拟GPU的所需显存的物理GPU确定为所述目标虚拟GPU分配的物理GPU。在一种可选的实施方式中，所述方法还包括：在确定所述多个物理GPU中排在最后的物理GPU的剩余显存不满足所述目标虚拟GPU的所需显存的情况下，确定所述虚拟GPU无可用物理资源。在一种可选的实施方式中，所述基于所述目标虚拟GPU的显存大小和资源状态表，为所述目标虚拟GPU分配物理GPU，包括：基于所述目标虚拟GPU的所需显存大小和资源状态表，为所述目标虚拟GPU分配物理GPU，以使得所述目标用户的至少一个任务被尽可能均匀地分配给所述多个物理GPU，所述至少一个任务包括所述待处理任务。在一种可选的实施方式中，所述基于所述目标虚拟GPU的显存大小和资源状态表，为所述目标虚拟GPU分配物理GPU，包括：基于所述资源状态表，确定所述目标用户当前在多个物理GPU中每个物理GPU分配的任务数量，以及每个物理GPU的剩余显存；将所述任务数量最少且剩余显存满足所述目标虚拟GPU的所需显存的物理GPU确定为所述目标虚拟GPU分配的物理GPU。在一种可选的实施方式中，所述方法还包括：在所述任务数量最少且剩余显存满足所述目标虚拟GPU的所需显存的物理GPU的数量为多个的情况下，将所述任务数量最少且剩余显存满足所述目标虚拟GPU的所需显存的多个物理GPU中排列在最前面的物理GPU确定为所述目标虚拟GPU分配的物理GPU。在一种可选的实施方式中，所述方法还包括：基于为所述目标虚拟GPU所分配的物理GPU，更新所述资源状态表；或者，在任务处理状态发生变化的情况下，基于所述任务处理状态的变化更新所述资源状态表。第二方面，本申请实施例提供一种资源管理分配方法，包括：读取主机的配置文件，其中，所述配置文件包括所述虚拟机的虚拟GPU配置参数；基于所述配置文件，生成所述虚拟机的至少一个可用虚拟GPU；在接收到目标用户的待处理任务的情况下，基于所述待处理任务对应的目标虚拟GPU向所述主机发送资源分配请求，其中，所述资源分配请求用于请求所述主机为所述目标虚拟GPU分配物理GPU，所述至少一个可用虚拟GPU包括所述目标虚拟GPU。在一种可选的实施方式中，在所述基于所述待处理任务对应的目标虚拟GPU向主机发送资源分配请求之前，所述方法还包括：基于资源状态表，确定所述虚拟机的至少一个可用虚拟GPU中处于空闲状态的虚拟GPU；从所述处于空闲状态的虚拟GPU中确定所述目标虚拟GPU。在一种可选的实施方式中，所述方法还包括：接收来自于所述主机的所述资源状态表的第一更新指令，所述第一更新指令是在所述主机检测到物理GPU的任务处理状态发生变化的情况下发送的；基于所述第一更新指令，更新所述资源状态表。在一种可选的实施方式中，所述第一更新指令携带下列信息中的至少一项：第一物理GPU的新加入的任务对应的用户信息、所述第一物理GPU的信息，所述新加入的任务对应的虚拟GPU的显存大小，完成任务对应的用户信息，以及所述完成任务对应的第二物理GPU的信息。在一种可选的实施方式中，所述方法还包括：调度所述虚拟GPU执行所述待处理任务；接收来自所述主机的所述待处理任务的处理结果。第三方面，本申请实施例提供一种资源管理分配方法，包括：接收来自虚拟机的资源分配请求，所述资源分配请求携带待处理任务的信息以及目标虚拟GPU的信息；基于所述目标虚拟GPU的信息，为所述目标虚拟GPU分配目标物理GPU。在一种可选的实施方式中，所述基于所述目标虚拟GPU的信息，为所述目标虚拟GPU分配目标物理GPU，包括：基于所述目标虚拟GPU的所需显存大小，为所述目标虚拟GPU分配物理GPU。在一种可选的实施方式中，所述基于所述目标虚拟GPU的显存大小和资源分配策略为所述待处理任务分配物理GPU，包括：基于所述目标虚拟GPU的所需显存大小、所述资源分配策略以及第二资源状态表为所述待处理任务分配物理GPU，所述第二资源状态表包括每个物理GPU当前的使用状态信息。在一种可选的实施方式中，所述基于所述目标虚拟GPU的显存大小、所述资源分配策略以及第二资源状态表为所述待处理任务分配物理GPU，包括：基于所述第二资源状态表，按照多个物理GPU的排列顺序，依次确定物理GPU的剩余显存大小，直到确定的剩余显存满足所述目标虚拟GPU的所需显存；将剩余显存满足所述目标虚拟GPU的所需显存的物理GPU确定为所述目标虚拟GPU的物理GPU。在一种可选的实施方式中，在确定所述多个物理GPU中排在最后的物理GPU的显存不满足所述目标虚拟GPU的所需显存本文档来自技高网...

【技术保护点】
1.一种资源管理方法，其特征在于，所述方法包括：/n读取配置文件，所述配置文件包括虚拟机的虚拟图像处理单元GPU配置参数；/n基于所述配置文件，生成所述虚拟机的至少一个可用虚拟GPU；/n响应于接收到目标用户的待处理任务，为所述待处理任务对应的目标虚拟GPU分配物理GPU，所述至少一个可用虚拟GPU包括所述目标虚拟GPU。/n

【技术特征摘要】
1.一种资源管理方法，其特征在于，所述方法包括：
读取配置文件，所述配置文件包括虚拟机的虚拟图像处理单元GPU配置参数；
基于所述配置文件，生成所述虚拟机的至少一个可用虚拟GPU；
响应于接收到目标用户的待处理任务，为所述待处理任务对应的目标虚拟GPU分配物理GPU，所述至少一个可用虚拟GPU包括所述目标虚拟GPU。


2.根据权利要求1所述的方法，其特征在于，所述为所述待处理任务对应的目标虚拟GPU分配物理GPU，包括：
基于所述目标虚拟GPU所需的显存大小以及资源状态表，为所述目标虚拟GPU分配物理GPU，其中，所述资源状态表包括多个物理GPU中每个物理GPU的当前状态信息。


3.一种资源管理方法，应用于虚拟机，其特征在于，所述方法包括：
读取主机的配置文件，其中，所述配置文件包括所述虚拟机的虚拟GPU配置参数；
基于所述配置文件，生成所述虚拟机的至少一个可用虚拟GPU；
在接收到目标用户的待处理任务的情况下，基于所述待处理任务对应的目标虚拟GPU向所述主机发送资源分配请求，其中，所述资源分配请求用于请求所述主机为所述目标虚拟GPU分配物理GPU，所述至少一个可用虚拟GPU包括所述目标虚拟GPU。


4.一种资源管理方法，其特征在于，所述方法包括：
接收来自虚拟机的资源分配请求，所述资源分配请求携带待处理任务的信息以及目标虚拟GPU的信息；
基于所述目标虚拟GPU的信息，为所述目标虚拟GPU分配目标物理GPU。


5.一种资源管理系统，其特征在于，包括：
主机和访客设备，其中，所述主机上设置有多个物理GPU，所述客设备上包括有虚拟机；
所述客设备用于读取配置文件，所述配置文件包括所述虚拟机的虚拟图像处理单元GPU配置参数；基于所述配置文件，生成所述虚拟机的至少一个可用虚拟GPU；在接收到目标用户的待处理任务的情况下，基于所述待处理任务对应的目标虚拟GPU向所述主机发送资源分配请求，其中，所述资源分配请求用于请求所述主机为所述目标虚拟GPU分配物理GPU，所述至少一个可用虚拟GPU包括所述目标虚拟GPU...

【专利技术属性】
技术研发人员：吴保东，陈逊，孙鹏，颜深根，李鼎基，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31