【技术实现步骤摘要】
本申请涉及信息，尤其涉及一种基于边缘算力的调度方法、设备以及计算机可读介质。
技术介绍
1、在机器学习模型应用实践中，一般使用显卡的显存来加载并运行机器学习模型。其中，显存是指用于存储显卡的gpu(graphics processing unit，图形处理单元)处理过或者即将提取的渲染数据的元器件。随着机器学习模型的参数量急剧增加，对显存的需求也随之增长。例如，目前具有100亿左右参数的机器学习模型大概需要使用20gb(gigabyte，千兆字节)的显存资源，然而，目前市场上主流的云服务提供商所提供的显卡资源的显存普遍仅为24g，这一限制导致单个gpu资源往往只能分配给一个模型使用，极大地限制了显卡资源的利用效率。由于现有技术中在使用云计算网络提供机器学习模型的处理服务时，机器学习模型需要常驻在显存中，这一要求进一步加剧了显存资源的紧张状况。此外，云服务的计费模式通常基于资源数量以及租赁时长，这将导致使用云计算服务的客户需要花费更多的费用用于租赁显卡资源，从而导致资源使用成本较高。这种成本结构不仅增加了企业运营的财务负担，也不利于小型企业和初创公司在人工智能领域的创新和发展。
2、因此，现有技术在显存资源管理和成本优化方面存在显著的不足，亟需一种能够提高显存利用率并降低云计算成本的创新解决方案。
技术实现思路
1、本申请的一个目的是提供一种基于边缘算力的调度方法、设备以及计算机可读介质，至少用以解决现有方案显卡资源利用率低、使用成本较高的问题。通过本专利技术，我们期望能
2、为解决上述问题，本申请实施例提供了一种基于边缘算力的调度方法，所述方法应用于边缘云网络的边缘节点，包括：
3、获取机器学习模型，并将所述机器学习模型存储于所述边缘云节点的本地存储中；
4、在获取所述用户请求后，从所述本地存储中将所述用户请求所需要的机器学习模型加载至一个或多个计算加速器中，并利用所述计算加速器中加载的机器学习模型对所述用户请求进行处理。
5、本申请实施例还提供了一种基于边缘算力进行调度的边缘节点，所述边缘节点包括：
6、模型部署模块，用于获取机器学习模型，并将所述机器学习模型存储于所述边缘云节点的本地存储中；
7、加载处理模块，用于在获取所述用户请求后，从所述本地存储中将所述用户请求所需要的机器学习模型加载至一个或多个计算加速器中，并利用所述计算加速器中加载的机器学习模型对所述用户请求进行处理。
8、本申请实施例还提供了一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行所述基于边缘算力的调度方法。
9、此外，本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现所述基于边缘算力的调度方法。
10、相较于现有技术，本申请实施例提供的基于边缘算力的调度方案中，边缘云网络的边缘节点可以在处理用户请求之前预先获取机器学习模型，并将所述机器学习模型存储于所述边缘云节点的本地存储中，利用边缘节点的本地存储来实现机器学习模型的提前部署，当边缘节点获取所述用户请求后，从所述本地存储中将所述用户请求所需要的机器学习模型加载至一个或多个计算加速器中，并利用计算加速器中加载的机器学习模型对所述用户请求进行处理，可以让机器学习模型不再需要常驻在显存中。通过这种提前部署、按需加载的方式，可以在确保对用户请求处理的响应速度的情况下，提升显存的利用率，降低显卡资源的使用成本。
11、此外边缘云网络在接收到用户请求时，可以根据预设的算力调度策略，从所述边缘云网络的边缘节点中确定处理所述用户请求的最佳边缘节点，然后将所述用户请求发送至最佳边缘节点，可以在避免部分节点的负载过高的同时，充分利用部分节点的计算资源，有效的提高了边缘云网络的效率和性能。
本文档来自技高网...【技术保护点】
1.一种基于边缘算力的调度方法，其特征在于，所述方法应用于边缘云网络的边缘节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述计算加速器可以是GPU、FPGA、ASIC或其他专用硬件加速器。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，在接收到用户请求时，根据预设的算力调度策略，从所述边缘云网络的边缘节点中，确定处理所述用户请求的最佳边缘节点，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，在获取所述用户请求后，从所述本地存储中将所述用户请求所需要的机器学习模型加载至一个或多个计算加速器中，并利用所述计算加速器中加载的机器学习模型对所述用户请求进行处理，包括：
10.根据
11.根据权利要求10所述的方法，其特征在于，流量的费率与所述流量对应调用服务的调用类型相关。
12.一种基于边缘算力进行调度的边缘节点，其特征在于，所述边缘节点包括：
13.一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至11中任一项所述的方法。
14.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1至11中任一项所述的方法。
...【技术特征摘要】
1.一种基于边缘算力的调度方法，其特征在于，所述方法应用于边缘云网络的边缘节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述计算加速器可以是gpu、fpga、asic或其他专用硬件加速器。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，在接收到用户请求时，根据预设的算力调度策略，从所述边缘云网络的边缘节点中，确定处理所述用户请求的最佳边缘节点，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征...
【专利技术属性】
技术研发人员：代翔，
申请(专利权)人：贵州白山云科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。