数据缓存的管理与调度方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术涉及一种数据缓存的管理与调度方法、装置、电子设备和存储介质，该方法应用于包括缓存控制器和缓存调度器的系统中，包括：集群的API

【技术实现步骤摘要】
数据缓存的管理与调度方法、装置、电子设备和存储介质


[0001]本专利技术涉及数据缓存管理
，具体涉及数据缓存的管理与调度方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，基于kubernetes构建的传统的大规模机器学习平台的缓存没有基于生命周期管理；缓存在机器学习平台上没有办法像调度kubernetes自有的容器一样具有相应的自动化生命周期管理；平台的深度学习任务使用缓存的时候，只能手动指定分配到具有缓存的节点上，当超大规模的任务同时使用缓存的时候，没办法具有有效的策略来调度缓存与任务的适配关系。

技术实现思路

[0003]本专利技术提供一种数据缓存的管理与调度方法、装置、电子设备和存储介质，能够解决上述技术问题。
[0004]本专利技术解决上述技术问题的技术方案如下：
[0005]第一方面，本专利技术实施例提供一种数据缓存的管理与调度方法，应用于包括缓存控制器和缓存调度器的系统中，包括：
[0006]集群的API
‑
server接收到用户创建缓存数据集的请求；
[0007]缓存控制器监听到创建缓存数据集任务的请求，根据用户自定义的值调用回调函数创建所述缓存数据集；
[0008]缓存调度器接收到创建缓存数据集的请求，根据相应的调度策略下发所述缓存数据集，缓存数据集创建成功；
[0009]用户自定义的值包括：缓存数据集的容量、缓存数据集的状态，缓存数据集的底层存储的数据路径。
[0010]进一步地，上述数据缓存的管理与调度方法还包括：
[0011]集群的API
‑
server接收到用户提交的带有所述缓存数据集的任务创建请求；
[0012]集群的原生控制器接收到任务的创建请求；
[0013]缓存调度器根据缓存数据集的信息、pod的创建信息、节点的信息以及相应的调度策略信息下发资源到节点；
[0014]代理在节点创建任务。
[0015]进一步地，上述数据缓存的管理与调度方法还包括：
[0016]缓存调度器从集群的API
‑
server获取所述缓存数据集的信息和节点的信息；
[0017]其中，缓存数据集的信息包括：缓存数据集的容量、缓存数据集的状态，缓存数据集的底层存储的数据路径；节点的信息包括：节点本身每个机器总内存大小、可分配内存的大小；
[0018]缓存数据集的信息和节点的信息均放置在Cache内。
[0019]进一步地，上述数据缓存的管理与调度方法中，
[0020]缓存调度器内包含session模块，session模块根据集群的调度策略与当前集群的信息，确定合适的节点，将资源与节点名字进行绑定，调用节点本身的代理进行资源的创建。
[0021]进一步地，上述数据缓存的管理与调度方法中：
[0022]调度策略是通过插件的形式加载在缓存调度器上的，用户在使用的时候指定调度策略的名字，缓存调度器调度的时候就会自动选择相应的调度策略进行资源的调度。
[0023]进一步地，上述数据缓存的管理与调度方法，还包括：
[0024]缓存控制器接收到用户更新、删除所述缓存数据集的请求，更新、删除所述缓存数据集；
[0025]进一步地，上述数据缓存的管理与调度方法，还包括：
[0026]缓存控制器自动维护所述缓存数据集的生命周期。
[0027]第二方面，本专利技术实施例还提供一种数据缓存的管理与调度装置，应用于包括缓存控制器和缓存调度器的系统中，包括：
[0028]接收模块：用于集群的API
‑
server接收到用户创建缓存数据集的请求；
[0029]创建模块：缓存控制器监听到所述创建缓存数据集任务的请求，根据用户自定义的值调用回调函数创建缓存数据集；
[0030]下发模块：缓存调度器接收到创建缓存数据集的请求，根据相应的调度策略下发所述缓存数据集，缓存数据集创建成功；
[0031]用户自定义的值包括：缓存数据集的容量、缓存数据集的状态和缓存数据集的底层存储的数据路径。
[0032]第三方面，本专利技术实施例还提供了一种电子设备，包括：处理器和存储器；
[0033]所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述一种数据缓存的管理与调度方法。
[0034]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述一种数据缓存的管理与调度方法。
[0035]本专利技术的有益效果是：本专利技术涉及一种数据缓存的管理与调度方法、装置、电子设备和存储介质，该方法应用于包括缓存控制器和缓存调度器的系统中，包括：集群的API
‑
server接收到用户创建缓存数据集的请求；缓存控制器监听到创建缓存数据集任务的请求，根据用户自定义的值调用回调函数创建所述缓存数据集；缓存调度器接收到创建缓存数据集的请求，根据相应的调度策略下发所述缓存数据集，缓存数据集创建成功。本申请通过将缓存数据纳管为集群的自定义资源，使得缓存能够被监测与控制，实现了全生命周期的管理，通过缓存调度器，使得用户能够接入更多的调度策略，在缓存的管理上能够具有更丰富的手段，能够适应更多的复杂场景；使得资源的调度更加高效，避免了手工运维的难题。
附图说明
[0036]图1为本专利技术实施例提供的一种数据缓存的管理与调度方法图一；
server接收到该任务创建请求。
[0055]S202：集群的原生控制器接收到任务的创建请求。
[0056]具体的，本申请实施例中，集群的原生控制器能够感知到任务创建的请求。
[0057]S203：缓存调度器根据缓存数据集的信息、pod的创建信息、节点的信息以及相应的调度策略信息下发资源到节点。
[0058]具体的，本申请实施例中，缓存调度器会根据cacha内缓存数据集的相应信息，以及pod的创建信息还有节点资源的信息，根据相应的策略进行资源的下发，将资源下发到相应的节点，如直接调度到有缓存数据集的节点。
[0059]S204：代理在节点创建任务。
[0060]具体的，本申请实施例中，当任务经过了缓存调度器调度后，缓存调度器会为资源选择一个最合适的节点，创建请求会下发到节点的代理，代理接收创建请求，调用节点本身的资源，创建相应的任务，读取缓存数据开启模型训练。
[0061]进一步地，上述数据缓存的管理与调度方法还包括：
[0062]缓存调度器从集群的API
‑
server获取所述缓存数据集的信息和节点的信息。
[0063]其中，缓存数据集的信息包括：缓存数据集的容量、缓存数据集的状态，缓存数据集的底层存储的数据路径；节点的信息包括：节点本身每个机器总内存大小、可分配内存的大小。
[0064]缓存数据集的信息和节点的信息均放置在Cache内。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据缓存的管理与调度方法，其特征在于，应用于包括缓存控制器和缓存调度器的系统中，包括：集群的API
‑
server接收到用户创建缓存数据集的请求；所述缓存控制器监听到所述创建缓存数据集任务的请求，根据用户自定义的值调用回调函数创建所述缓存数据集；所述缓存调度器接收到创建所述缓存数据集的请求，根据相应的调度策略下发所述缓存数据集，所述缓存数据集创建成功；其中，所述用户自定义的值包括：缓存数据集的容量、缓存数据集的状态和缓存数据集的底层存储的数据路径。2.根据权利要求1所述的数据缓存的管理与调度方法，其特征在于，上述方法还包括：集群的API
‑
server接收到用户提交的带有所述缓存数据集的任务创建请求；集群的原生控制器接收到所述任务的创建请求；所述缓存调度器根据缓存数据集的信息、pod的创建信息、节点的信息以及相应的调度策略信息下发资源到节点；代理在节点创建所述任务。3.根据权利要求2所述的数据缓存的管理与调度方法，其特征在于，所述方法还包括：所述缓存调度器从所述集群的API
‑
server获取所述缓存数据集的信息和所述节点的信息；其中，所述缓存数据集的信息包括：缓存数据集的容量、缓存数据集的状态，缓存数据集的底层存储的数据路径；节点的信息包括：节点本身每个机器总内存大小、可分配内存的大小；所述缓存数据集的信息和所述节点的信息均放置在Cache内。4.根据权利要求1所述的数据缓存的管理与调度方法，其特征在于，缓存调度器内包含session模块，所述session模块根据集群的调度策略与当前集群的信息，确定...

【专利技术属性】
技术研发人员：吕冬冬，刘青松，梁家恩，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：