一种基于机器学习的存储资源调度方法技术

本公开提供了一种基于机器学习的存储资源调度方法

【技术实现步骤摘要】
一种基于机器学习的存储资源调度方法、装置及存储介质


[0001]本公开涉及资源调度
、
数据处理
、
机器学习领域，并且更具体地，涉及一种基于机器学习的存储资源调度方法
、
装置及存储介质
。

技术介绍

[0002]随着互联网技术的快速发展，云技术逐步走入人们的生活
。
云技术通过互联网将遍布在世界各地数据中心的各种资源（计算
、
存储等）提供给用户使用
。
其中，较大的数据中心目前已有数十万台服务器，而对如此大规模数据中心的资源进行有效管理和资源调度是学术界和工业界的一大难题
。
对于云存储技术来说，考虑到故障域的影响，一个或者多个数据中心的数十万台服务器，会按照集群的粒度进行管理，每个存储集群管理几十到数百台服务器
。
用户在云上申请的存储资源，会按照特定的资源调度算法分配到某一个数据中心的某一个集群中，由该集群提供存储卷给用户使用
。
一种工业界常用的资源调度算法，是根据集群的可用存储容量进行调度和分配，每次用户申请存储卷时，会将其分配到当前可用存储容量最高的集群中
。
该调度算法可以很好的均衡多个存储集群间的容量，让所有集群处于相同的容量水位，从而可以最大化的利用所有存储服务器的容量
。
但是，此类调度算法会有以下问题：
1)
每个用户申请的存储卷会有不同的性能需求，包含：带宽需求和
IOPS
需求
。
该需求会写入云厂商对用户承诺的
SLA
中；
2)
每个存储集群可提供的带宽和
IOPS
是固定的，如果集群被分配了超过其处理能力的带宽或者
IOPS
，集群会针对所有存储卷进行限流；
3)
以上算法只基于容量维度去调度存储卷，会导致每个存储集群的带宽和
IOPS
产生不均衡，很容易出现集群限流，进而影响对用户承诺的
SLA
指标
。
[0003]基于以上问题，业界也有一种基于容量
/
性能等多维度的调度算法，此类算法通常被认为是
NP
问题，通过启发式算法（例如：遗传算法
、
模拟退火算法
、
蚁群算法等）实现
。
但是此类算法应用于存储场景，仍然存在一些问题：
1)
不同用户申请的存储卷，压力模型存在很大的差异，有一些用户属于容量型业务（存储容量大，但是带宽
/IOPS
很低），有一些用户属于带宽型业务（存储容量小，带宽很高），很难设计出适用于所有模型的通用启发式算法；
2)
考虑到云上用户业务的不确定性，存储集群的资源使用情况可能在未来产生性能潮汐现象，只按照当前时刻的集群资源使用情况进行调度容易导致集群限流；
3)
某一些用户会有亲和性诉求，希望申请的存储资源可以分配到特定的数据中心，进而提升存储传输效率，启发式算法无法满足此类诉求；某一些用户会有反亲和性诉求，希望申请的特定存储资源可以分配到不同的存储集群中，提升可用性，启发式算法无法满足此类诉求
。
[0004]因此，如何改善以上问题是需要考虑的技术问题
。

技术实现思路

[0005]有鉴于此，本公开实施例至少提供一种基于机器学习的存储资源调度方法
、
装置及存储介质，已改善上述问题
。
[0006]根据本公开实施例的一个方面，提供了一种基于机器学习的存储资源调度方法，所述方法包括：获取目标客户端发送的存储资源申请命令，并对所述存储资源申请命令进行申请规则解析，得到亲和规则；获取存储集群列表，并基于所述亲和规则对所述存储集群列表进行过滤，得到过滤存储集群列表；获取所述过滤存储集群列表中的所有存储集群的资源使用信息，所述资源使用信息包括每一存储集群的可用资源量；获取所述目标客户端对应的用户画像信息；针对每一所述存储集群，基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分；将优先级评分最大的存储集群确定为所述目标客户端的最优存储集群，将所述目标客户端对应的存储卷分配到所述最优存储集群
。
[0007]根据本公开实施例的一个示例，其中，所述可用资源量包括可用容量
、
可用写带宽和可用写
IOPS
，所述针对每一所述存储集群，基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分，包括：获取所述存储集群的可用容量在所述过滤存储集群列表中所有的存储集群的可用容量权重占比；获取所述存储集群的可用写带宽在所述过滤存储集群列表中所有的存储集群的可用写带宽权重占比；获取所述存储集群的可用写
IOPS
在所述过滤存储集群列表中所有的存储集群的可用写
IOPS
权重占比；基于预设的启发式算法获取所述可用容量权重占比的可用容量固定权重系数
、
所述可用写带宽权重占比的可用写带宽固定权重系数以及所述可用写
IOPS
权重占比的可用写
IOPS
固定权重系数；结合所述用户画像信息对所述可用容量固定权重系数
、
所述可用写带宽固定权重系数以及所述可用写
IOPS
固定权重系数进行调整，得到调整后的可用容量动态权重系数
、
所述可用写带宽动态权重系数以及所述可用写
IOPS
动态权重系数；基于所述可用容量动态权重系数对所述可用容量权重占比进行加权调节，得到可用容量权重占比调节结果；基于所述可用写带宽动态权重系数对所述可用写带宽权重占比进行加权调节，得到可用写带宽权重占比调节结果；基于所述可用写
IOPS
动态权重系数对所述可用写
IOPS
权重占比进行加权调节，得到可用写
IOPS
权重占比调节结果；将所述可用容量权重占比调节结果
、
所述可用写带宽权重占比调节结果和所述可用写
IOPS
权重占比调节结果进行求和，得到所述存储集群的优先级评分
。
[0008]根据本公开实施例的一个示例，其中，结合所述用户画像信息对所述可用容量固定权重系数
、
所述可用写带宽固定权重系数以及所述可用写
IOPS
固定权重系数进行调整，得到调整后的可用容量动态权重系数
、
所述可用写带宽动态权重系数以及所述可用写
IOPS
动态权重系数，包括：当所述用户画像信息为容量型用户时，基于预设策略增加所述可用容量固定权重系数，得到所述可用容量动态权重系数；当所述用户画像信息为带宽型用户时，基于预设策略增加所述可用写带宽固定权重系数，得到所述可用写带宽动态权重系数；当所述用户画像信息为<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于机器学习的存储资源调度方法，其特征在于，所述方法包括：获取目标客户端发送的存储资源申请命令，并对所述存储资源申请命令进行申请规则解析，得到亲和规则；获取存储集群列表，并基于所述亲和规则对所述存储集群列表进行过滤，得到过滤存储集群列表；获取所述过滤存储集群列表中的所有存储集群的资源使用信息，所述资源使用信息包括每一存储集群的可用资源量；获取所述目标客户端对应的用户画像信息；针对每一所述存储集群，基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分；将优先级评分最大的存储集群确定为所述目标客户端的最优存储集群，将所述目标客户端对应的存储卷分配到所述最优存储集群
。2.
根据权利要求1所述的方法，其特征在于，所述可用资源量包括可用容量
、
可用写带宽和可用写
IOPS
，所述针对每一所述存储集群，基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分，包括：获取所述存储集群的可用容量在所述过滤存储集群列表中所有的存储集群的可用容量权重占比；获取所述存储集群的可用写带宽在所述过滤存储集群列表中所有的存储集群的可用写带宽权重占比；获取所述存储集群的可用写
IOPS
在所述过滤存储集群列表中所有的存储集群的可用写
IOPS
权重占比；基于预设的启发式算法获取所述可用容量权重占比的可用容量固定权重系数
、
所述可用写带宽权重占比的可用写带宽固定权重系数以及所述可用写
IOPS
权重占比的可用写
IOPS
固定权重系数；结合所述用户画像信息对所述可用容量固定权重系数
、
所述可用写带宽固定权重系数以及所述可用写
IOPS
固定权重系数进行调整，得到调整后的可用容量动态权重系数
、
所述可用写带宽动态权重系数以及所述可用写
IOPS
动态权重系数；基于所述可用容量动态权重系数对所述可用容量权重占比进行加权调节，得到可用容量权重占比调节结果；基于所述可用写带宽动态权重系数对所述可用写带宽权重占比进行加权调节，得到可用写带宽权重占比调节结果；基于所述可用写
IOPS
动态权重系数对所述可用写
IOPS
权重占比进行加权调节，得到可用写
IOPS
权重占比调节结果；将所述可用容量权重占比调节结果
、
所述可用写带宽权重占比调节结果和所述可用写
IOPS
权重占比调节结果进行求和，得到所述存储集群的优先级评分
。3.
根据权利要求2所述的方法，其特征在于，结合所述用户画像信息对所述可用容量固定权重系数
、
所述可用写带宽固定权重系数以及所述可用写
IOPS
固定权重系数进行调整，得到调整后的可用容量动态权重系数
、
所述可用写带宽动态权重系数以及所述可用写
IOPS
动态权重系数，包括：
当所述用户画像信息为容量型用户时，基于预设策略增加所述可用容量固定权重系数，得到所述可用容量动态权重系数；当所述用户画像信息为带宽型用户时，基于预设策略增加所述可用写带宽固定权重系数，得到所述可用写带宽动态权重系数；当所述用户画像信息为
IOPS
型用户时，基于预设策略增加所述可用写
IOPS
固定权重系数，得到所述可用写
IOPS
动态权重系数；其中，所述容量型用户表征用户存储卷申请的资源容量大于第一预设容量，使用的性能资源容量小于第一性能资源容量，同时单
GB
的带宽低于预设带宽阈值；所述带宽型用户表征用户存储卷申请的资源容量低于第二预设容量，使用的性能资源高于第二性能资源容量，单
GB
的带宽高于所述预设带宽阈值，同时用户业务偏向于带宽型，请求的平均大小大于
32KB
；所述
IOPS
型用户表征用户存储卷申请的资源容量小于所述第二预设容量，使用的性能资源高，使用的性能资源高于第二性能资源容量，单
GB
的带宽高于所述预设带宽阈值，用户业务偏向于
IOPS
型，请求的平均大小小于
32KB
；所述获取所述过滤存储集群列表中的所有存储集群的资源使用信息，所述资源使用信息包括每一存储集群的可用资源量，包括：将所述过滤存储集群列表中的每一存储集群的已知时间序列的资源使用量
、
需预测的时间序列长度输入预设的时序数据预测算法，进行存储资源利用率预测，得到对应所述需预测的时间序列长度的未来资源使用量；对所述已知时间序列的资源使用量和所述未来资源使用量进行加权求和，得到所述每一存储集群的可用资源量
。4.
根据权利要求
1~3
任一项所述的方法，其特征在于，获取所述目标客户端对应的用户画像信息，包括：获取拟进行用户画像分析的第一用户存储卷信息集；对事先部署的存储卷正示例集和所述第一用户存储卷信息集分别进行存储特征挖掘，得到正示例特征集合和第一用户存储卷信息表征向量；其中，所述存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例，所述正示例特征集合中包括各个所述用户画像分别对应的正示例特征；依据各个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果，对各个所述正示例特征和所述第一用户存储卷信息表征向量进行调整，得到调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量；依据调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量间的共性度量结果，对所述第一用户存储卷信息集进行用户画像解析，得到所述第一用户存储卷信息集的用户画像
。5.
根据权利要求4所述的方法，其特征在于，所述对事先部署的存储卷正示例集和所述第一用户存储卷信息集分别进行存储特征挖掘，得到正示例特征集合和第一用户存储卷信息表征向量，包括：对于各个所述用户画像，基于第一存储特征挖掘网络对所述存...

【专利技术属性】
技术研发人员：解绘绘，
申请(专利权)人：北京乐讯科技有限公司，
类型：发明
国别省市：