一种基于分层存储的数据调度方法、系统及电子设备技术方案

本发明专利技术提供了一种基于分层存储的数据调度方法、系统及电子设备，该数据调度方法包括：采集分层存储的历史工作负载数据，并基于历史工作负载数据所对应的功率谱密度函数确定工作负载周期；根据工作负载周期为分层存储在预设周期内动态设定与工作负载周期匹配的工作负载模式；对待调度数据在预设周期内根据工作负载模式设定迁移优先级，以根据迁移优先级将待调度数据调度至组成分层存储的不同读/写性能的存储器群中的至少一个存储介质。通过本发明专利技术，实现了更好地引导待调度数据根据分层存储的性能引导待调度数据合理地迁移至分层存储的不同读/写性能的存储器群中的至少一个存储介质的效果，充分发挥了分层存储的存储性能。充分发挥了分层存储的存储性能。充分发挥了分层存储的存储性能。

【技术实现步骤摘要】
一种基于分层存储的数据调度方法、系统及电子设备


[0001]本专利技术涉及数据存储
，尤其涉及一种基于分层存储的数据调度方法、系统及电子设备。

技术介绍

[0002]分层存储(Tiered Storage)是一种让数据在不同存储层次间进行迁移管理的技术，分层存储在提供所需性能的同时还能节约更多的成本。在所有数据中，访问频率较高的数据存放于高性能的存储层，而其他大部分数据存放于性能较低但是容量大且价格低廉的存储层，用户不需要知道数据存放在哪里，系统会自动检索出数据。从存储介质的物理结构来看，分层存储最新的发展是机械硬盘和闪存的结合。存储系统中的分层存储即将访问频率较高的热点数据存放在高读/写性能存储层，例如SSD存储层，而将访问频率较低的冷数据存放在低速率等低读/写性能的存储层，例如HDD存储层上。
[0003]参图1与图2所示，基于分层存储所组件的系统、软件或者包含软件的系统，通常以固定的周期收集和学习工作负载(workload)。EMC的FASTVP通过定期将最活跃数据重新定位到最上层存储，其使用的是固定周期并不考虑工作负载的统计数据；Dell的Data Progression每天在固定时间运行一次，且不考虑工作负载；IBM的存储产品采用的方式是在多个固定周期内采集的EMA(Exponential Moving Average)值判断该区段是否具有足够的负载压力，是否适合迁移热数据。EMA是一种无限脉冲响应滤波器，它采用指数衰减的加权因子。
[0004]申请人指出上述基于工作负载表征分层存储的存储开销及状态的现有技术由于存在“长尾效应”，从而无法及时并准确地反映出分层存储对待调度数据所形成的真实的工作负载的峰值，由此导致采用分层存储的存储装置所具有的存储能力无法被有效地发挥与利用，并整体导致采用分层存储的存储装置及包含该存储装置的计算机系统IOPS性能及吞吐能力的下降。此外，以固定的周期收集和学习工作负载(workload)的技术手段在面临突发性的高负荷场景中会导致无法满足基于特定访问请求所需要的数据读写能力，从而造成部署分层存储的投资造成浪费，过大(或者性能更强)或者过小(或者性能更弱)的分层存储均会导致投资成本过大及投资浪费的问题。
[0005]有鉴于此，有必要对现有技术中基于分层存储的数据调度方法予以改进，以解决上述问题。

技术实现思路

[0006]本专利技术的目的在于揭示一种基于分层存储的数据调度方法、系统及电子设备，用以解决现有技术中基于分层存储中数据调度过程中所存在的上述缺陷，尤其是为了降低分层存储的部署及维护成本，降低待调度数据在分层存储中的读/写成本，并充分发挥组成分层存储的不同读/写性能的存储装置在数据调度过程中的优势，以提高对待调度数据的调度效果，以合理利用分层存储中具有不同读/写性能的存储介质所形成的存储空间。
[0007]为实现上述目的之一，本专利技术提供了一种基于分层存储的数据调度方法，包括：
[0008]S1、采集分层存储的历史工作负载数据，并基于历史工作负载数据所对应的功率谱密度函数确定工作负载周期；
[0009]S2、根据所述工作负载周期为分层存储在预设周期内动态设定与工作负载周期匹配的工作负载模式；
[0010]S3、对待调度数据在预设周期内根据所述工作负载模式设定迁移优先级，以根据所述迁移优先级将所述待调度数据调度至组成分层存储的不同读/写性能的存储器群中的至少一个存储介质。
[0011]作为本专利技术的进一步改进，所述步骤S1具体包括以下步骤：
[0012]S11、采集分层存储的历史工作负载数据并执行平滑处理；
[0013]S12、对平滑处理后的历史工作负载数据执行自相关计算；
[0014]S13、对自相关计算后的历史工作负载数据使用快速傅里叶变换计算得到与历史工作负载数据所对应的功率谱密度函数；
[0015]S14、选取并计算功率谱密度函数所包含的若干显著频率点的最小公倍数，以确定分层存储对历史工作负载数据所具有的工作负载周期。
[0016]作为本专利技术的进一步改进，所述步骤S2具体包括以下步骤：
[0017]S21、对分层存储处理待调度数据进行预判；
[0018]S22、向分层存储下发配置若干QoS阈值的策略，通过若干QoS阈值将工作负载周期划分为至少两个具有不同工作负载的周期段，并输出在预设周期内为分层存储动态设定与周期段所匹配的工作负载模式。
[0019]作为本专利技术的进一步改进，所述步骤S22中，输出在预设周期内为分层存储动态设定与周期段所匹配的工作负载模式后，还包括：将每个周期段与组成分层存储的不同读/写性能的存储器群关联。
[0020]作为本专利技术的进一步改进，所述步骤S3中对待调度数据在预设周期内根据所述工作负载模式设定迁移优先级后，还包括：生成至少一个操作列表并对所述操作列表作可视化展示，所述操作列表与所述待调度数据的迁移优先级关联；
[0021]所述操作列表包括热数据列表、温数据列表与冷数据列表中的一种或者几种。
[0022]作为本专利技术的进一步改进，所述存储器群包括：具有高读/写性能的第一存储器群，具有中读/写性能的第二存储器群及具有低读/写性能的第三存储器群；
[0023]所述第一存储器群由寄存器、高速缓存或主存储器中的一种或者几种组成，所述第二存储器群由若干SLC固态硬盘组成，所述第三存储器群由MLC固态硬盘、TLC固态硬盘、机械硬盘、磁带存储器、RAID0～RAID6或者光盘存储器中的一种或者几种组成。
[0024]作为本专利技术的进一步改进，所述步骤S3中在生成操作列表后，还包括：检测组成分层存储的第一存储器群、第二存储器群及第三存储器群的当前工作负载，以将与迁移优先级所对应的待调度数据按照迁移优先级从高到低的顺序调度至组成分层存储的第一存储器群、第二存储器群及第三存储器群中。
[0025]作为本专利技术的进一步改进，所述步骤S3中在生成操作列表后，还包括：检测组成第一存储器群、第二存储器群及第三存储器群中分别所包含的单个存储介质的当前工作负载，以将具有相同的迁移优先级的待调度数据调度至同一存储器群中相对工作负载较轻的
一个或者多个存储介质中。
[0026]作为本专利技术的进一步改进，所述步骤S3还包括：将待调度数据执行区分为冷数据、温数据与热数据的操作，并优先执行对热数据执行调度至第一存储器群的操作，并在全部热数据被执行调度操作完毕后，生成热数据被执行调度操作的优化时间段，以将所述优化时间段与迁移优先级绑定，并在预设周期排除所述优化时间段内对温数据及冷数据执行迁移操作。
[0027]基于相同专利技术思想，本专利技术还揭示了一种基于分层存储的数据调度系统，包括：
[0028]分层存储控制器，挂载至所述分层存储控制器的存储集群，以及功率谱密度函数检测模块；
[0029]所述分层存储控制器部署工作负载计算模块；
[0030]所述功率谱密度函数检测模块采集分层存储的历史工作负载数据，并基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分层存储的数据调度方法，其特征在于，包括：S1、采集分层存储的历史工作负载数据，并基于历史工作负载数据所对应的功率谱密度函数确定工作负载周期；S2、根据所述工作负载周期为分层存储在预设周期内动态设定与工作负载周期匹配的工作负载模式；S3、对待调度数据在预设周期内根据所述工作负载模式设定迁移优先级，以根据所述迁移优先级将所述待调度数据调度至组成分层存储的不同读/写性能的存储器群中的至少一个存储介质。2.根据权利要求1所述的数据调度方法，其特征在于，所述步骤S1具体包括以下步骤：S11、采集分层存储的历史工作负载数据并执行平滑处理；S12、对平滑处理后的历史工作负载数据执行自相关计算；S13、对自相关计算后的历史工作负载数据使用快速傅里叶变换计算得到与历史工作负载数据所对应的功率谱密度函数；S14、选取并计算功率谱密度函数所包含的若干显著频率点的最小公倍数，以确定分层存储对历史工作负载数据所具有的工作负载周期。3.根据权利要求2所述的数据调度方法，其特征在于，所述步骤S2具体包括以下步骤：S21、对分层存储处理待调度数据进行预判；S22、向分层存储下发配置若干QoS阈值的策略，通过若干QoS阈值将工作负载周期划分为至少两个具有不同工作负载的周期段，并输出在预设周期内为分层存储动态设定与周期段所匹配的工作负载模式。4.根据权利要求3所述的数据调度方法，其特征在于，所述步骤S22中，输出在预设周期内为分层存储动态设定与周期段所匹配的工作负载模式后，还包括：将每个周期段与组成分层存储的不同读/写性能的存储器群关联。5.根据权利要求1所述的数据调度方法，其特征在于，所述步骤S3中对待调度数据在预设周期内根据所述工作负载模式设定迁移优先级后，还包括：生成至少一个操作列表并对所述操作列表作可视化展示，所述操作列表与所述待调度数据的迁移优先级关联；所述操作列表包括热数据列表、温数据列表与冷数据列表中的一种或者几种。6.根据权利要求5所述的数据调度方法，其特征在于，所述存储器群包括：具有高读/写性能的第一存储器群，具有中读/写性能的第二存储器群及具有低读/写性能的第三存储器群；所述第一存储器群由寄存器、高速缓存或主存储器中的一种或者几种组成，所述第二存储器群由若干SLC固态硬盘组成，所述第三存储器群由MLC固态硬盘、TLC固态硬盘、机械硬盘、磁带存储器、RAID0～RAID6或者光盘存储器中的一种或者几种组成。7.根据权利要求6所述的数据调度方法，其特征在于，所述步骤S3中在生成操作列表后，还包括：检测组成分层存储的第一存储器群、第二存储器群及第三存储器群的当前工作负载，以将与迁移优先级所对应的待调度数据按照迁移优先级从高到低的顺序调度至组成分层存储的第一存储器群、第二存储器群及第三存储器群中。8.根据权利要求6所述的数据调度方法，其特征在于，所述步骤S3中在生成操作列表后，还包括：检测组成第一存储器群、第二存储器群及第三存储器群中分别所包含的单个存
储介质的当前工作负载，以将具有相同的迁移优先级的待调度数据调度至同一存储器群中相对工作负...

【专利技术属性】
技术研发人员：陈铎，
申请(专利权)人：华云数据控股集团有限公司，
类型：发明
国别省市：