【技术实现步骤摘要】
本申请涉及存储，尤其涉及一种数据缩减方法、装置、存储系统、计算机可读存储介质以及计算机程序产品。
技术介绍
1、随着数据量的不断增长，存储系统中普遍应用无损数据缩减技术达成减少实际存储数据量、降低存储成本的目的。数据缩减技术是可以达成数据量缩减这一目的的技术的集合，包括但不限于数据压缩、数据重删、数据压紧等算法。上述数据缩减算法通常可以在存储系统内同时应用，从而实现缩减效果为的叠加。
2、存储系统作为数据时代的基础设施，通常需要对接多样性的负载，以满足不同应用的存储需求。例如，存储系统可以对接文本或表格类型的负载，满足办公应用的存储需求。又例如，存储系统可以对接可执行文件类型的负载，满足软件开发应用的存储需求。或者，存储系统可以对接视频类型的负载，满足视频播放应用的存储需求。
3、为了提高数据缩减率，相关技术通常可以根据用户指定的负载类型，或者是通过识别文件名后缀识别负载类型，根据专家经验配置与负载类型对应的数据缩减算法。例如，针对文本或表格类型的负载，可以配置数据缩减算法为变长重删和在线压缩，针对可执行文件类型的负载，可以配置数据缩减算法为定长重删和后台深度压缩，针对视频类型的负载，配置数据缩减算法为文件重删且不压缩。
4、然而，存储系统对接的负载通常是动态变化的，即使负载为单一负载，该负载内部的数据缩减特征也是动态变化的，静态的匹配机制导致其匹配的数据缩减策略在负载变化后无法高效应用，数据缩减率难以满足业务需求。
技术实现思路
1、本申请提供
2、第一方面，本申请提供一种数据缩减方法。该方法可以应用于存储系统。存储系统可以是集中式存储系统，例如为盘控一体的集中式存储系统，或者是盘控分离的集中式存储系统。存储系统也可以是分布式存储系统，例如为存算一体的分布式存储系统，或者是存算分离的分布式存储系统。
3、具体地，存储系统可以获取预测数据块，然后存储系统对预测数据块进行分析，获得预测数据块的数据缩减特征，预测数据块的数据缩减特征包括预测数据块在不同数据缩减参数下的数据缩减率，接着根据预测数据块的数据缩减特征调整存储系统的数据缩减参数。
4、该方法通过主动对预测数据块的数据缩减特征进行分析，得到实时的数据缩减特征，基于实时的数据缩减特征进行数据缩减调度决策(例如是调整数据缩减参数)，可以实现数据缩减策略(例如为数据缩减参数)随负载变化而动态调整，提高了整体的数据缩减率。
5、在一些可能的实现方式中，考虑到存储系统可以应用不同类型的数据缩减算法实现数据缩减，数据缩减参数可以包括压缩参数或重删参数中的至少一项。相应地，数据缩减率可以根据压缩率或重删率中的至少一项确定。其中，压缩参数可以包括是否启用压缩、压缩时机(在线压缩、后台深度压缩)、压缩形态(字典/熵编码、公共字典压缩)中的一项或多项，重删参数可以包括是否启用重删、重删作用域(全局重删、本地重删)、重删时间(在线重删、后重删)、重删形态(定长重删、变长重删)中的一项或多项。
6、该方法支持根据需求选择压缩参数和/或重删参数进行预测数据块的数据缩减特征感知，并根据预测数据块的感知结果调整存储系统的数据缩减参数，在保障了数据缩减率的基础上，还提升了数据缩减的灵活性。
7、在一些可能的实现方式中，存储系统可以确定预测数据块的熵和关联度。当预测数据块的熵大于第一阈值且预测数据块的关联度大于第二阈值，或者预测数据块的熵小于第一阈值，存储系统可以使用不同压缩参数对预测数据块进行压缩，获得预测数据块在不同压缩参数下的压缩率。
8、其中，存储系统通过预测数据块的熵和/或关联度可以进行可压性判断，当预测数据块具有可压性时，再对其进行压缩(预压缩)确定该预测数据块在不同压缩参数下的压缩率，如此避免了不必要的资源开销。
9、在一些可能的实现方式中，预测数据块包括多个数据块。存储系统可以确定多个数据块的指纹，根据多个数据块的指纹确定预测数据块的重复度分布，然后根据该重复度分布，确定预测数据块在不同重删参数下的重删率。
10、其中，存储系统通过预测数据块的重复度分布进行可重删性判断，当预测数据块具有可重删性，再确定该预测数据块在不同重删参数下的重删率，避免了额外的资源开销。
11、在一些可能的实现方式中，存储系统还可以获取系统资源状态。系统资源状态包括至少一种系统资源的利用率。相应地，存储系统可以根据系统资源状态动态调整用于数据缩减的系统资源，获得系统资源的分配结果。然后存储系统可以根据系统资源的分配结果以及预测数据块的数据缩减特征，调整存储系统的数据缩减参数。
12、如此可以突破单一缩减算法、单一系统资源的简单自适应机制，实现多数据缩减算法的统一自适应调度，同时保障系统前台读写性能，降低数据缩减算法的后效性能影响(例如是跨节点读取重删后的数据产生的读放大)。
13、在一些可能的实现方式中，存储系统可以根据算力不等式和系统资源的分配结果，确定候选压缩参数。然后存储系统可以根据候选压缩参数以及候选压缩参数对应的压缩率，确定压缩率上界，以及根据网络放大不等式或存储放大不等式确定重删率上界。存储系统可以根据重删率上界以及预测数据块在不同重删参数下的重删率确定候选重删参数，根据候选重删参数和算力不等式更新候选压缩参数，直至确定使得数据缩减率满足要求的目标压缩参数和目标重删参数，调整存储系统的数据缩减参数为目标压缩参数和目标重删参数。
14、该方法通过基于领域知识构建不等式，基于不等式确定使得数据缩减率满足要求的目标压缩参数和目标重删参数，由此调整存储系统的数据缩减参数，一方面保障了数据缩减率，另一方面保障系统前台读写性能，降低数据缩减算法的后效性能影响，实现了数据缩减率和性能的均衡。
15、在一些可能的实现方式中，存储系统可以以系统资源的分配结果为约束条件，以数据缩减率满足要求为目标，构建规划模型。存储系统可以对规划模型求解得到目标压缩率和目标重删率，根据目标压缩率、目标重删率和所述数据缩减特征确定目标压缩参数和目标重删参数，调整存储系统的数据缩减参数为目标压缩参数和目标重删参数。
16、该方法通过基于规划模型求解目标压缩率和目标重删率，然后结合数据缩减特征确定目标压缩参数和目标重删参数，由此调整存储系统的数据缩减参数，可以实现数据缩减率和性能的均衡。
17、在一些可能的实现方式中，存储系统可以根据系统资源状态，通过强化学习或者决策树动态调整用于数据缩减的系统资源。如此可以实现对系统资源分配的平滑调整，保障存储系统的稳定性。
18、第二方面，本申请提供一种数据缩减装置。所述装置包括：
1本文档来自技高网...
【技术保护点】
1.一种数据缩减方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据缩减参数包括压缩参数或重删参数中的至少一项，所述数据缩减率根据压缩率或重删率中的至少一项确定。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述预测数据块进行分析，获得所述预测数据块的数据缩减特征，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述预测数据块包括多个数据块，所述对所述预测数据块进行分析，获得所述预测数据块的数据缩减特征，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述系统资源的分配结果以及所述预测数据块的数据缩减特征，调整存储系统的数据缩减参数，包括：
7.根据权利要求5所述的方法，其特征在于，所述根据所述系统资源的分配结果以及所述预测数据块的数据缩减特征，调整存储系统的数据缩减参数，包括：
8.根据权利要求5至7任一项所述的方法，其特征在于，所述根据所述系统资源状态动态调整用于数据缩
9.一种数据缩减装置，其特征在于，所述装置包括：
10.根据权利要求9所述的装置，其特征在于，所述数据缩减参数包括压缩参数或重删参数中的至少一项，所述数据缩减率根据压缩率或重删率中的至少一项确定。
11.根据权利要求9或10所述的装置，其特征在于，所述分析模块具体用于：
12.根据权利要求9或10所述的装置，其特征在于，所述预测数据块包括多个数据块，所述分析模块具体用于：
13.根据权利要求9至12任一项所述的装置，其特征在于，所述获取模块还用于：
14.根据权利要求13所述的装置，其特征在于，所述调整模块具体用于：
15.根据权利要求13所述的装置，其特征在于，所述调整模块具体用于：
16.根据权利要求13至15任一项所述的装置，其特征在于，所述调整模块具体用于：
17.一种存储系统，其特征在于，所述存储系统包括控制器和存储器，所述存储器中存储有计算机可读指令；所述控制器执行所述计算机可读指令，以使得所述存储系统执行如权利要求1至8中任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，包括计算机可读指令；所述计算机可读指令用于实现权利要求1至8任一项所述的方法。
19.一种计算机程序产品，其特征在于，包括计算机可读指令；所述计算机可读指令用于实现权利要求1至8任一项所述的方法。
...【技术特征摘要】
1.一种数据缩减方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据缩减参数包括压缩参数或重删参数中的至少一项，所述数据缩减率根据压缩率或重删率中的至少一项确定。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述预测数据块进行分析，获得所述预测数据块的数据缩减特征，包括：
4.根据权利要求1或2所述的方法，其特征在于，所述预测数据块包括多个数据块，所述对所述预测数据块进行分析，获得所述预测数据块的数据缩减特征，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述系统资源的分配结果以及所述预测数据块的数据缩减特征，调整存储系统的数据缩减参数，包括：
7.根据权利要求5所述的方法，其特征在于，所述根据所述系统资源的分配结果以及所述预测数据块的数据缩减特征，调整存储系统的数据缩减参数，包括：
8.根据权利要求5至7任一项所述的方法，其特征在于，所述根据所述系统资源状态动态调整用于数据缩减的系统资源，包括：
9.一种数据缩减装置，其特征在于，所述装置包括：
10.根据权利要求9所述的装置，其特征...
【专利技术属性】
技术研发人员：陈泽晖，董如良，包尔权，王海昕，王璐，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。