本发明专利技术涉及数据存储技术领域，具体为用于RAID阵列的动态数据分布存储方法及系统，包括以下步骤，基于磁盘中数据块的访问频率，记录每个数据块的访问次数与时间戳，对数据块进行热度评级，确定热数据和冷数据的阈值。本发明专利技术，通过分析数据块访问频率，有效地优化了数据存储的动态分布，通过将访问频繁的数据迁移到高速缓存磁盘，而将较少访问的数据迁移到成本较低的存储，显著提升了存储系统的性能与经济效率，不仅减少了对高性能存储资源的不必要占用，也降低了运营成本，对数据块进行热度评级并相应调整其存储位置，使得数据处理速度更快，同时提高了数据安全性，在发生硬盘故障时，数据恢复更为迅速，确保了业务连续性。
1、数据存储技术涉及数据的保存、检索和管理方法，包括不同类型的存储系统，如硬盘驱动器、固态硬盘、光存储设备和磁带驱动器等，数据存储技术还包括数据组织和格式化技术，以及为实现数据安全、数据压缩和数据备份而设计的算法和策略。
2、其中，用于raid阵列的动态数据分布存储方法是涉及在raid(冗余阵列独立磁盘)系统中如何高效地分配和管理数据的方法，通过将数据动态分布到多个磁盘上，不仅可以提高数据的读写速度，还可以增加系统的容错能力，确保数据在硬盘故障时的安全，在需要高数据可靠性和性能的企业级存储系统中尤为重要，常见于数据中心、服务器和高性能计算环境。
3、在大规模数据环境中，现有技术无法有效识别和处理热数据与冷数据，导致存储资源利用不均，影响数据检索速度和响应时间，缺乏有效的数据动态迁移和实时优化机制，导致在数据密集型操作中，系统性能受限，响应延迟增加，这些技术局限性在高性能计算和大数据处理中尤为明显，无法满足现代数据中心对于高效率和高可靠性的需求，此外，在自动化管理和故障恢复方面也存在不足，常需手动干预，增加了运维复杂度和风险。
>3、s1：基于磁盘中数据块的访问频率，记录每个数据块的访问次数与时间戳，对数据块进行热度评级，确定热数据和冷数据的阈值，并将数据块按照访问频率划分为热数据和冷数据，生成数据块热冷分级表；4、s2：基于所述数据块热冷分级表，识别标记为热数据的数据块，执行数据迁移操作，将热数据块迁移到配有高速缓存的磁盘中，并验证迁移后磁盘位置与数据访问频率的一致性，得到热数据迁移记录；
5、s3：基于所述数据块热冷分级表，对标记为冷数据的数据块进行处理，将数据块从高速缓存磁盘迁移至低成本磁盘，并调整数据位置，验证数据完整性和存储单元的性价比，生成冷数据调整记录；
6、s4：基于所述热数据迁移记录和冷数据调整记录，更新raid阵列中的数据分布，重新配置数据存储结构，调整多磁盘之间的数据布局，优化存储效率和访问效率，得到数据分布优化结果。
7、本专利技术改进有，所述热数据和冷数据的阈值的确定步骤具体为：
8、s111：基于磁盘中数据块的访问频率，记录每个数据块的访问次数与时间戳，得到数据块访问频率列表；
9、s112：对所述数据块访问频率列表进行分析，计算数据块访问频率的平均值和标准差，确定热度评级的基础信息；
10、s113：基于所述热度评级的基础信息，采用公式：
11、ts＝μs+ks·σs
12、确定热数据和冷数据的阈值ts，其中，μs是平均访问频率，σs是访问频率的标准差，ks是调整系数，用于调整热数据与冷数据的分界线。
13、本专利技术改进有，所述数据块热冷分级表的获取步骤具体为：
14、s121：根据确定的所述热数据和冷数据的阈值，对每个数据块进行分类，将访问频率高于阈值的标记为热数据，低于阈值的标记为冷数据，得到初步的数据分类结果；
15、s122：基于所述初步的数据分类结果，根据热数据和冷数据的标签，整理为数据块热冷分级表。
16、本专利技术改进有，所述执行数据迁移操作的步骤具体为：
17、s211：基于所述数据块热冷分级表，识别标记为热数据的数据块，评估数据块的访问频率和最近访问时间，得到热数据块统计清单；
18、s212：基于所述热数据块统计清单，采用公式：
19、
20、计算每个热数据块的迁移优先级rdi，得到热数据迁移计划，其中，fdi为第i个数据块的访问频率，tdi表示自第i个数据块上次被访问以来的时间长度，tdthresh是时间阈值；
21、s213：执行所述热数据迁移计划，将热数据块迁移到配有高速缓存的磁盘中，得到热数据迁移执行结果。
22、本专利技术改进有，所述热数据迁移记录的获取步骤具体为：
23、s221：自动记录每个数据块的新位置和迁移时间，包括数据块的id、原始位置、新位置、迁移时间和迁移状态，生成初步的迁移记录表；
24、s222：分析所述初步的迁移记录表，评估迁移后的数据访问频率与预迁移时的频率是否一致，采用公式：
25、δfwi＝|fwpre,i-fwpost,i|
26、验证迁移效果，其中，δfwi表示第i个数据块迁移前后访问频率的变化量，fwpre,i表示第i个数据块迁移前的访问频率，fwpost,i表示第i个数据块迁移后的访问频率；
27、s223：根据验证的所述迁移效果，整合数据块的迁移和访问频率变化信息，得到热数据迁移记录。
28、本专利技术改进有，所述迁移至低成本磁盘的步骤具体为：
29、s311：基于所述数据块热冷分级表，筛选标记为冷数据的数据块，评估数据块的访问频率和存储时长，得到冷数据块清单；
30、s312：基于所述冷数据块清单，采用公式：
31、
32、计算每个冷数据块的迁移优先级pgi，得到冷数据迁移计划，其中，fdi为第i个数据块的访问频率，tdi表示自第i个数据块上次被访问以来的时间长度，tgavg表示平均访问间隔；
33、s313：执行所述冷数据迁移计划，将冷数据块从高速缓存磁盘迁移至低成本磁盘，得到冷数据迁移执行结果。
34、本专利技术改进有，所述冷数据调整记录的步骤具体为：
35、s321：对已迁移至所述低成本磁盘的冷数据块进行数据位置调整，优化每个数据块在raid阵列中的存储效率和访问速度，得到调整后的数据位置记录；
36、s322：基于所述调整后的数据位置记录，验证每个数据块的数据完整性，并评估每个存储单元的性价比，得到冷数据调整记录。
37、本专利技术改进有，所述数据分布优化结果的获取步骤具体为：
38、s411：基于所述热数据迁移记录和冷数据调整记录，提取数据访问频率和存储位置的关键信息，并分析数据块的当前布局和性能，得到数据块的当前状态；
39、s412：基于所述数据块的当前状态，重新配置raid阵列的数据分布结果，采用公式：
40、
41、优化数据访问延迟和成本，得到数据布局调整信息，其中，yri代表第i个数据块的优化比率，fdi为第i个数据块的访问频率，yci是第i个数据块的存储成本，ydi是第i个数据块的数据访问延迟；
42、s413：基于所述数据布局调整信息，实时监测调整过程中的存储效率和访问速度，验证优化效果，得到数据分布优化结果。<本文档来自技高网...
【技术保护点】
1.用于RAID阵列的动态数据分布存储方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于RAID阵列的动态数据分布存储方法，其特征在于，所述热数据和冷数据的阈值的确定步骤具体为：
3.根据权利要求1所述的用于RAID阵列的动态数据分布存储方法，其特征在于，所述数据块热冷分级表的获取步骤具体为：
4.根据权利要求1所述的用于RAID阵列的动态数据分布存储方法，其特征在于，所述执行数据迁移操作的步骤具体为：
5.根据权利要求1所述的用于RAID阵列的动态数据分布存储方法，其特征在于，所述热数据迁移记录的获取步骤具体为：
6.根据权利要求1所述的用于RAID阵列的动态数据分布存储方法，其特征在于，所述迁移至低成本磁盘的步骤具体为：
7.根据权利要求1所述的用于RAID阵列的动态数据分布存储方法，其特征在于，所述冷数据调整记录的步骤具体为：
8.根据权利要求1所述的用于RAID阵列的动态数据分布存储方法，其特征在于，所述数据分布优化结果的获取步骤具体为：
9.用于RAID阵列的动态数据分布存储系统，其特征在于，根据权利要求1-8任一项所述的用于RAID阵列的动态数据分布存储方法执行，所述系统包括：
...
【技术特征摘要】
1.用于raid阵列的动态数据分布存储方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的用于raid阵列的动态数据分布存储方法，其特征在于，所述热数据和冷数据的阈值的确定步骤具体为：
3.根据权利要求1所述的用于raid阵列的动态数据分布存储方法，其特征在于，所述数据块热冷分级表的获取步骤具体为：
4.根据权利要求1所述的用于raid阵列的动态数据分布存储方法，其特征在于，所述执行数据迁移操作的步骤具体为：
5.根据权利要求1所述的用于raid阵列的动态数据分布存储方法，其特征在于，所述热数据迁...
【专利技术属性】
技术研发人员：孙骥，徐永欣，庞艳艳，
申请(专利权)人：上海飞斯信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。