数据备份方法、装置、设备、系统、介质及程序产品制造方法及图纸

本申请提供一种数据备份方法、装置、设备、系统、介质及程序产品，针对基于分布式存储池进行大数据分析的应用场景，该数据备份方法包括：响应于数据的备份指令，获取所述数据的访问热度，其中，所述备份指令用于指示将存储池中存储的所述数据备份至缓存部件，以通过所述缓存部件读取所述数据，访问热度由数据的读取次数或读取频率确定；根据所述访问热度，确定所述数据对应的所述缓存部件的存储块，以将所述数据备份至对应的存储块。通过访问热度确定数据是否需要备份以及所备份的位置，实现了数据的有序备份，以优先备份被重复读取的数据，提高了缓存部件命中读取的数据的概率，提高了系统的读取性能。系统的读取性能。系统的读取性能。

【技术实现步骤摘要】
数据备份方法、装置、设备、系统、介质及程序产品


[0001]本申请涉及大数据分析
，尤其涉及一种数据备份方法、装置、设备、系统、介质及程序产品。

技术介绍

[0002]大数据分析应用主要基于收集的海量数据进行运算与加工，输出相应的分析结果。大数据分析系统首先需要具备可观的存储容量以承载大数据分析所需的海量数据，其次，需要具备较高的数据访问性能，如读写延迟低、吞吐量大等，从而确保数据分析操作的时效性。
[0003]为了提高了大数据分析系统的数据访问性能，在系统的低速存储部件，如硬盘驱动器(HDD，Hard Disk Drive)，和系统内存之间增设缓存部件，如结合NAND(Flash Memory，计算机闪存设备)和SSD(NAND Solid State Drive，固态硬盘)实现的缓存部件。缓存部件的容量显著大于系统内存，同时数据读取性能优于低速存储部件，通过缓存部件进行读取数据的备份，使得后续数据读取时，部分数据可以从缓存部件中读取，从而降低了低速存储部件的访问次数，有效降低了读延迟，提高了读取性能。
[0004]相关技术中，缓存部件在存储数据时，直接将与缓存部件容量相当的数据备份至缓存部件，以提高缓存部件的利用率。采用上述备份方式，在缓存容量一定的情况下，数据被缓存部件命中的概率较低，导致缓存部件对读取性能的提升有限，无法满足日益增长的大数据分析对读取性能的需求。

技术实现思路

[0005]本申请提供一种数据备份方法、装置、设备、系统、介质及程序产品，实现了缓存部件内数据按照访问热度分别放置于不同的存储块中，实现数据的冷热隔离，提高了缓存部件中存储的数据被命中的概率，提高了数据读取的性能。
[0006]第一方面，本申请提供一种数据备份方法，包括：
[0007]响应于数据的备份指令，获取所述数据的访问热度，其中，所述备份指令用于指示将存储池中存储的所述数据备份至缓存部件，以通过所述缓存部件读取所述数据，访问热度由数据的读取次数或读取频率确定；根据所述访问热度，确定所述数据对应的所述缓存部件的存储块，以将所述数据备份至对应的存储块。
[0008]可选的，获取所述数据的访问热度，包括：
[0009]获取所述数据的读取次数或读取频率；
[0010]获取所述数据的初始热度；
[0011]根据所述初始热度以及所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的访问热度。
[0012]可选的，所述数据包括多个数据分片，数据的访问热度包括各个数据分片的访问热度；根据所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的访问热
度，包括：
[0013]根据所述初始热度以及所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的各数据分片的访问热度。
[0014]相应的，根据所述访问热度，确定所述数据对应的所述缓存部件的存储块，包括：
[0015]根据所述数据的各数据分片的访问热度，确定所述数据的各数据分片对应的所述缓存部件的存储块。
[0016]可选的，根据所述数据的各数据分片的访问热度，确定所述数据的各数据分片对应的所述缓存部件的存储块，包括：
[0017]获取所述缓存部件存储有数据的各存储块的存储热度；
[0018]针对所述数据的各数据分片，根据所述数据分片的访问热度以及存储有数据的各存储块的存储热度，确定所述数据分片对应的缓存部件的存储块。
[0019]可选的，所述方法还包括：
[0020]取消所述缓存部件的冗余磁盘阵列功能，以使所述缓存部件的存储块的容量小于超级块的容量。
[0021]可选的，在取消所述缓存部件的冗余磁盘阵列功能之后，所述方法还包括：
[0022]响应于存储块的擦除指令，获取所述存储块中的有效数据；
[0023]将所述有效数据写入所述缓存部件的其他存储块中；
[0024]擦除所述存储块中的数据。
[0025]可选的，所述方法还包括：
[0026]根据访问热度，确定存储于存储块中各数据的生命周期；
[0027]当存储块中存储的数据的生命周期终止时，生成所述存储块的擦除指令；
[0028]其中，所述有效数据为生命周期尚未终止的数据。
[0029]可选的，所述方法还包括：
[0030]当检测到所述数据从存储池中读出时，生成所述数据的备份指令。
[0031]第二方面，本申请提供一种数据备份装置，包括：
[0032]访问热度获取模块，用于响应于数据的备份指令，获取所述数据的访问热度，其中，所述备份指令用于指示将存储池中存储的所述数据备份至缓存部件，以通过所述缓存部件读取所述数据，访问热度由数据的读取次数或读取频率确定；
[0033]数据备份模块，用于根据所述访问热度，确定所述数据对应的所述缓存部件的存储块，以将所述数据备份至对应的存储块。
[0034]可选的，访问热度获取模块，包括：
[0035]初始热度获取单元，用于获取所述数据的初始热度；
[0036]频次获取单元，用于获取所述数据的读取次数或读取频率；
[0037]访问热度确定单元，用于根据所述初始热度以及所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的访问热度。
[0038]可选的，所述数据包括多个数据分片，数据的访问热度包括各个数据分片的访问热度；访问热度确定单元，具体用于：
[0039]根据所述初始热度以及所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的各数据分片的访问热度。
[0040]相应的，数据备份模块，具体用于：
[0041]根据所述数据的各数据分片的访问热度，确定所述数据的各数据分片对应的所述缓存部件的存储块。
[0042]可选的，数据备份模块，具体用于：
[0043]获取所述缓存部件存储有数据的各存储块的存储热度；
[0044]针对所述数据的各数据分片，根据所述数据分片的访问热度以及存储有数据的各存储块的存储热度，确定所述数据分片对应的缓存部件的存储块。
[0045]可选的，所述装置还包括：
[0046]去冗余模块，用于取消所述缓存部件的冗余磁盘阵列功能，以使所述缓存部件的存储块的容量小于超级块的容量。
[0047]可选的，所述装置还包括：
[0048]擦除模块，用于在取消所述缓存部件的冗余磁盘阵列功能之后，响应于存储块的擦除指令，获取所述存储块中的有效数据；将所述有效数据写入所述缓存部件的其他存储块中；擦除所述存储块中的数据。
[0049]可选的，所述装置还包括：
[0050]生命周期确定模块，用于根据访问热度，确定存储于存储块中各数据的生命周期；
[0051]擦除指令生成模块，用于当存储块中存储的数据的生命周期终止时，生成所述存储块的擦除指令；其中，所述有效数据为生命周期尚未终止的数据。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据备份方法，其特征在于，包括：响应于数据的备份指令，获取所述数据的访问热度，其中，所述备份指令用于指示将存储池中存储的所述数据备份至缓存部件，以通过所述缓存部件读取所述数据，访问热度由数据的读取次数或读取频率确定；根据所述访问热度，确定所述数据对应的所述缓存部件的存储块，以将所述数据备份至对应的存储块。2.根据权利要求1所述的方法，其特征在于，获取所述数据的访问热度，包括：获取所述数据的读取次数或读取频率；获取所述数据的初始热度；根据所述初始热度以及所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的访问热度。3.根据权利要求2所述的方法，其特征在于，所述数据包括多个数据分片，数据的访问热度包括各个数据分片的访问热度；根据所述初始热度以及所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的访问热度，包括：根据所述初始热度以及所述读取次数，或根据所述初始热度以及所述读取频率，确定所述数据的各数据分片的访问热度；根据所述访问热度，确定所述数据对应的所述缓存部件的存储块，包括：根据所述数据的各数据分片的访问热度，确定所述数据的各数据分片对应的所述缓存部件的存储块。4.根据权利要求3所述的方法，其特征在于，根据所述数据的各数据分片的访问热度，确定所述数据的各数据分片对应的所述缓存部件的存储块，包括：获取所述缓存部件存储有数据的各存储块的存储热度；针对所述数据的各数据分片，根据所述数据分片的访问热度以及存储有数据的各存储块的存储热度，确定所述数据分片对应的缓存部件的存储块。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：取消所述缓存部件的冗余磁盘阵列功能，以使所述缓存部件的存储块的容量小于超级块的容量。6.根据权利要求5所述的方法，其特征在于，在取消所述缓存部件的冗余磁盘阵列功能之后，所...

【专利技术属性】
技术研发人员：李舒，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：