一种对象存储数据归档方法技术

本发明专利技术公开了一种对象存储数据归档方法及装置，涉及盘级缓存、对象存储、元数据分离、归档存储等领域。该对象存储数据归档方法，包括以下应用步骤：S1、创建多个对象存储所需的桶，所述桶用于当作承载对象的容器，并且各个桶中可上传数以万计的对象，本发明专利技术根据对象最后访问时间，将桶中的对象依据最后访问时间存储到盘级缓存表中，实现了对桶中对象的时间标记，根据时间标记对桶中对象按照热度进行梯度管理，如果某些对象长时间没有被访问，则将这些对象批量从高性能存储介质中流转到冷存储介质中，实现了热数据到冷数据的自动转换，降低了存储成本。低了存储成本。低了存储成本。

【技术实现步骤摘要】
一种对象存储数据归档方法


[0001]本专利技术涉及盘级缓存、对象存储、元数据分离、归档存储等领域，具体为一种对象存储数据归档方法及装置。

技术介绍

[0002]随着信息化和数字技术的迅速发展，全球数据存储量呈指数递增，存储系统在各行各业发挥越来越重要的作用。人们追求安全、便捷、大容量的存储系统的同时也希望单位容量的存储成本越来越低。众所周知，数据在刚生成时，往往访问热度最高，而随着时间的推移，其访问热度降低，数据本身的价值也随之下降，因此数据分层存储应运而生，人们将经常访问的数据即热数据存储在高性能存储介质上(如ssd硬盘)，而将不经常访问的数据即冷数据存储冷存储介质上(如hdd盘、蓝光、磁带)，进行存储数据的同时，达到了更低的存储成本。近年来，云计算技术方兴未艾，对象存储作为一种适合存储非结构化数据的存储技术得到了蓬勃发展。
[0003]对象存储系统一般提供标准存储、低频存储、归档存储等多种存储类型存储服务，一般标准存储类型数据对应热数据，而归档存储类型数据对应冷数据。对象刚上传到对象存储桶中时，一般为热数据，如何判断热数据何时转为冷数据，如何高效的将对象存储桶中数以百万计的冷数据转存到冷存储介质上，如何做到转存过程对系统影响最小，这是对象存储分层存储业界比较关心的问题，也是本专利技术着手解决的问题一种对象存储数据归档方法来解决上述存在的问题。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种对象存储数据归档方法及装置，解决了根据对象最后访问时间，将桶中的对象依据最后访问时间存储到盘级缓存表中，实现了对桶中对象的时间标记，根据时间标记对桶中对象按照热度进行梯度管理，如果某些对象长时间没有被访问，则将这些对象批量从高性能存储介质中流转到冷存储介质中，实现了热数据到冷数据的自动转换，降低了存储成本问题。
[0005]为实现以上目的，本专利技术通过以下技术方案予以实现：一种对象存储数据归档方法，包括以下应用步骤：
[0006]S1、创建多个对象存储所需的桶，所述桶用于当作承载对象的容器，并且各个桶中能够上传数以万计的对象；
[0007]S2、创建预写日志，所述预写日志采用预写式日志的方法将桶中对象的操作以及操作时间预先写入日志文件中；
[0008]S3、创建环形队列缓存表，用户的每个桶都会映射到一组缓存表，不同用户的多个桶可以映射到相同的一组缓存表重；所述环形队列缓存表是根据时间进行环形排列，并且环形队列缓存表上的数字1到90分别表示距离当前时间的天数，包括1表示系统运行的第一天，90表示系统运行的第90天，超过90天之后，又会从第一天开始循环继续；
[0009]S4、结合S1、S2和S3判断系统运行当前M天数是否小于90天，
[0010]如果M<90，则将第M天新写入的对象缓存到第M天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第M天的缓存表中，并删除在之前的缓存表中的记录；
[0011]如果M％90＝＝0，则将第M天新写入的对象缓存到第90天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第90天的缓存表中，并将第(M+1)％90天的缓存表中的对象转存到冷存储介质中；
[0012]如果M>90且M％90！＝0，则将第M天新写入的对象缓存到第M％90天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第M％90天的缓存表中，并将第(M+1)％90天的缓存表中的对象转存到冷存储介质中。
[0013]进一步地，所述对象存储中的对象管理方式是以桶为粒度进行扁平式管理，并且能够通过新增存储空间方式来横向扩展命名空间，同时通过在存储空间中不断新增Object方式来实现海量数据的存储。
[0014]进一步地，所述S1中的对象为热数据，所述热数据为访问的频繁数据。
[0015]进一步地，所述S1中的对象还为冷数据，所述冷数据为90天内未被访问的数据。
[0016]进一步地，所述预写日志用于保证对象数据写入和访问时的性能。
[0017]进一步地，所述预写日志在对象缓存到缓存表之前。
[0018]进一步地，所述冷存储介质只搬移冷数据中对象的数据部分，而元数据部分依旧保存在高性能存储介质中，进行元数据分离。
[0019]进一步地，所述冷存储介质能够对这些冷数据进行相关配置，包括选择压缩转存，选择多文件压缩等配置，以此来更大程度的减少存储的成本。
[0020]进一步地，所述相关配置方式为压缩转存，选择多文件压缩配置。
[0021]一种对象存储数据归档装置，包括：
[0022]桶储存模块，用于当作承载对象的容器，并且各个桶中能够上传数以万计的对象；
[0023]预写模块，用于采用预写式日志的方法将桶中对象的操作以及操作时间预先写入日志文件中；
[0024]环形队列缓存表模块，用于将用户的每个桶映射到一组缓存表，不同用户的多个桶映射到相同的一组缓存表重；所述环形队列缓存表是根据时间进行环形排列，并且环形队列缓存表上的数字1到90分别表示距离当前时间的天数，包括1表示系统运行的第一天，90表示系统运行的第90天，超过90天之后，又会从第一天开始循环继续；
[0025]判断模块，用于判断系统运行当前M天数是否小于90天，如果M<90，则将第M天新写入的对象缓存到第M天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第M天的缓存表中，并删除在之前的缓存表中的记录；如果M％90＝＝0，则将第M天新写入的对象缓存到第90天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第90天的缓存表中，并将第(M+1)％90天的缓存表中的对象转存到冷存储介质中；如果M>90且M％90！＝0，则将第M天新写入的对象缓存到第M％90天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第M％90天的缓存表中，并将第(M+1)％90天的缓存表中的对象转存到冷存储介质中。
[0026]本专利技术具有以下有益效果：
[0027](1)、该对象存储数据归档方法及装置，通过使用盘级缓存表将桶中的对象基于最
近访问时间进行梯度热度管理，通过更新缓存表，可以准确的管理数以万计的对象在90天内的访问频繁程度。
[0028](2)、该对象存储数据归档方法及装置，采用预写日志的方法，用户对对象的操作先写入高性能日志文件中，然后通过日志回放统一下刷，这大大减缓了缓存表的更新速率，对线上业务也几乎不会产生影响。
[0029](3)、该对象存储数据归档方法及装置，判定桶中对象是否由热转冷，不需要额外的计算资源，这大大降低了系统的负载；
[0030](4)、该对象存储数据归档方法及装置，通过缓存表来维护对象的访问频繁程度，但是极大的方便了对于桶中对象的管理，可以简单快捷的判定对象是否转为冷数据，而且可以对转冷的对象进行批量操作，将这些对象一起转存到冷存储介质中。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象存储数据归档方法，其特征在于：包括以下应用步骤：S1、创建多个对象存储所需的桶，所述桶用于当作承载对象的容器，并且各个桶中能够上传数以万计的对象；S2、创建预写日志，所述预写日志采用预写式日志的方法将桶中对象的操作以及操作时间预先写入日志文件中；S3、创建环形队列缓存表，用户的每个桶映射到一组缓存表，不同用户的多个桶映射到相同的一组缓存表重；所述环形队列缓存表是根据时间进行环形排列，并且环形队列缓存表上的数字1到90分别表示距离当前时间的天数，包括1表示系统运行的第一天，90表示系统运行的第90天，超过90天之后，又会从第一天开始循环继续；S4、结合S1、S2和S3判断系统运行当前M天数是否小于90天，如果M<90，则将第M天新写入的对象缓存到第M天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第M天的缓存表中，并删除在之前的缓存表中的记录；如果M％90＝＝0，则将第M天新写入的对象缓存到第90天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第90天的缓存表中，并将第(M+1)％90天的缓存表中的对象转存到冷存储介质中；如果M>90且M％90！＝0，则将第M天新写入的对象缓存到第M％90天的缓存表中，同时如果访问到之前的老对象，则也将该老对象更新到第M％90天的缓存表中，并将第(M+1)％90天的缓存表中的对象转存到冷存储介质中。2.根据权利要求1所述的一种对象存储数据归档方法，其特征在于：所述对象存储中的对象管理方式是以桶为粒度进行扁平式管理，并且能够通过新增存储空间方式来横向扩展命名空间，同时通过在存储空间中不断新增Object方式来实现海量数据的存储。3.根据权利要求2所述的一种对象存储数据归档方法，其特征在于：所述S1中的对象为热数据，所述热数据为访问的频繁数据。4.根据权利要求3所述的一种对象存储数据归档方法，其特征在于：所述S1中的对象还为冷数据，所述冷数据为90天内未被访问的数据。5.根据权利要求1所述的一种对象存储数据...

【专利技术属性】
技术研发人员：侯飞，陈玉鹏，张翼，刘秉润，李卓，梁成武，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：