【技术实现步骤摘要】
本申请涉及信息存储，具体涉及基于海量数据多种介质分级迁移模型的磁光电存储一体机。
技术介绍
1、在当今数据爆炸式增长的背景下，海量数据的管理和存储成为企业和研究机构面临的关键问题。随着数据规模的扩大，不仅存储的容量需求迅速增长，还需要考虑如何高效地存储、管理和迁移数据，以满足成本控制、数据访问效率和数据安全的多重需求。为此，分级存储和数据迁移模型成为了研究的热点。该研究需要面对如下现状：
2、(1)数据爆炸：随着互联网、大数据、物联网(iot)、人工智能等技术的快速发展，海量数据在各个行业不断产生。这些数据不仅包括结构化数据，还涵盖了大量的非结构化数据，如图片、视频、传感器数据等。
3、(2)存储成本：传统的单一存储体系结构难以应对数据种类多样、数据生命周期长短不一的情况，尤其是在面对长期保存的大量低访问频率数据时，存储成本问题尤为突出。因此，需要引入分级存储方案，将数据按照不同价值、访问频率等特征分层存储，以节省资源。
4、(3)存储介质多样化：现代存储系统中可用的介质类型不断丰富，常见的包括高性能但成本较高的闪存(ssd)、价格适中且容量较大的硬盘(hdd)、更适合长期归档的磁带(tape)和光盘(archival disc，缩写ad或blu-ad，或者，blu-ray disc，缩写bd)等。不同存储介质的性能、成本和可靠性各异，这为设计高效的分级存储系统提供了可能。
5、(4)数据生命周期：大部分数据的生命周期是变化的，从高频使用逐步过渡到低频访问甚至归档保存。针对不同阶段
6、(5)数据迁移需求：数据存储的分层不仅涉及数据的静态分布，还需要动态的迁移过程。随着数据访问模式的变化或存储介质的老化、淘汰，数据迁移成为保证存储系统可持续性的重要环节。数据迁移需要考虑迁移成本、迁移时间、数据完整性等问题。
7、为了克服上述问题，中国专利cn113792772b公开了一种用于数据分级混合存储的冷热数据识别方法，该方法采用基于lstm的数据温度预测模型对数据温度进行预测；以数据的温度属性作为数据的冷热程度的识别依据，并且模型假设当前温度较低的数据，在未来被访问的概率也比较低，所以视为冷数据，当前温度较高的数，在未来被访问的概率高，所以视为热数据；将数据的冷热程度定义为数据温度的高低：数据的冷热程度等同于数据温度的高低。该方法使用温度模型来衡量数据的冷热程度，以文章的访问次数、访问类型、每一次访问的时间戳、访问文章所在的存储介质为输入，以该文章对应的温度为输出，预测结果只与访问量相关，无法预先定义规则来适应具体场景的特殊要求。
8、美国专利申请us20240232140a1公开了一种分级管理方法，包括：获取相应文件活动数据，包括一组相应文件的相应文件访问数据、相应相对文件值数据和相应过去访问级别数据；系统根据各个文件的活动数据，确定该组中各个文件各自的热度分数；系统根据各自的热度得分对各自的文件进行排序，以选择各自文件的子组以便在存储层之间重新分层。其中，对于从文件操作日志构建热度分数，热度分数是通过以加权方式添加代表各种文件操作的值来计算的。文件的新热度分数与文件之前的热度分数相结合，得出反映历史和最近操作的热度分数。也可以基于当前操作(例如，读取、写入)的数量、分配的相对重要性值以及给定文件的过去热度得分来计算文件的热度得分。在一种实现方式中，相对简单的热度得分公式通过对当前时间段内文件的输入输出操作求和来计算热度得分，并结合评估该文件的现有/先前热度得分的加权平均值。其同样存在上述弊端。
9、综上，现有的分级管理和迁移技术仍然存在一些技术问题和缺陷，例如：
10、(1)数据迁移效率低：在面对海量数据时，数据迁移过程可能耗时较长，尤其是在线迁移需要保持服务不中断，进一步加剧了迁移时间和成本问题。迁移过程中还可能影响系统性能，导致访问延迟。
11、(2)智能化程度不足：虽然一些系统使用了机器学习和智能预测来优化存储分级和迁移，但现有技术的智能化水平仍有局限，尤其在应对复杂多样的使用模式时，无法做到高精度的实时预测和自动化调整。
12、(3)跨平台兼容性差：不同存储平台(如不同云服务提供商或本地数据中心)之间的数据迁移常常面临兼容性问题，包括数据格式、访问权限、协议不一致等，导致跨平台迁移复杂、成本高。
13、(4)存储层次管理复杂：随着存储系统分层的复杂性增加，管理成本上升，管理员需要对不同层次的数据存储策略进行调整，且自动化工具在处理特殊场景时仍显不足，增加了运维难度。
14、(5)冷数据访问延迟大：对于被迁移到低成本存储层的冷数据，虽然降低了存储成本，但在需要访问时往往会导致较大的延迟，无法满足某些情况下的数据快速恢复需求。
15、由此，现有的分级管理技术仍然迫切需要进行研发和突破，需要适应不同应用场景，提高存储效率。
技术实现思路
1、有鉴于此，本申请的主要目的在于提供一种分级管理系统和方法、采用其的光存储一体机，以期至少部分地解决上述技术问题。
2、为了实现上述目的，作为本申请的第一个方面，提出了一种分级管理系统，包括：
3、输入单元，用于获取待管理数据的位置信息和访问信息；
4、分类单元，用于基于预先设置的策略库和/或设备知识库，以及输入单元传输的访问信息，从算法库中选取适合所述待管理数据的分类算法；
5、迁移单元，基于所述分类单元对所述待管理数据进行的分类，将其迁移到合适的存储位置。
6、作为本申请的第二个方面，还提出了一种分级管理系统，包括：
7、输入单元，用于获取待管理数据的位置信息和访问信息，特定应用场景下的数据更新规则，和/或，用户自定义的更新周期；
8、自主决策机，响应于外部输入，或者响应于用户自定义的更新周期，或者响应于对设备空闲状态的监测而自动运行；所述自主决策机基于策略库和/或设备知识库，以及输入单元传输的访问信息，自动基于预设条件，控制分类单元和迁移单元，将所述待管理数据，或部分系统存储数据，或整个系统存储数据，调校到最优存储读取状态；
9、分类单元，用于在自主决策机的控制下，从算法库中选取适合所述待管理数据的分类算法；
10、迁移单元，用于在自主决策机的控制下，将所述待管理数据迁移到合适的存储位置。
11、作为本申请的第三个方面，还提出了一种光存储一体机，其以光存储为主要存储介质，包括如上所述的分级管理系统。
12、作为本申请的第四个方面，还提出了一种分级管理方法，包括如下步骤：
13、获取待管理数据的位置信息和访问信息；
14、基于预先设置的策略库和/或知识库，以及所述待管理数据的访问信息，从算法库中选取适合所述待管理数据的分类算法；
15、基于对所述待本文档来自技高网...
【技术保护点】
1.一种分级管理系统，其特征在于，包括：
2.一种分级管理系统，其特征在于，包括：
3.根据权利要求1或2所述的分级管理系统，其特征在于，
4.根据权利要求1或2所述的分级管理系统，其特征在于，
5.根据权利要求1或2所述的分级管理系统，其特征在于，
6.根据权利要求2所述的分级管理系统，其特征在于，所述自主决策机包括一个预设的任务池和一个处理单元，所述任务池中存储有所述处理单元能够执行的各种指令。
7.一种光存储一体机，其以光存储为主要存储介质，包括如权利要求1-6任一项所述的分级管理系统。
8.根据权利要求15所述的光存储一体机，其特征在于，所述光存储一体机包括4、6、8、10、12、16、20或24组光盘驱动器。
9.一种分级管理方法，其特征在于，包括如下步骤：
10.一种采用如权利要求1-6任一项所述的分级管理系统作为存储设备的电子系统，所述电子系统优选为档案管理系统、图书管理系统、交通管理系统或视频监控系统。
【技术特征摘要】
1.一种分级管理系统，其特征在于，包括：
2.一种分级管理系统，其特征在于，包括：
3.根据权利要求1或2所述的分级管理系统，其特征在于，
4.根据权利要求1或2所述的分级管理系统，其特征在于，
5.根据权利要求1或2所述的分级管理系统，其特征在于，
6.根据权利要求2所述的分级管理系统，其特征在于，所述自主决策机包括一个预设的任务池和一个处理单元，所述任务池中存储有所述处理单元能够执行的各种指令。
...【专利技术属性】
技术研发人员：李鑫，
申请(专利权)人：北京惠鑫天空科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。