【技术实现步骤摘要】
本专利技术涉及分布式存储，特别涉及一种基于ceph的分布式文件备份系统。
技术介绍
1、cephfs是一种由ceph集群最早原生支持的分布式文件系统客户端，它利用元数据和数据存储池实现数据的存储和访问。
2、cephfs的设计目标是提供高性能、高可用性和高扩展性。它摒弃了传统的集中式元数据管理方案，采用crush算法来实现数据分布的均衡和高并行度。同时，cephfs支持上千个存储节点的规模，能够处理tb到pb级的数据。
3、随着大数据时代的到来，企业级分布式存储系统中海量数据的备份与恢复需求日益增长。然而，当前市场上的备份解决方案普遍存在耦合度过高、资源浪费严重、性能瓶颈明显、无法灵活应对大规模分布式环境中的任务一致性问题等问题。
4、尤其在处理cephfs这种高性能分布式文件系统的备份时，如何实现高效的自动化备份、精准的任务调度、稳定的系统运行以及对异常情况的有效应对，成为了亟待解决的关键技术挑战。
5、为了克服现有技术中存在的诸多弊端，本专利技术提出了一种基于ceph的分布式文件备份系统。
技术实现思路
1、本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的基于ceph的分布式文件备份系统。
2、本专利技术是通过如下技术方案实现的：
3、一种基于ceph的分布式文件备份系统，包括定时任务管理模块、备份管理模块和备份执行模块；
4、所述定时任务管理模块用于维护并触发定时备份任务，确保在无人值守
5、所述备份管理模块作为核心组件，采用多副本部署架构提升系统的可靠性与可用性，用于接收并响应定时任务管理模块发出的任务调度指令，调度备份执行模块进行备份和恢复，并对外展示详尽的任务状态信息；
6、所述备份执行模块同样采用多副本部署模式，支持横向扩展以提升备份效率，并具备失败重试、断点续传以及qos服务质量保证机制，负责真正执行备份和恢复任务，实现cephfs和对象存储数据的数据流动。
7、所述备份管理模块负责展示每个备份任务的状态信息，包括但不限于任务进度、完成情况及异常报告，从而增强系统的可靠性和可用性。
8、所述备份管理模块进一步提供直观易用的交互界面，允许用户通过交互界面创建、修改或删除备份任务，以及手动启动备份任务。
9、此外，在数据恢复阶段，用户通过备份管理模块选择合适的时间点进行数据回滚，提高了业务连续性和灾难恢复能力。
10、所述备份执行模块内置智能任务调度算法，优先选择将任务优先指派给当前cpu使用率最低或者内存占用最少的副本，或者优先选取正在处理备份/恢复任务数量最少的副本，以平衡系统负载。
11、所述备份执行模块在执行过程中实时向备份管理模块反馈备份/恢复任务进度；
12、计算方法为：通过比较需上传全部文件总大小与已成功上传对象大小的比例得出备份进度；通过比较需下载对象总大小与已成功下载对象大小的比例得出恢复进度，以便用户清晰了解备份和恢复的具体进展。
13、针对异常情况采取双重保障措施以提高任务执行成功率，包括：在备份执行模块内部设置递归失败重试机制，当遇到任务执行异常时自动重新尝试直至达到用户自定义设置的最大重试次数阈值；备份管理模块通过心跳检测机制监控备份执行模块状态，一旦检测到异常退出，立即重新调度分配尚未完成的任务。
14、所述备份执行模块集成了qos服务质量保证机制，通过线程池技术限制并发执行的备份或恢复任务数，将超出核心线程的任务暂时放入阻塞队列，等待已有任务完成后释放资源再行调度；
15、同时，构建java inputstream子类，重写read()方法，新实现的方法在读取数据的同时，基于预设的最大带宽参数计算每次读取操作的理想时间，并对比实际耗时，根据两者差值安排合理的休眠时间，以确保整体带宽不超过自定义上限阈值，实现稳定流量控制，既满足备份速度要求，又避免过度压榨cephfs文件系统和对象存储资源，维持系统平稳运行。
16、本专利技术基于ceph的分布式文件备份系统，备份任务的具体流程如下：
17、步骤s1、用户通过备份管理系统维护定时任务，将定时任务保存在定时任务管理模块中；
18、步骤s2、定时任务管理模块在预定时间触发备份管理模块执行备份任务；
19、步骤s3、备份管理模块调度备份执行模块进行备份；
20、步骤s4、备份执行模块向cephfs发起读请求；
21、步骤s5、cephfs向备份执行模块返回数据；
22、步骤s6、备份执行模块将cephfs返回的数据写入对象存储；
23、步骤s7、备份执行模块向备份管理模块汇报备份状态；
24、步骤s8、备份管理模块向用户展示备份详情。
25、本专利技术的有益效果是：该基于ceph的分布式文件备份系统，不仅能够在无人值守状态下实现数据备份的自动化与精确性，还能有效防止数据冗余备份，解决了分布式环境下的定时任务一致性问题，实现了多副本部署和动态任务调度，强化了异常处理和恢复能力，显著提升了分布式环境下数据备份与恢复的整体效能。
本文档来自技高网...【技术保护点】
1.一种基于Ceph的分布式文件备份系统，其特征在于：包括定时任务管理模块、备份管理模块和备份执行模块；
2.根据权利要求1所述的基于Ceph的分布式文件备份系统，其特征在于：所述备份管理模块负责展示每个备份任务的状态信息，包括但不限于任务进度、完成情况及异常报告。
3.根据权利要求1所述的基于Ceph的分布式文件备份系统，其特征在于：所述备份管理模块提供交互界面，允许用户通过交互界面创建、修改或删除备份任务，以及手动启动备份任务；
4.根据权利要求1所述的基于Ceph的分布式文件备份系统，其特征在于：所述备份执行模块内置智能任务调度算法，优先选择将任务优先指派给当前CPU使用率最低或者内存占用最少的副本，或者优先选取正在处理备份/恢复任务数量最少的副本，以平衡系统负载。
5.根据权利要求1所述的基于Ceph的分布式文件备份系统，其特征在于：所述备份执行模块在执行过程中实时向备份管理模块反馈备份/恢复任务进度；
6.根据权利要求1所述的基于Ceph的分布式文件备份系统，其特征在于：针对异常情况采取双重保障措施以提高任务执
7.根据权利要求1所述的基于Ceph的分布式文件备份系统，其特征在于：所述备份执行模块集成有QoS服务质量保证机制，通过线程池技术限制并发执行的备份或恢复任务数，将超出核心线程的任务暂时放入阻塞队列，等待已有任务完成后释放资源再行调度；
8.根据权利要求1所述的基于Ceph的分布式文件备份系统，其特征在于：备份任务的具体流程如下：
...【技术特征摘要】
1.一种基于ceph的分布式文件备份系统，其特征在于：包括定时任务管理模块、备份管理模块和备份执行模块；
2.根据权利要求1所述的基于ceph的分布式文件备份系统，其特征在于：所述备份管理模块负责展示每个备份任务的状态信息，包括但不限于任务进度、完成情况及异常报告。
3.根据权利要求1所述的基于ceph的分布式文件备份系统，其特征在于：所述备份管理模块提供交互界面，允许用户通过交互界面创建、修改或删除备份任务，以及手动启动备份任务；
4.根据权利要求1所述的基于ceph的分布式文件备份系统，其特征在于：所述备份执行模块内置智能任务调度算法，优先选择将任务优先指派给当前cpu使用率最低或者内存占用最少的副本，或者优先选取正在处理备份/恢复任务...
【专利技术属性】
技术研发人员：靳登科，王大帅，刘宇泰，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。