【技术实现步骤摘要】
本专利技术涉及数据访问，尤其是涉及一种应用双层数据缓存加速元数据访问的方法及装置。
技术介绍
1、分布式存储系统，尤其是面向大规模数据管理的系统如ceph，已经成为应对海量数据增长与高并发访问需求的核心技术之一。ceph作为一种高度可扩展的软件定义存储解决方案，其设计精髓在于其无单一故障点的分布式架构和强大的数据持久化能力。
2、ceph元数据缓存策略倾向于依赖单一的内存缓存层，通常是在mds上直接进行。这种方法虽然简单直接，但在处理大规模小文件场景或高并发访问时，内存资源迅速成为瓶颈，难以满足高性能存储系统的需求。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种应用双层数据缓存加速元数据访问的方法及装置，可以通过双层策略构建两个缓存空间，高效缓存最常访问的元数据，减少对后端存储的访问，显著降低元数据查询延迟，提升了存储系统的性能和用户拿取数据的速度。
2、第一方面，本专利技术实施例提供了一种应用双层数据缓存加速元数据访问的方法，应用于ceph分布式存储系统，方法包括：响应于客户端的元数据请求，确定元数据请求中包含的元数据的数据种类；基于数据种类确定元数据的在预先搭建的ceph分布式存储集群中的缓存位置；缓存位置包括：元数据服务器mds缓存和redis缓存；基于缓存位置和元数据对客户端进行响应，以完成元数据的访问。
3、在本专利技术较佳的实施例中，上述确定元数据请求中包含的元数据的数据种类，包括：将元数据的访问频率和预先设置的频率阈值进
4、在本专利技术较佳的实施例中，上述基于对比结果确定数据种类，包括：若对比结果为元数据的访问频率大于预先设置的频率阈值，则数据种类为最热数据；若对比结果为元数据的访问频率小于或等于预先设置的频率阈值且不等于0，则数据种类为一般数据；若对比结果为元数据的访问频率等于0，则数据种类为待检索数据。
5、在本专利技术较佳的实施例中，上述基于数据种类确定元数据的在预先搭建的ceph分布式存储集群中的缓存位置，包括：若数据种类为最热数据，则缓存位置为redis缓存；若数据种类为一般数据，则缓存位置为mds缓存；若数据种类为待检索数据，则通过mds从可靠、自动、分布式对象存储rados中检索元数据的存储位置。
6、在本专利技术较佳的实施例中，在上述通过mds从可靠、自动、分布式对象存储rados中检索元数据的存储位置之后，方法还包括：从存储位置提取元数据；基于元数据对redis缓存和mds缓存进行更新。
7、在本专利技术较佳的实施例中，上述基于缓存位置和元数据对客户端进行响应，包括：从缓存位置提取元数据；基于元数据响应元数据请求，以完成元数据的访问。
8、在本专利技术较佳的实施例中，上述ceph分布式存储集群的功能实现方式包括以下步骤：利用cs13000管理平台搭建ceph分布式存储集群；在ceph分布式存储集群的当前节点搭建redis集群；卸载ceph到根目录的挂载；下载juicefs仓库，编译juicefs.ceph二进制文件；利用juicefs.ceph配合redis集群将ceph分布式存储集群挂载至根目录。
9、第二方面，本专利技术实施例还提供一种应用双层数据缓存加速元数据访问的装置，应用于ceph分布式存储系统，装置包括：数据种类确定模块，用于响应于客户端的元数据请求，确定元数据请求中包含的元数据的数据种类；缓存位置确定模块，用于基于数据种类确定元数据的在预先搭建的ceph分布式存储集群中的缓存位置；缓存位置包括：元数据服务器mds缓存和redis缓存；元数据访问模块，用于基于缓存位置和元数据对客户端进行响应，以完成元数据的访问。
10、第三方面，本专利技术实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面的应用双层数据缓存加速元数据访问的方法。
11、第四方面，本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面的应用双层数据缓存加速元数据访问的方法。
12、本专利技术实施例带来了以下有益效果：
13、本专利技术实施例提供了一种应用双层数据缓存加速元数据访问的方法及装置，通过响应于客户端的元数据请求，确定元数据请求中包含的元数据的数据种类，基于数据种类确定元数据的在预先搭建的ceph分布式存储集群中的缓存位置，其中，缓存位置包括：元数据服务器mds缓存和redis缓存，再基于缓存位置和元数据对客户端进行响应，以完成元数据的访问。该方式中，可以通过双层策略构建两个缓存空间，高效缓存最常访问的元数据，减少对后端存储的访问，显著降低元数据查询延迟，提升了存储系统的性能和用户拿取数据的速度。
14、本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
15、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种应用双层数据缓存加速元数据访问的方法，其特征在于，应用于Ceph分布式存储系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述确定所述元数据请求中包含的元数据的数据种类，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述对比结果确定所述数据种类，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述数据种类确定所述元数据的在预先搭建的Ceph分布式存储集群中的缓存位置，包括：
5.根据权利要求4所述的方法，其特征在于，在所述通过MDS从可靠、自动、分布式对象存储RADOS中检索所述元数据的存储位置之后，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述缓存位置和所述元数据对所述客户端进行响应，包括：
7.根据权利要求1所述的方法，其特征在于，所述Ceph分布式存储集群的功能实现方式包括以下步骤：
8.一种应用双层数据缓存加速元数据访问的装置，其特征在于，应用于Ceph分布式存储系统，所述装置包括：
9.一种电子设备，其特
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1至7任一项所述的应用双层数据缓存加速元数据访问方法。
...【技术特征摘要】
1.一种应用双层数据缓存加速元数据访问的方法，其特征在于，应用于ceph分布式存储系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述确定所述元数据请求中包含的元数据的数据种类，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述对比结果确定所述数据种类，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述数据种类确定所述元数据的在预先搭建的ceph分布式存储集群中的缓存位置，包括：
5.根据权利要求4所述的方法，其特征在于，在所述通过mds从可靠、自动、分布式对象存储rados中检索所述元数据的存储位置之后，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述缓存位置和所述元数据对所述客...
【专利技术属性】
技术研发人员：李刚，房玉震，杨永，郑行，
申请(专利权)人：超云数字技术集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。