分布式数据存储方法、装置、电子设备和可读介质制造方法及图纸

本公开提供一种分布式数据存储方法、装置、电子设备和可读介质，可应用于云计算、数据库和智能供应链等领域，其中，分布式数据存储方法包括：确定三副本集群中存储的数据文件的访问频次；根据访问频次将指定类型的数据文件写入EC集群，并将成功写入的数据文件的数据指针指向EC集群。通过本公开实施例，能够高效地进行数据转换，降低了存储数据所占用的资源，提升了存储服务的可靠性和稳定性。提升了存储服务的可靠性和稳定性。提升了存储服务的可靠性和稳定性。

【技术实现步骤摘要】
分布式数据存储方法、装置、电子设备和可读介质


[0001]本公开涉及数据存储
，具体而言，涉及一种分布式数据存储方法、装置、电子设备和可读介质。

技术介绍

[0002]目前，随着云计算在现代IT构架下的广泛普及，越来越多的企业开始将自有的IT系统整体搬迁到云上，以寻求一站式的IT解决方案，部分有能力的企业也通过构建私有云来提升企业的整体IT效能。
[0003]在相关技术中，存储系统作为云上基础设施服务(IaaS)的一部分，既是云的核心底座，也是企业数据持久化存储的基石。
[0004]但是，由于存储系统的搭建与运维需要消耗大量的服务器资源及人力资源成本，因此，如何能够在保证服务稳定性和数据可靠性的基础之上，最大化的降低存储成本，成为了企业降本增效的迫切需求。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的目的在于提供一种分布式数据存储方法、装置、电子设备和可读介质，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的分布式集群存储压力大的问题。
[0007]根据本公开实施例的第一方面，提供一种分布式数据存储方法，包括：确定三副本集群中存储的数据文件的访问频次；根据所述访问频次将指定类型的数据文件写入EC集群，并将成功写入的数据文件的数据指针指向所述EC集群。
[0008]在本公开的一种示例性实施例中，在确定三副本集群中存储的数据文件的访问频次前，还包括：将所述数据文件分布式存储于所述三副本集群；在所述三副本集群的引擎层与所述EC集群的引擎层之间创建数据交互通道，所述交互通道用于所述数据文件在所述三副本集群和所述EC集群之间的交互。
[0009]在本公开的一种示例性实施例中，根据所述访问频次将指定类型的数据文件写入EC集群，并将成功写入的数据文件的数据指针指向所述EC集群包括：判断所述访问频次是否小于或等于预设访问频次；若判定所述访问频次小于或等于所述预设访问频次，则将所述数据文件写入所述EC集群。
[0010]在本公开的一种示例性实施例中，若判定所述访问频次小于或等于所述预设访问频次，则将所述数据文件写入所述EC集群包括：若判定所述访问频次小于或等于所述预设访问频次，则将所述数据文件写入斑点缓存区；在检测到所述斑点缓存区的数据文件的存储量达到预设存储阈值时，将所述斑点缓存区的数据文件写入所述EC集群。
[0011]在本公开的一种示例性实施例中，确定三副本集群中存储的数据文件的访问频次
包括：确定所述三副本集群中的数据文件对应的键值结构；根据所述键值结构中的键确定所述访问频次。
[0012]在本公开的一种示例性实施例中，确定三副本集群中存储的数据文件的访问频次还包括：通过布隆过滤器将所述三副本集群中的数据文件的键映射存储至多个哈希位，所述布隆过滤器由一个所述哈希位的数组构成，所述布隆过滤器提供addItem进程和hasItem进程，所述addItem进程通过第一哈希函数计算元素在所述位数组中占据的位置，所述hasItem进程通过第二哈希函数计算所述元素对应的哈希值，所述元素为所述布隆过滤器中存储的数据；通过所述布隆过滤器确定已完成所述映射存储的数据文件的访问频次。
[0013]在本公开的一种示例性实施例中，通过所述布隆过滤器确定已完成所述映射存储的数据文件的访问频次包括：按照所述布隆过滤器中的元素的属性信息将全部所述布隆过滤器划分为一个当前布隆过滤器和多个历史布隆过滤器，所述属性信息包括预设时间和/或粒度；若检测到所述当前布隆过滤器中的键的数量超过预设数量，和/或检测到所述当前布隆过滤器的创建时间超过所述历史布隆过滤器的创建时间，则将所述当前布隆过滤器合并至所述历史布隆过滤器，并创建一个新的当前布隆过滤器；响应于对所述布隆过滤器中的键的查询请求，遍历所述当前布隆过滤器和所述历史布隆过滤器，以确定所述键的命中结果；根据所述命中结果确定所述访问次数。
[0014]根据本公开实施例的第二方面，提供一种分布式数据存储装置，包括：确定模块，设置为确定三副本集群中存储的数据文件的访问频次；存储模块，设置为根据所述访问频次将指定类型的数据文件写入EC集群，并将成功写入的数据文件的数据指针指向所述EC集群。
[0015]根据本公开实施例的第三方面，提供一种电子设备，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。
[0016]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的分布式数据存储方法。
[0017]本公开的实施例，通过确定三副本集群中存储的数据文件的访问频次，并根据所述访问频次将指定类型的数据文件写入EC集群，进而将成功写入的数据文件的数据指针指向所述EC集群，优化了数据文件的存储分布，降低了数据存储压力和部署成本，提升了分布式存储的数据文件的访问效率。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1示出了可以应用本专利技术实施例的分布式数据存储方案的示例性系统架构的示意图；
[0021]图2是本公开示例性实施例中一种分布式数据存储方法的流程图；
[0022]图3是本公开示例性实施例中另一种分布式数据存储方法的流程图；
[0023]图4是本公开示例性实施例中另一种分布式数据存储方法的流程图；
[0024]图5是本公开示例性实施例中另一种分布式数据存储方法的流程图；
[0025]图6是本公开示例性实施例中另一种分布式数据存储方法的流程图；
[0026]图7是本公开示例性实施例中另一种分布式数据存储方法的流程图；
[0027]图8是本公开示例性实施例中另一种分布式数据存储方法的流程图；
[0028]图9是本公开示例性实施例中一种分布式数据存储方法中的三副本集群的示意图；
[0029]图10是本公开示例性实施例中一种分布式数据存储方法中的EC集群的示意图；
[0030]图11是本公开示例性实施例中一种分布式数据存储方案的交互示意图；
[0031]图12是本公开示例性实施例中一种分布式数据存储方案的架构图；
[0032]图13是本公开示例性实施例中一种分布式数据存储方案的布隆过滤器的原理示意图；
[0033]图14是本公开示例性实施例中一种分布式数据存储方案的布隆过滤器的结构示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据存储方法，其特征在于，包括：确定三副本集群中存储的数据文件的访问频次；根据所述访问频次将指定类型的数据文件写入EC集群，并将成功写入的数据文件的数据指针指向所述EC集群。2.如权利要求1所述的分布式数据存储方法，其特征在于，在确定三副本集群中存储的数据文件的访问频次前，还包括：将所述数据文件分布式存储于所述三副本集群；在所述三副本集群的引擎层与所述EC集群的引擎层之间创建数据交互通道，所述交互通道用于所述数据文件在所述三副本集群和所述EC集群之间的交互。3.如权利要求1或2所述的分布式数据存储方法，其特征在于，根据所述访问频次将指定类型的数据文件写入EC集群，并将成功写入的数据文件的数据指针指向所述EC集群包括：判断所述访问频次是否小于或等于预设访问频次；若判定所述访问频次小于或等于所述预设访问频次，则将所述数据文件写入所述EC集群。4.如权利要求3所述的分布式数据存储方法，其特征在于，若判定所述访问频次小于或等于所述预设访问频次，则将所述数据文件写入所述EC集群包括：若判定所述访问频次小于或等于所述预设访问频次，则将所述数据文件写入斑点缓存区；在检测到所述斑点缓存区的数据文件的存储量达到预设存储阈值时，将所述斑点缓存区的数据文件写入所述EC集群。5.如权利要求1
‑
4中任一项所述的分布式数据存储方法，其特征在于，确定三副本集群中存储的数据文件的访问频次包括：确定所述三副本集群中的数据文件对应的键值结构；根据所述键值结构中的键确定所述访问频次。6.如权利要求1
‑
4中任一项所述的分布式数据存储方法，其特征在于，确定三副本集群中存储的数据文件的访问频次还包括：通过布隆过滤器将所述三副本集群中的数据文件的键映射存储至多个哈希位，所述布隆...

【专利技术属性】
技术研发人员：吕洋，景磊，江洋，蔡庆明，陈雪，高玉凤，张旭，田帅，侯琳，赵双嗣，董文涛，郝敬龙，陈林芳，丁贵军，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：