大数据存储服务方法技术

本发明专利技术提供了一种大数据存储服务方法，该方法包括：将数据存储系统的所有数据记录保存在元数据检索表中，通过查找元数据检索表确定所请求的记录所对应的内部节点地址，从而将用户终端请求直接定位到记录所属的数据库节点。本发明专利技术提出了一种大数据存储服务方法，在大数据存储的实时性、可扩展性和可靠性等方面均有较好的性能。

【技术实现步骤摘要】

本专利技术涉及数据存储，特别涉及一种大数据存储服务方法。
技术介绍
随着互联网技术的快速发展，网络信息量呈爆炸式的增长。传统的存储体系结构已经越来越不能满足快速增长的海量数据存储需求，同时也面临着存储的实时性、可靠性和容错性等各方面的技术挑战。当现有的单一存储系统的读写量大幅增加时，存储设备可能会因硬件设备负载过重而形成性能瓶颈；存储设备的用户终端数据读写与数据备份均占用带宽，因此会对用户终端的读写造成影响，造成服务质量下降。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种大数据存储服务方法，包括：将数据存储系统的所有数据记录保存在元数据检索表中，通过查找元数据检索表确定所请求的记录所对应的内部节点地址，从而将用户终端请求直接定位到记录所属的数据库节点。优选地，所述元数据检索表对系统中的元数据进行管理和操作，分别包含以下字段：文件名、组编号、数据库编号、已用存储空间、最大容量、节点地址；所述元数据检索表包括保留在内存中的LRU列表，存储在磁盘上的寻址表，以及用于根据预定义规则将寻址表的记录进行划分的子组检索表；所属子组检索表将元数据检索表中的记录划分为记录子组，每个子组以链表形式表示，子组ID就是链头文件在元数据检索表中的子组ID，将该检索表以子组ID为键，索引项信息为值构建散列表，当需要调入某组记录时，首先在元数据检索表中查询该记录所对应的子组ID，然后在子组检索表中根据散列函数进行查找，再将该组调入内存中；当超过预设超时阈值时，将所有记录的子组ID清零，进行重新分组。优选地，所述方法还包括：为每个记录计算读写时间和读写次数的比值，记为FW值，表示每个记录被读写的概率，将缓存按照FW值分为多个等级；用户终端读写缓存中的记录时，从最高等级开始自顶向下读写，直到找到记录；当记录的读写请求在缓存中命中时，更新记录的FW值，将FW值与所在等级的阈值比较，若大于阈值，则将该记录修改至上一级的链头位置，若不大于阈值，则将该块添加到该等级的链头位置；当读写请求未命中时，缓存先比较缓存最低等级中最后两个记录的FW值，若最后一个记录的FW值大于倒数第二个记录的FW值时，则将两个记录位置互换，然后将最后一个记录置换出去，再将倒数第二个记录的FW值重置；其中FW值定义为：FW＝F(x)+W(y，R)其中F(x)＝(1/p)x，x＝t-tlast，即当前时间减去最后一次读写缓存的时间，权值调整参数p>1；W(y，R)＝(y+a)R其中y表示记录的读写次数，R为布尔值，表示操作类型为读还是写，a为大于1的微调常数。优选地，所述方法还包括：在日志中提取特征值，得出每个记录的下一记录，并以此构造出DAG图，最后根据DAG图来划分为组，组中包括当前记录和后继记录，当需要某条记录调入内存中时，将该记录所在的组同时调入内存中；LRU列表是以子组为单位来进行记录替换的，当LRU列表中记录未命中时，通过查找要读写的记录所在组，然后将该组中所有记录通过数据库缓存调度算法调入缓存列表中，维持子组检索表；如果用户终端的读写操作请求所请求的记录不在LRU列表中，通过查找位于磁盘中的元数据检索表并且该块已经划分，则将该块所在子组全部调入LRU列表中；如果所请求的记录不在LRU列表中，通过查找位于磁盘中的元数据检索表找到该记录，但该记录没有划分，则将该记录送入子组模块中进行划分；如果所请求的记录不在LRU列表中，通过查找位于磁盘中的元数据检索表也没有发现该记录，若该请求为读操作，则向用户终端返回未找到；若该请求为写操作，则在LRU列表中新建一条记录，并为该记录分配一个新的子组ID。本专利技术相比现有技术，具有以下优点：本专利技术提出了一种大数据存储服务方法，在大数据存储的实时性、可扩展性和可靠性等方面均有较好的性能。附图说明图1是根据本专利技术实施例的大数据存储服务方法的流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术的一方面提供了一种大数据存储服务方法。图1是根据本专利技术实施例的大数据存储服务方法流程图。本专利技术改进的分布式数据存储系统由分布式数据库节点组成，多个分布式数据库节点组成一个数据阵列，多个数据阵列组成分布式数据存储系统。每个数据阵列都有一个主控数据库节点，统一管理数据阵列中的记录信息。当数据阵列中某个分布式数据库节点的记录信息发生变化时，该分布式数据库节点只需将变化的信息发送给主控节点，再由主控节点将该信息广播给数据阵列中其他分布式数据库节点；采用时间片轮转机制通过优化策略选择产生下一个主控节点。除主控节点外，每个分布式数据阵列还选出备用主控节点，时刻监督主控节点的状态，当主控节点出现意外不能正常工作时，其将取代主控节点，当某个分布式数据库节点上的记录信息发生改变时，只须将该修改信息发送给主控节点，由主控节点负责将该修改信息同步到数据阵列中其它分布式数据库节点上，并将更新结果同样发送到其他数据阵列的主控节点上，其他数据阵列的主控节点将会更新其所属数据阵列的分布式数据库节点，最后使得整个分布式数据存储系统都得到更新。主控节点具有有效期，给每个分布式数据库节点设定一个权值Wi，当超过有效期时，进行下一轮的选择，选择Wi的最高的前两个数据库作为新的主控节点和备用主控节点，其中权值Wi计算如下：Wi=Ai*(1-Ui)*Mi/Σj=1nMj]]>其中Ai表示第i个节点所在设备的网络带宽容量与响应时间的乘积；Ui表示第i个节点所在设备的处理器平均响应时间；Mi表示第i个节点所在设备的剩余存储器空间，n为数据阵列下的数据库节点总数。分布式数据存储系统的用户终端包括客户请求模块、业务处理模块、传输模块。客户请求模块负责处理用户在终端所提交的数据读写请求，并用于显示分布式数据存储系统对于用户所提交请求的处理结果，同时将用户终端的数据读写请求发送至下层的业务处理模块。业务处理模块用于接收来自客户请求模块的数据读写请求，并以事务的方式对这些请求进行处理，包括记录信息的确认以及数据分块与重组，然后将相关的处理请求信息作为输出发送至下层的传输模块。传输模块负责传输用户终端的数据请求信息、消息确认信息以及返回数据记录的传输，并将传输结果反馈给业务处理模块，让其进行相关事务处理，并将结果发回客户请求模块。分布式数据存储系统中还包括认证中心，用来保存分布式数据存储系统的网络拓扑初始化配置；监控分布式数据存储系统的网络安全，只在整个分布式数据存储系统的拓扑发生改变时才将新的拓扑信息广播出去，使得各分布式数据库节点都能收到该信息。分布式数据存储系统的所有记录信息保存在元数据检索表中，元数据检索表包括保留在内存中的LRU列表，存储在磁盘上的寻址表，以及用于根据预定义规则将寻址表的记录进行划分的子组检索表。每个分布式数据库节点上都维护自身的数据服务，分布式数据库节点通过采用分布式互动控制策略、消息通信协议、负载均衡策略本文档来自技高网...

【技术保护点】
一种大数据存储服务方法，其特征在于，包括：将数据存储系统的所有数据记录保存在元数据检索表中，通过查找元数据检索表确定所请求的记录所对应的内部节点地址，从而将用户终端请求直接定位到记录所属的数据库节点。

【技术特征摘要】
1.一种大数据存储服务方法，其特征在于，包括：将数据存储系统的所有数据记录保存在元数据检索表中，通过查找元数据检索表确定所请求的记录所对应的内部节点地址，从而将用户终端请求直接定位到记录所属的数据库节点。2.根据权利要求1所述的方法，其特征在于，所述元数据检索表对系统中的元数据进行管理和操作，分别包含以下字段：文件名、组编号、数据库编号、已用存储空间、最大容量、节点地址；所述元数据检索表包括保留在内存中的LRU列表，存储在磁盘上的寻址表，以及用于根据预定义规则将寻址表的记录进行划分的子组检索表；所属子组检索表将元数据检索表中的记录划分为记录子组，每个子组以链表形式表示，子组ID就是链头文件在元数据检索表中的子组ID，将该检索表以子组ID为键，索引项信息为值构建散列表，当需要调入某组记录时，首先在元数据检索表中查询该记录所对应的子组ID，然后在子组检索表中根据散列函数进行查找，再将该组调入内存中；当超过预设超时阈值时，将所有记录的子组ID清零，进行重新分组。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：为每个记录计算读写时间和读写次数的比值，记为FW值，表示每个记录被读写的概率，将缓存按照FW值分为多个等级；用户终端读写缓存中的记录时，从最高等级开始自顶向下读写，直到找到记录；当记录的读写请求在缓存中命中时，更新记录的FW值，将FW值与所在等级的阈值比较，若大于阈值，则将该记录修改至上一级的链头位置，若不大于阈值，则将该块添加到该等级的链头位置；当读写请求未命中时，缓存先比较缓存最低等级...

【专利技术属性】
技术研发人员：张俤，
申请(专利权)人：成都轻车快马网络科技有限公司，
类型：发明
国别省市：四川;51