一种动态可调的云存储系统容错方法技术方案

本发明专利技术公开了一种动态可调的云存储容错方法，该方法中云存储系统中的元数据服务控制器定义了多种调度方式，分别针对不同的容错策略进行负载均衡调度，从而使得云存储系统能够在内部自动完成数据的析构、平衡及调度工作，并以访问触发或者定时触发修复其存储目录下的容错数据块，能够随时灵活的按需动态调整容错方式；本发明专利技术所设计的动态可调的云存储容错方案，能够对存储容错方式按需进行灵活的配置，支持用户随时动态切换容错方式，由云存储系统内部进行数据转存，无须进行手工干预，降低资源的消耗，提高效率，并保障云存储系统的数据安全。

A dynamic adjustable fault tolerant method for cloud storage system

The invention discloses a method for cloud storage fault-tolerant a dynamic adjustable controller, the method of cloud storage service metadata system defines a variety of scheduling, respectively according to different fault tolerance strategy of load balancing, so that the cloud storage system can automatically complete the data analysis and structure, balancing and scheduling work inside, and to access the trigger timing trigger or repair the fault-tolerant data block storage directory, can demand flexible dynamic adjustment of fault tolerance; fault tolerant dynamic cloud storage scheme designed by the invention is adjustable, can according to the need of fault-tolerant storage flexible configuration, to support users to dynamically switch fault tolerance, data transfer save by the internal cloud storage system, without manual intervention, reduce the consumption of resources, improve efficiency, and ensure the data cloud storage system Security.

【技术实现步骤摘要】
一种动态可调的云存储系统容错方法
本专利技术设计分布式大数据的云存储领域，特别是一种动态可调的云存储容错方法。
技术介绍
大数据时代，海量数据应用而生，每时每刻都有不同的应用系统产生海量的数据。随着社会进入云时代，传统存储已无法满足日益增长的数据存储需求，无法提供高可靠高安全易管理的存储特性；因此，云存储技术应用而生，云存储技术的出现，为海量数据的存储提供了有效的解决方案。当前比较传统的云存储解决方案是利用分布式文件系统进行文件存储，此方案虽然能对海量数据进行存储，避免单点故障，但将数据存入此云存储系统中以后无法直接动态调整存储的容错方式，传统云存储将副本的数据切换为纠删码的数据需要经历数据导出、数据临时存储、数据存储、数据清理这样一个十分复杂的过程，并且此过程风险较大，工作效率很低，显然不是一个适合投入现实生成环境的存储系统，动态可调的云存储容错管理方式将解决此问题。
技术实现思路
本专利技术针对存储容错无法随时动态调整的问题，克服现有技术特点，提供一种动态可调的云存储容错方案，能够对存储容错方式按需进行灵活的配置，支持用户随时动态切换容错方式，由云存储系统内部进行数据转存，无须进行手工干预，降低资源的消耗，提高效率，并保障云存储系统的数据安全。本专利技术为以上问题提出的技术方案是：一种动态可调的云存储系统容错方法，该方法中云存储系统中的元数据服务控制器定义了多种调度方式，分别针对不同的容错策略进行负载均衡调度，从而使得云存储系统能够在内部自动完成数据的析构、平衡及调度工作，并以访问触发或者定时触发修复其存储目录下的容错数据块，能够随时灵活的按需动态调整容错方式。作为本专利技术的进一步优选方案：前述的动态可调的云存储容错方法：云存储系统同时提供外部工具修改容错策略，用户通过外部工具重新配置容错策略，并向元数据控制服务器发送容错策略修改消息，元数据控制服务器在收到容错策略修改消息后，递归修改存储目录下的所有文件存储策略；当有新文件存入云存储系统时，元数据控制服务器会依据inode生成Hash散列的表结构，该文件以inode的形式存在于元数据控制服务器中，元数据控制服务器以一种索引关系保存该文件的各项存储特性。前述的动态可调的云存储容错方法：每存入一个新文件，元数据控制服务器都将针对该文件生成新的inode，并以该inode作为Hash因子存储到Hash散列表中，即完成元数据信息的创建；当Hash散列表存在冲突时，则以链表的方式进行元数据的存储，保证Hash表的散列均匀性；元数据控制服务器调度数据服务器将元数据信息分布到各个数据节点，每个数据节点分别对该节点上的元数据信息进行元数据管理，并依据不同策略进行调度，具体方法为：客户端请求写入新数据，元数据控制服务器按照当前配置的容错策略进行新数据结构的组织，并根据当前各数据节点的负载情况选出负载较轻的数据服务器作为存储节点，通知该数据服务器进行数据块创建；该数据服务器依据其当前数据节点的存储负载情况选择负载最轻的设备进行存储，并创建数据块，创建数据块完成后通知元数据控制服务器成功创建数据块，元数据控制服务器通知客户端写入数据。前述的动态可调的云存储容错方法：当容错策略发生改变时，客户端访问数据，从而触发数据的重新分布；客户端向元数据控制服务器请求数据，元数据控制服务器在检测到数据容错策略发生改变后，实时的调度数据节点将数据重新检验并写入数据节点。前述的动态可调的云存储容错方法：当容错策略发生变更时，元数据控制服务器定时检测存储目录容错策略，一旦发现容错策略发生修改，立即对存储目录下所有文件进行重新调度分配，保证数据的容错策略一致。前述的动态可调的云存储容错方法：为了保证容错策略动态可调整，设计了基于访问触发和定时触发的修复策略，在新的数据写入云存储系统时元数据服务控制器依照最新的容错策略进行元数据的组织以及数据的调度，对于系统内的老旧数据采用访问触发或者定时触发的策略进行数据的修复，保证系统的容错管理方法动态可调。元数据控制服务器在收到请求进行容错策略变更时，对于存储系统中已存在的数据，获取存储目录inode号，依据全局唯一的inode号通过Hash散列找到对应的Hash索引，查询文件在元数据服务控制器中的元数据信息，递归将存储目录中数据进行容错策略更新，并将所有需要进行更新的文件加入到数据修复池。对于数据修复，采用两种不同的方式进行触发：1.容错元数据控制服务器定时检测数据修复池，取出需要变更的文件，调度数据节点进行数据的修复。2.客户端访问数据，元数据控制服务器在收到访问请求后查询当前文件的元数据，发现容错策略发生更新，立即调度数据节点进行数据修复。对于存储系统中新写入的数据，客户端向元数据控制服务器请求写入数据，元数据服务器在收到客户端的请求后，依据inode号通过Hash散列查询对应的Hash索引，查询文件在元数据服务控制器中的元数据信息，并通过index信息查看是否需要扩充数据块信息，将元数据信息通知客户端；如无对应的数据块信息，元数据服务控制器扩充数据块信息，查询当前容错策略，查询当前可用的数据节点，并依据最轻负载调度策略和容错策略主动通知合适的数据节点进行数据块的创建，并将元数据信息返回给客户端；数据节点在接收到元数据控制服务器发送的创建数据块的信息后，依据负载情况对数据块进行创建。客户端在收到元数据控制服务器的消息后，对消息进行解析，获取存储容错策略以及对应的数据节点信息，将数据推入后台数据处理池中，后台处理池将根据容错策略决定是否将数据进行数据切片并计算检验块数据，再将数据发送到合适的数据节点服务器进行数数据存储。数据服务器收到客户端发送的消息，对消息进行解析，并对数据进行切片后讲数据推入后台数据处理池，通知客户端写入完成。后台处理池处理程序根据index等信息对数据进行写盘检验等处理。客户端收到数据节点发送的消息后，对消息进行解析，依据解析结果决定是否重发或者其他处理，待收集到所有数据节点回应的消息后，数据写入完成。基于不同容错策略不同元数据设计以及文件容错策略设计，保证同一存储目录下可以存在多种不同的存储策略，并可以进行容错管理的动态调整。本专利技术与现有技术相比具有如下有益效果：传统云存储在进行容错变更时，需要经历数据导出、临时转存、数据导入、原数据清楚几个过程，每个过程都需要人工参与，维护成本巨大，并且每个过程都存在高风险，影响业务系统正常运行；本专利技术所设计的动态可调的云存储容错管理方法通过不同的调度策略可以动态对存储系统的容错方式进行更改，用户可在任何时候进行容错变更，保证7*24小时业务不中断，提高系统灵活性，无须人工干预系统自动进行数据转存，避免数据在容错方式更改时的数据导入导出所导致的资源浪费，提高存储效率，同时保障系统数据的高度安全。附图说明图1为本专利技术所设计的动态可调的容错管理方法数据修复的触发方式示意图；图2为本专利技术中元数据组织的Hash散列结构图。具体实施方式如图1所示，本实施例提供的一种动态可调的云存储系统容错方法，该方法中云存储系统中的元数据服务控制器定义了多种调度方式，分别针对不同的容错策略进行负载均衡调度，从而使得云存储系统能够在内部自动完成数据的析构、平衡及调度工作，并以访问触发或者定时触发修复其存储目录下的容错数据本文档来自技高网...

【技术保护点】
一种动态可调的云存储系统容错方法，其特征在于，该方法中云存储系统中的元数据服务控制器定义了多种调度方式，分别针对不同的容错策略进行负载均衡调度，从而使得云存储系统能够在内部自动完成数据的析构、平衡及调度工作，并以访问触发或者定时触发修复其存储目录下的容错数据块，能够随时灵活的按需动态调整容错方式。

【技术特征摘要】
1.一种动态可调的云存储系统容错方法，其特征在于，该方法中云存储系统中的元数据服务控制器定义了多种调度方式，分别针对不同的容错策略进行负载均衡调度，从而使得云存储系统能够在内部自动完成数据的析构、平衡及调度工作，并以访问触发或者定时触发修复其存储目录下的容错数据块，能够随时灵活的按需动态调整容错方式。2.根据权利要求1所述的动态可调的云存储容错方法，其特征在于：云存储系统同时提供外部工具修改容错策略，用户通过外部工具重新配置容错策略，并向元数据控制服务器发送容错策略修改消息，元数据控制服务器在收到容错策略修改消息后，递归修改存储目录下的所有文件存储策略；当有新文件存入云存储系统时，元数据控制服务器会依据inode生成Hash散列的表结构，该文件以inode的形式存在于元数据控制服务器中，元数据控制服务器以一种索引关系保存该文件的各项存储特性。3.根据权利要求2所述的动态可调的云存储容错方法，其特征在于，每存入一个新文件，元数据控制服务器都将针对该文件生成新的inode，并以该inode作为Hash因子存储到Hash散列表中，即完成元数据信息的创建；当Hash散列表存在冲突时，则以链表的方式进行元数据的存储，保证Hash表的散列均匀性；元数据控制服务器调度数据服务器将元数据信息分布到各个数据节点，每个数据节点分别对该节点上的元数据信息进行元数据管理，并依据不...

【专利技术属性】
技术研发人员：刘鹏，张真，王义飞，章亮，李洋，
申请(专利权)人：南京云创大数据科技股份有限公司，
类型：发明
国别省市：江苏,32