信息分布式存储方法技术

本发明专利技术提供了一种信息分布式存储方法，该方法包括：对云存储平台分布式框架进行自动化管理，包括安装，搭建以及监视，并通过数据读写阶段的节点调度优化来对服务器集群进行管理与优化。本发明专利技术提出了一种信息分布式存储方法，简化了服务器集群部署方式，避免用户直接对服务器集群进行操作，保证存储节点的合理性和数据稳定性。

【技术实现步骤摘要】

本专利技术涉及云存储，特别涉及一种信息分布式存储方法。
技术介绍
云存储采用了云计算、分布式文件系统以及服务器集群等技术，将网络中各种存储资源聚合起来，共同对外提供数据存储和业务访问功能。目前的云存储分为公有服务型存储，即对企业或者个人提供存储服务；一种是私有架构型云存储，即企业内部搭建的基于存储服务器集群和分布式文件系统，部署在企业数据中心或者安全的节点托管场所，为企业自身提供相应的存储服务。云存储平台保密性较高，且存储过程无需太多I/O操作，因此采用搭建私有云存储系统来保存其数据文件是最好的选择。目前，私有云存储搭建方案有很多种：包括键值型分布式文件系统，采用了分组的方式，服务器集群由一个或多个组构成，同组内的业务节点为互备关系。采用分组存储的方式能够使存储服务器集群更加灵活，可控性也相对较强。然而，Hadoop作为一个开源的分布式存储计算框架，也有着它自身的缺点。那就是系统架构设计复杂，运行维护难度较大。对云存储平台的使用不仅需要多方面的知识积累，而且在其运行维护方面也有很多技能去学习掌握，从一定程度上限制了云存储平台的行业推广和使用。在搭建信息云存储平台中，还有两个影响部署和系统性能的问题：第一个是运行过程中，节点容易发生故障。一旦节点故障发生而不能准备及时地进行处理，就会影响多个节点的存储服务器集群搭建过程中，每个节点都有很多重复的操作，使得搭建过程非常繁琐而且容易出错；第二个是因为节点均为普通个人计算机，而非小型机或大型机之类的专用服务器，因此数据在使用过程中，受到诸如CPU，内存以及磁盘I/O等影响较为严重。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种信息分布式存储方法，包括：对云存储平台分布式框架进行自动化管理，包括安装，搭建以及监视，并通过数据读写阶段的节点调度优化来对服务器集群进行管理与优化。优选地，所述云存储平台采用主从结构，包含一个管理节点和多个业务节点；管理节点用于与业务节点交互，接受业务节点发送的心跳请求，完成集中式管理监视逻辑，每个业务节点负责所在节点的状态采集及维护工作；管理节点部署在单独的节点作为服务器集群部署框架的管理节点，接收用户发送的命令执行请求，随后向业务节点发送命令，采用JSON方式来发送命令，其中JSON数据包括了安装、开始、停止服务的配置信息；业务节点部署在所有待加入服务器集群的节点上，用来执行由管理节点发送的执行任务请求，所执行的脚本存储在管理节点上的指定目录下，该脚本将业务节点接收来自管理节点的命令文件的内容转化为字典格式，便于脚本实现部署时对配置的使用，在部署过程中的状态和行为传递均为由管理节点发送给业务节点，业务节点接收到某个操作行为，通过行为执行线程来执行对应的方法，并将执行后的消息通过消息队列反馈给管理节点；在服务器集群部署过程中，操作人员通过页面执行不同的行为，管理节点将该行为发送给业务节点，再由业务节点的行为执行线程来执行对应的操作，完成服务器集群部署；在业务节点执行过程中，将服务器集群中的状态信息发回给管理节点，由管理节点的有限状态机来进行判断；在服务器集群节点配置中，节点加入到服务器集群中有两个步骤，第一是双方安全认证，第二是节点名的配置；双方安全认证采用Shell脚本来编写，系统执行该脚本，将管理节点的公钥文件分发到各个业务节点，以达到无密码登录的状态；配置服务器集群服务包括选择服务和选择服务所在节点，在选择服务时通过读取该JSON数据，获取所有的云存储平台服务，选择性地进行安装；在选择服务后，将服务分配在对应的节点，此时读取之前的节点列表，然后将每个服务进行节点选择；在服务和节点的配置信息均己设置完毕后，通过执行Shell将对应的云存储平台服务安装包分发到对应的节点上，并进行安装；所有节点的服务配置信息进行同步；在节点管理中，通过云存储平台服务监视线程，对管理节点的云存储平台服务进行轮询，实时监视服务器集群上各个节点的运行状态，同时实现对节点进行增加和删除操作；节点管理采用观测者模式来实现云存储平台服务监视器，其中节点管理器为观测者，云存储平台服务监视器为被观测者；监视包括监视服务器集群运行状况，包括所有节点运行状况，文件系统使用情况；管理包括服务器集群节点和服务的开启、关闭，节点的增加和删除。本专利技术相比现有技术，具有以下优点：本专利技术提出了一种信息分布式存储方法，简化了服务器集群部署方式，避免用户直接对服务器集群进行操作，保证存储节点的合理性和数据稳定性。附图说明图1是根据本专利技术实施例的信息分布式存储方法的流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术的一方面提供了一种信息分布式存储方法。图1是根据本专利技术实施例的信息分布式存储方法流程图。为了更好地管理服务器集群，本专利技术对云存储平台分布式框架运行过程的整个生命周期进行自动化管理，包括安装，搭建以及监视，提供可视化界面，提高管理员的效率。同时存储资源控制系统进行故障报警及处理。除了对服务器集群的运行维护操作，还需要对服务器集群的性能进行优化。服务器集群中新增节点后，重新优化服务器集群性能。针对云存储服务器集群在部署、运行维护与使用过程中的种种问题，本专利技术针对搭建的服务器集群，利用数据读写阶段的节点调度优化模型，来实现服务器集群的便捷管理与优化。本专利技术将针对服务器集群的部署框架、节点管理和服务器优化调度的方面进行详细说明。本专利技术采用主从结构，包含一个管理节点和多个业务节点。管理节点用于与业务节点交互，接受业务节点发送的心跳请求，完成集中式管理监视逻辑，而每个业务节点负责所在节点的状态采集及维护工作。管理节点部署在单独的节点，作为服务器集群部署框架的管理节点，其职责是接收用户发送的命令执行请求，随后向业务节点发送命令，采用JSON方式来发送命令，该JSON数据包括了安装、开始、停止服务的配置信息。业务节点部署在所有待加入服务器集群的节点上，用来执行由管理节点发送的执行任务请求，所执行的脚本存储在管理节点上的指定目录下，该脚本将业务节点接收来自管理节点的命令文件的内容转化为字典格式，便于脚本实现部署时对配置的使用。在部署过程中的状态和行为传递均为由管理节点发送给业务节点，业务节点接收到某个操作行为，通过行为执行线程来执行对应的方法，并将执行后的消息通过消息队列反馈给管理节点。在服务器集群部署过程中，操作人员通过页面执行不同的行为，管理节点将该行为发送给业务节点，.再由业务节点的行为执行线程来执行对应的操作，完成服务器集群部署。在业务节点执行过程中，将服务器集群中的状态信息发回给管理节点，由管理节点的有限状态机来进行判断。在服务器集群节点配置中，本专利技术默认所有节点均已经成功安装操作系统，无论是物理机还是虚拟机。节点加入到服务器集群中有两个步骤，第一是双方安全认证，第二是节点名的配置。双方安全认证采用Shell脚本来编写，系统执行该脚本文档来自技高网...

【技术保护点】
一种信息分布式存储方法，其特征在于，包括：对云存储平台分布式框架进行自动化管理，包括安装，搭建以及监视，并通过数据读写阶段的节点调度优化来对服务器集群进行管理与优化。

【技术特征摘要】
1.一种信息分布式存储方法，其特征在于，包括：对云存储平台分布式框架进行自动化管理，包括安装，搭建以及监视，并通过数据读写阶段的节点调度优化来对服务器集群进行管理与优化。2.根据权利要求1所述的方法，其特征在于，所述云存储平台采用主从结构，包含一个管理节点和多个业务节点；管理节点用于与业务节点交互，接受业务节点发送的心跳请求，完成集中式管理监视逻辑，每个业务节点负责所在节点的状态采集及维护工作；管理节点部署在单独的节点作为服务器集群部署框架的管理节点，接收用户发送的命令执行请求，随后向业务节点发送命令，采用JSON方式来发送命令，其中JSON数据包括了安装、开始、停止服务的配置信息；业务节点部署在所有待加入服务器集群的节点上，用来执行由管理节点发送的执行任务请求，所执行的脚本存储在管理节点上的指定目录下，该脚本将业务节点接收来自管理节点的命令文件的内容转化为字典格式，便于脚本实现部署时对配置的使用，在部署过程中的状态和行为传递均为由管理节点发送给业务节点，业务节点接收到某个操作行为，通过行为执行线程来执行对应的方法，并将执行后的消息通过消息队列反馈给管理节点；在服务器集群部署过程中，操作人员通过页面执行不同的行为，管理节点将该行为发送给业务节点，再由业务节点的行为执行线程来执行对应...

【专利技术属性】
技术研发人员：张敬华，程映忠，王松，
申请(专利权)人：四川新环佳科技发展有限公司，
类型：发明
国别省市：四川;51