一种分布式文件系统及其存储节点上线方法技术方案

本发明专利技术公开了一种分布式文件系统，包括，存储单元集群：包括多个OSD，所述OSD承载至少一个归置组；监视器MON：对所述多个OSD进行检测与维护；成员通知模块：当有新的OSD加入时，向监视器MON发出通知。本发明专利技术还公开了一种分布式文件系统存储节点上线方法，当新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，提高系统的可用性和效率，新加入的OSD会计算自己承载所有归置组，并同时与其他关联OSD对归置组进行相应操作，完成后监视器MON更改OSD的状态和文件系统运行图，部署程序更为简化。

【技术实现步骤摘要】
一种分布式文件系统及其存储节点上线方法
本专利技术涉及分布式存储领域，尤其涉及一种分布式文件系统及其存储节点上线方法。
技术介绍
OSD：ObjectStorageDevice，对象存储设备。MON：Monitor，监视器。随着信息技术的发展，全球数据呈爆炸式增长，集中式存储服务器无法满足系统的可靠性、可扩展性等要求，很容易成为性能瓶颈，而分布式系统很好的解决了这些问题。分布式是指文件系统的重要控制信息是分布在多个计算机节点上，从而提高了文件系统的整体的可靠性，当其中任意一个或多个节点出现故障时，文件系统仍然可以正常工作。分布式文件系统一般由两个部分组成，一种是负责完成数据存储和维护功能的OSD，另一种则是若干个负责完成系统状态检测和维护的MON（Monitor）。OSD和MON之间相互传输节点状态信息，共同得出分布式文件系统的总体工作状态，并形成一个全局系统状态记录数据结构。OSD状态的描述分为两个维度：up或者down（表明OSD是否正常工作），in或者out（表明OSD是否在至少一个归置组中），因此，对于任意一个OSD，共有四种可能的状态：（1）up且in：说明该OSD正常运行，但并未承载任何归置组，其中也没有数据；（2）up且out：说明该OSD正常，但并未承载任何归置组，其中也没有数据；（3）down且in：说明该OSD发生异常，但仍然承载着至少一个归置组，其中仍然存储着数据。（4）down且out：说明该OSD已经彻底发生故障，且已经不再承载任何归置组。分布式文件系统在部署时程序较为繁琐，成为分布式文件系统使用过程中一个亟待解决的问题。专利技术内容为了解决上述技术问题，本专利技术的目的是提供一种部署程序较为简单的分布式文件系统存储节点上线方法。为了解决上述技术问题，本专利技术的目的是提供一种使部署程序较为简单的分布式文件系统。本专利技术所采用的技术方案是：一种分布式文件系统存储节点上线方法，包括步骤S1，新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，当监视器MON收到通知后，将新的OSD加入到存储单元集群；步骤S2，监视器将新加入的OSD状态设置为up且out，监视器更新文件系统运行图，将更新后的文件系统运行图发给新加入的OSD；步骤S3，新加入的OSD计算自身承载的所有归置组，所述归置组包括主归置组和副本归置组；步骤S4，新加入的OSD联系与自己承载同一归置组的其他OSD，进行数据复制和或故障修复；步骤S5，监视器将新加入的OSD的状态标记为up且in，文件系统运行图的内容相应更新。作为上述方案的进一步改进，所述步骤S4包括子步骤：步骤S41，新加入的OSD联系与自己承载同一归置组的其他OSD，判断承载某归置组A的OSD格式是否少于正常值即归置组是否降级，若否，则新加入的OSD将替换掉现有的一个包括有该归置组A的OSD，并承担被替换掉的OSD的数据，被替换的OSD退出该归置组A但状态仍然为up且in，归置组A内重新选出主OSD，若是，则进入步骤S42；步骤S42，当分布式文件系统中承载该归置组A的OSD个数少于正常值，其他OSD把该归置组A内的所有对象和元数据复制给新加入的OSD。一种分布式文件系统，用于实施上述的一种分布式文件系统存储节点上线方法，系统包括：存储单元集群：包括多个OSD，所述OSD承载至少一个归置组；监视器MON：对所述多个OSD进行检测与维护；成员通知模块：当有新的OSD加入时，向监视器MON发出通知。作为上述方案的进一步改进，所述OSD承载所述归置组，所述OSD具有计算自己承载归置组以及与其他OSD交互的功能。作为上述方案的进一步改进，所述OSD还具有重新平衡和故障修复的功能。根作为上述方案的进一步改进，所述归置组包括对象和元数据。本专利技术的有益效果是：本专利技术公开一种分布式文件系统存储节点上线方法，当新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，提高系统的可用性和效率，新加入的OSD会计算自己承载所有归置组，并同时与其他关联OSD对归置组进行相应操作，完成后监视器MON更改OSD的状态和文件系统运行图，部署程序更为简化。本专利技术公开一种分布式文件系统，当新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，提高系统的可用性和效率，新加入的OSD会计算自己承载所有归置组，并同时与其他关联OSD对归置组进行相应操作，完成后监视器MON更改OSD的状态和文件系统运行图，部署程序更为简化。附图说明下面结合附图对本专利技术的具体实施方式作进一步说明：图1是本专利技术一种分布式文件系统存储节点上线方法流程图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。一种分布式文件系统，包括：存储单元集群：包括多个OSD，所述OSD承载至少一个归置组；监视器MON：对所述多个OSD进行检测与维护；成员通知模块：当有新的OSD加入时，向监视器MON发出通知。OSD具有计算自己承载归置组以及与其他OSD交互的功能；OSD还具有重新平衡和故障修复的功能。归置组包括对象和元数据。一种分布式文件系统，还包括文件系统运行图，所述文件系统运行图包括：监视器图：包含分布式文件系统的名字、地址和端口，还包括当前时间结，监视器图创建时间、最近修改时间；OSD图：包括OSD图创建时间、最近修改时间，存储池列表，副本数量，归置组数量，OSD列表及其状态；归置组图：包括归置组版本、其时间戳，最新的OSD图时间结、占满率，各归置组详情包括归置组ID、状态等等，各存储池的数据使用情况统计。分布式存储数据的过程是：将需要存储的数据分成数据块，再将数据映射到各个归置组中去，再将归置组映射到数据的实际存储单元OSD中。归置组的用途是对分布式文件系统中的数据块的存储进行组织和位置映射，一个归置组负责组织若干个数据块，但一个数据块只能被映射到一个归置组中，即归置组与数据块是“一对多”映射关系，同时，一个归置组会被映射到多个OSD上，而每个OSD上都会承载大量的归置组，即归置组和OSD之间是“多对多”映射关系。本专利技术公开一种分布式文件系统，当新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，提高系统的可用性和效率，新加入的OSD会计算自己承载所有归置组，并同时与其他关联OSD对归置组进行相应操作，完成后监视器MON更改OSD的状态和文件系统运行图，部署程序更为简化。图1是本专利技术一种分布式文件系统存储节点上线方法流程图，一种分布式文件系统存储节点上线方法，包括步骤S1，新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，当监视器MON收到通知后，将新的OSD加入到存储单元集群OSDMAP；步骤S2，监视器将新加入的OSD状态设置为up且out，监视器更新文件系统运行图，将更新后的文件系统运行图发给新加入的OSD；步骤S3，新加入的OSD计算自身承载的所有归置组，所述归置组包括主归置组和副本归置组；步骤S4，新加入的OSD联系与自己承载同一归置组的其他OSD，进行数据复制和或故障修复，步骤S4包括子步骤：步骤S41，新加入的OSD联系与自己承载同一归置组的其他OSD，判断承载某归置组A的OSD格式是否少于正常值即归置本文档来自技高网...

【技术保护点】
一种分布式文件系统存储节点上线方法，其特征在于，其包括步骤S1，新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，当监视器MON收到通知后，将新的OSD加入到存储单元集群；步骤S2，监视器将新加入的OSD状态设置为up且out，监视器更新文件系统运行图，将更新后的文件系统运行图发给新加入的OSD；步骤S3，新加入的OSD计算自身承载的所有归置组，所述归置组包括主归置组和副本归置组；步骤S4，新加入的OSD联系与自己承载同一归置组的其他OSD，进行数据复制和或故障修复；步骤S5，监视器将新加入的OSD的状态标记为up且in，文件系统运行图的内容相应更新。

【技术特征摘要】
1.一种分布式文件系统存储节点上线方法，其特征在于，其包括步骤S1，新的OSD加入分布式文件系统时，成员通知模块向监视器MON发出通知，当监视器MON收到通知后，将新的OSD加入到存储单元集群；步骤S2，监视器将新加入的OSD状态设置为up且out，监视器更新文件系统运行图，将更新后的文件系统运行图发给新加入的OSD；步骤S3，新加入的OSD计算自身承载的所有归置组，所述归置组包括主归置组和副本归置组；步骤S4，新加入的OSD联系与自己承载同一归置组的其他OSD，进行数据复制和或故障修复；步骤S5，监视器将新加入的OSD的状态标记为up且in，文件系统运行图的内容相应更新。2.根据权利要求1所述的一种分布式文件系统存储节点上线方法，其特征在于，所述步骤S4包括子步骤：步骤S41，新加入的OSD联系与自己承载同一归置组的其他OSD，判断承载某归置组A的OSD格式是否少于正常值即归置组是否降级，若否，则新加入的OSD将替换掉现有的一个包括有该归置组A的OSD，并承担被替换掉的...

【专利技术属性】
技术研发人员：张勤，李进，
申请(专利权)人：深圳市中博睿存信息技术有限公司，
类型：发明
国别省市：广东,44