本发明专利技术提供了一种基于Hadoop的硬盘损坏处理方法及装置，其中，该方法包括：检测到基于Hadoop的损坏硬盘替换为替换硬盘的替换操作成功信息；判断替换硬盘是否支持数据读写操作；在判断结果为是的情况下，对替换硬盘进行数据读写处理，通过本发明专利技术，解决了相关技术中对硬盘损坏的处理只采用重启系统的方式，导致中断业务，以及增加成本的问题，进而达到了在不重启系统中断业务的情况下，对损坏硬盘的替换处理的效果。
【技术实现步骤摘要】
本专利技术涉及通信领域，具体而言，涉及一种基于Hadoop的硬盘损坏处理方法及装置。
技术介绍
Hadoop，是一种开源的大数据存储和分析平台，已成为业界处理大数据的事实标准。Hadoop平台包含HDFS(分布式文件系统)和MapReduce(并行计算框架)两个重要的子系统。图1是相关技术中Hadoop存储数据的平台架构示意图，如图1所示，Hadoop是一个高度容错的多副本的集群存储分布式系统，适用于部署在廉价的机器上，并且Hadoop支持机器上多块硬盘的并行数据写入和读取。随着大数据的发展，数据量急剧增加，企业为了减少成本采用Hadoop平台部署在廉价的PCServer上，每台服务器上至少会配置24块以上的硬盘，目前最大的集群机器数量已经超过5000台，每台设备上有24块硬盘，整个集群硬盘数量达到了10多万块硬盘，基本每天都会有硬盘损坏。在相关技术中，硬盘损坏，Hadoop所采用的处理如下：当设备中有硬盘损失，系统无法写入数据，由异常事件触发，Hadoop将损失硬盘移入到损坏硬盘列表中，系统在后续运行中将不再往损坏硬盘mount的目录写数据。系统在运行期间，将不再访问损坏硬盘列表，即不对损坏硬盘对应的目录进行校验。当运维人员将新硬盘替换掉坏掉硬盘后，将新硬盘mount到目录，系统在运行期间不认为当前硬盘可以使用。只有在重启hadoop进程后，系统才重新对所有数据目录进行检查，新硬盘参与系统的运行。然而上述硬盘损坏处理存在以下缺陷：(1)业务需要中断：由于必须要重启进程才可以使得新硬盘使用，在重启进程期间，业务需要中断，因而带来的业务上的损失。(2)运维成本高：硬盘损坏后，不但需要硬件工程师，还需要软件工程师对Hadoop集群进行重启和观察，大大增加了人力成本。因此，在相关技术中对硬盘损坏的处理只采用重启系统的方式，导致中断业务，以及增加成本的问题。
技术实现思路
本专利技术提供了一种基于Hadoop的硬盘损坏处理方法及装置，以至少解决相关技术中对硬盘损坏的处理只采用重启系统的方式，导致中断业务，以及增加成本的问题。根据本专利技术的一个方面，提供了一种基于Hadoop的硬盘损坏处理方法，包括：检测到基于Hadoop的损坏硬盘替换为替换硬盘的替换操作成功信息；判断所述替换硬盘是否支持数据读写操作；在判断结果为是的情况下，对所述替换硬盘进行数据读写处理。优选地，在检测到基于Hadoop的所述损坏硬盘替换为所述替换硬盘的所述替换操作成功信息之前，还包括：检测到所述损坏硬盘的数据读写操作异常的硬盘异常信息；依据所述硬盘异常信息，中断对所述损坏硬盘的数据读写操作。优选地，在判断所述替换硬盘是否支持数据读写操作之前，还包括：建立支持数据读写操作的可用目录，以及不支持数据读写操作的不可用目录，依据建立的所述可用目录以及所述不可用目录，判断所述替换硬盘是否支持数据读写操作。优选地，在判断所述替换硬盘是否支持数据读写操作之前，还包括：依据检测到的硬盘状态信息对所述可用目录以及所述不可用目录进行动态更新，其中，所述硬盘状态信息包括所述替换操作成功信息或者硬盘异常信息。优选地，通过以下方式至少之一，检测到基于Hadoop的所述损坏硬盘替换为所述替换硬盘的所述替换操作成功信息：接收到所述替换硬盘替换所述损坏硬盘的硬盘mount挂起事件；扫描到所述损坏硬盘目录由异常转为正常的通知消息。根据本专利技术的另一方面，提供了一种基于Hadoop的硬盘损坏处理装置，包括：第一检测模块，用于检测到基于Hadoop的损坏硬盘替换为替换硬盘的替换操作成功信息；判断模块，用于判断所述替换硬盘是否支持数据读写操作；处理模块，用于在判断结果为是的情况下，对所述替换硬盘进行数据读写处理。优选地，该装置还包括：第二检测模块，用于检测到所述损坏硬盘的数据读写操作异常的硬盘异常信息；中断模块，用于依据所述硬盘异常信息，中断对所述损坏硬盘的数据读写操作。优选地，该装置还包括：建立模块，用于建立支持数据读写操作的可用目录，以及不支持数据读写操作的不可用目录，依据建立的所述可用目录以及所述不可用目录，判断所述替换硬盘是否支持数据读写操作。优选地，该装置还包括：更新模块，用于依据检测到的硬盘状态信息对所述可用目录以及所述不可用目录进行动态更新，其中，所述硬盘状态信息包括所述替换操作成功信息或者硬盘异常信息。优选地，该装置所述第一检测模块包括以下至少之一：接收单元，用于接收到所述替换硬盘替换所述损坏硬盘的硬盘mount挂起事件；扫描单元，用于扫描到所述损坏硬盘目录由异常转为正常的通知消息。通过本专利技术，采用检测到基于Hadoop的损坏硬盘替换为替换硬盘的替换操作成功信息；判断所述替换硬盘是否支持数据读写操作；在判断结果为是的情况下，对所述替换硬盘进行数据读写处理，解决了相关技术中对硬盘损坏的处理只采用重启系统的方式，导致中断业务，以及增加成本的问题，进而达到了在不重启系统中断业务的情况下，对损坏硬盘的替换处理的效果。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是相关技术中Hadoop存储数据的平台架构示意图；图2是根据本专利技术实施例的基于Hadoop的硬盘损坏处理方法的流程图；图3是根据本专利技术实施例的基于Hadoop的硬盘损坏处理装置的结构框图；图4是根据本专利技术实施例的基于Hadoop的硬盘损坏处理装置的优选结构框图一；图5是根据本专利技术实施例的基于Hadoop的硬盘损坏处理装置的优选结构框图二；图6是根据本专利技术实施例的基于Hadoop的硬盘损坏处理装置的优选结构框图三；图7是根据本专利技术实施例的基于Hadoop的硬盘损坏处理装置中第一检测模块32的优选结构框图；图8是根据本专利技术优选实施方式的硬盘异常处理方法的流程图；图9是根据本专利技术优选实施方式的硬盘替换成功处理方法的流程图。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。在本实施例中提供了一种基于Hadoop的硬盘损坏处理方法，图2是根据本专利技术实施例的基于Hadoop的硬盘损坏处理方法的流程图，如图2所示，该流程包括如下步骤：步骤S202，检测到基于Hadoop的损坏硬盘替换为替换硬盘的替换操作成功信息；步骤S204，判断替换硬盘是否支持数据读写操作；步骤S206，在判断结本文档来自技高网...
【技术保护点】
一种基于Hadoop的硬盘损坏处理方法，其特征在于，包括：检测到基于Hadoop的损坏硬盘替换为替换硬盘的替换操作成功信息；判断所述替换硬盘是否支持数据读写操作；在判断结果为是的情况下，对所述替换硬盘进行数据读写处理。
【技术特征摘要】
1.一种基于Hadoop的硬盘损坏处理方法，其特征在于，包括：
检测到基于Hadoop的损坏硬盘替换为替换硬盘的替换操作成功信息；
判断所述替换硬盘是否支持数据读写操作；
在判断结果为是的情况下，对所述替换硬盘进行数据读写处理。
2.根据权利要求1所述的方法，其特征在于，在检测到基于Hadoop的所述损坏硬盘替换为
所述替换硬盘的所述替换操作成功信息之前，还包括：
检测到所述损坏硬盘的数据读写操作异常的硬盘异常信息；
依据所述硬盘异常信息，中断对所述损坏硬盘的数据读写操作。
3.根据权利要求1或2所述的方法，其特征在于，在判断所述替换硬盘是否支持数据读写
操作之前，还包括：
建立支持数据读写操作的可用目录，以及不支持数据读写操作的不可用目录，依据
建立的所述可用目录以及所述不可用目录，判断所述替换硬盘是否支持数据读写操作。
4.根据权利要求3所述的方法，其特征在于，在判断所述替换硬盘是否支持数据读写操作
之前，还包括：
依据检测到的硬盘状态信息对所述可用目录以及所述不可用目录进行动态更新，其
中，所述硬盘状态信息包括所述替换操作成功信息或者硬盘异常信息。
5.根据权利要求1、2或4所述的方法，其特征在于，通过以下方式至少之一，检测到基于
Hadoop的所述损坏硬盘替换为所述替换硬盘的所述替换操作成功信息：
接收到所述替换硬盘替换所述损坏硬盘的硬盘mount挂起事件；
【专利技术属性】
技术研发人员：杨庆平，屠要峰，黄震江，李莹，张家明，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。