一种hadoop平台自动安装部署的方法及装置制造方法及图纸

本发明专利技术提供一种hadoop平台自动安装部署的方法及装置，方法包括不同发行版和版本号的安装包按照目录层次存放在yum安装服务器中；不同发行版和版本号的hadoop版本配置文件按照目录层级组成配置列表信息后存放在大数据管理平台上，版本号目录层下存放有包括repo安装源文件和hadoop服务目录列表；运行大数据管理平台，加载配置列表信息；创建集群，选择hadoop发行版本及版本号；主机加入集群，分发repo安装源文件至各主机上；选择hadoop服务；对hadoop服务的必要参数进行配置；大数据管理平台生成并将安装启动任务信息发送至各主机；各主机获取相对应的hadoop服务的软件安装包后根据安装启动任务信息自动安装启动各服务。解决差异化问题，普遍适用于安装各种开源版本。

【技术实现步骤摘要】
一种hadoop平台自动安装部署的方法及装置
本专利技术涉及大数据领域，具体说的是一种hadoop平台自动安装部署的方法及装置。
技术介绍
随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，Hadoop做为解决大数据领域的重要技术手段，目前被广泛应用着。Hadoop产品最初由Apache基金会进行开源(下文统一称为Apache开源版)，该版本主要用于验证和学习目的，较少用于商用，目前主要安装部署方式是手工安装或者编写批量脚本安装。在Apache开源版基础上发展出一系列发行版，目前以cloudera、hortonworks这两个商业版本最为主流。Cloudera公司发行的hadoop开源版为CDH(全称Cloudera’sDistributionIncludingApacheHadoop，下文统一称为CDH开源版)，可以通过cloudera公司自行开发的ClouderaManager实现自动化安装部署；hortonworks公司发行的hadoop开源版本为HDP(全称HortonworksDataPlatform，下文统一称为HDP开源版)，可以通过该公司研发工具ambari实现自动化安装部署。目前这两个商业发行版本的安装工具和安装包彼此互不兼容。针对Hadoop开源版，现有的部署方式大都采取手工安装软件包，手工编写各个服务配置文件并分发到集群每台主机，然后采用shell脚本进行启停。这种方式工作量繁重，当配置文件有变更时需要每台主机都修改分发，容易出错，一旦出现问题很难定位。而针对CDH开源版和HDP开源版，目前cloudera和hortonworks两个商业发行版都提供了各自的hadoop发行版本以及自动化安装管理工具，但两个自动化安装管理平台彼此互不兼容。ClouderaManager仅可以针对CDH的软件包实现自动化安装部署；而ambari仅可以实现针对HDP软件包的自动化安装部署。为了解决Apache开源版缺少自动化安装工具的现状、以及ClouderaManager和Ambari开源版存在安装版本互不兼容的问题，本专利技术提供一种hadoop平台自动安装部署的方法及装置。
技术实现思路
本专利技术所要解决的技术问题是：提供一种hadoop平台自动安装部署的方法及装置，解决现有的Hadoop开源版无法实现自动化安装，而CDH开源版和HDP开源版虽能实现自动化安装，但是其安装管理平台彼此互不兼容问题。为了解决上述技术问题，本专利技术采用的技术方案为：一种hadoop平台自动安装部署的方法，包括：S100：发布hadoop版本软件安装包，定制版本配置文件；不同发行版和版本号的所述安装包按照目录层次结构存放在yum安装服务器中，版本号目录层下存放具体的hadoop服务的软件安装包；不同发行版和版本号的hadoop版本配置文件按照目录层级结构组成配置列表信息后存放在大数据管理平台上，版本号目录层下存放有包括用于指向yum安装服务器对应hadoop服务的软件安装包源位置的repo安装源文件和hadoop服务目录列表，每个hadoop服务目录下包括服务运行所需的默认配置文件；S200：运行大数据管理平台，加载所述配置列表信息；S300：在大数据管理平台创建集群，在所述配置列表信息中选择所需的hadoop发行版本及版本号；S400：将主机加入集群，自动分发步骤S300中选定的hadoop版本号对应的repo安装源文件至集群的各主机上；S500：在选定的hadoop版本号对应的hadoop服务目录列表中选择各主机所需的hadoop服务，并将hadoop服务对应的Master和Slaver节点分配到各主机上；S600：在所述服务的默认配置文件的基础上对所选的hadoop服务的必要参数进行配置；S700：大数据管理平台根据重新配置后的服务配置文件生成包括安装启动任务信息的相关配置信息，将所述安装启动任务信息发送至各主机；各主机根据所述repo安装源文件获取相对应的所述hadoop服务的软件安装包，并根据所述安装启动任务信息自动安装并启动各服务。本专利技术提供的另一个技术方案为：一种hadoop平台自动安装部署的装置，包括软件包发布模块、版本定制模块和运行在大数据管理平台中的配置加载模块、集群管理模块、第一选择模块、分发模块、第二选择模块、配置模块、生成模块和至少一个的主机，所述主机包括安装模块；所述软件包发布模块，用于发布hadoop版本软件安装包；将不同发行版和版本号的所述安装包按照目录层次结构存放在yum安装服务器中，版本号目录层下存放具体的hadoop服务的软件安装包；所述版本定制模块，用于定制版本配置文件；将不同发行版和版本号的hadoop版本配置文件按照目录层级结构组成配置列表信息后存放在大数据管理平台上，版本号目录层下存放有包括用于指向yum安装服务器对应hadoop服务的软件安装包源位置的repo安装源文件和hadoop服务目录列表，每个hadoop服务目录下包括服务运行所需的默认配置文件；所述配置加载模块，用于运行大数据管理平台，加载所述配置-信息；所述集群管理模块，用于在大数据管理平台创建集群，将主机加入集群；所述第一选择模块，用于在所述配置列表信息中选择所需的hadoop发行版本及版本号；所述分发模块，用于自动分发所述第一选择模块中选定的hadoop版本号对应的repo安装源文件至集群的各主机上；所述第二选择模块，用于在所述第一选择模块中选定的hadoop版本号对应的hadoop服务目录列表中选择各主机所需的hadoop服务，并将hadoop服务对应的Master和Slaver节点分配到各主机上；所述配置模块，用于在所述服务的默认配置文件的基础上对所选的hadoop服务的必要参数进行配置；所述生成模块，用于大数据管理平台根据重新配置后的服务配置文件生成包括安装、启动任务信息的相关配置信息，将所述安装、启动任务信息发送至各主机；所述安装模块，用于各主机根据所述repo安装源文件获取相对应的所述hadoop服务的软件安装包，并根据所述安装启动任务信息在集群中各主机上自动安装并启动各服务。本专利技术的有益效果在于：区别于现有技术的各种Hadoop开源版本由于版本间的差异问题而无法实现自动化安装部署或安装版本彼此兼容的问题。本专利技术一种hadoop平台自动安装部署的方法及装置，通过组件适配技术解决安装过程中存在的各种差异化问题，提供一个可普遍适用于安装各种开源版本的方法及装置。具体的，通过将hadoop版本软件安装包及版本配置文件均采用目录层次结构进行存放，以目录形式归档安装包和配置文件，解决软件安装包和配置文件的差异化问题；通过在选定所需的hadoop发行版本、版本号及hadoop服务，并根据需要配置必要的服务配置参数后，大数据平台能够自动生成服务配置文件，自动获取版本号对应的hadoop服务软件安装包后进行自动安装部署，有针对性的依据所选择的hadoop版本号及服务自动完成软件的安装及服务组件的配置，解决各个开源版之间的安装包与组件配置由于差异化而无法兼容问题。无论安装的是Apache开源版、CDH开源版或是HDP开源版，都能够在大数据平台中实现自动安装部署和彼此兼容，且明显缩短安装部署时间，大大提高安装效率。本文档来自技高网...

【技术保护点】
一种hadoop平台自动安装部署的方法，其特征在于，包括： S100：发布hadoop版本软件安装包，定制版本配置文件； 不同发行版和版本号的所述安装包按照目录层次结构存放在yum安装服务器中，版本号目录层下存放具体的hadoop服务的软件安装包； 不同发行版和版本号的hadoop版本配置文件按照目录层级结构组成配置列表信息后存放在大数据管理平台上，版本号目录层下存放有包括用于指向yum安装服务器对应hadoop服务的软件安装包源位置的repo安装源文件和hadoop服务目录列表，每个hadoop服务目录下包括服务运行所需的默认配置文件； S200：运行大数据管理平台，加载所述配置列表信息； S300：在大数据管理平台创建集群，在所述配置列表信息中选择所需的hadoop发行版本及版本号； S400：将主机加入集群，自动分发步骤S300中选定的hadoop版本号对应的repo安装源文件至集群的各主机上； S500：在选定的hadoop版本号对应的hadoop服务目录列表中选择各主机所需的hadoop服务，并将hadoop服务对应的Master和Slaver节点分配到各主机上； S600：在所述服务的默认配置文件的基础上对所选的hadoop服务的必要参数进行配置； S700：大数据管理平台根据重新配置后的服务配置文件生成包括安装启动任务信息的相关配置信息，将所述安装启动任务信息发送至各主机； 各主机根据所述repo安装源文件获取相对应的所述hadoop服务的软件安装包，并根据所述安装启动任务信息自动安装并启动各服务。...

【技术特征摘要】
1.一种hadoop平台自动安装部署的方法，其特征在于，包括：S100：发布hadoop版本软件安装包，定制版本配置文件；不同发行版和版本号的所述安装包按照目录层次结构存放在yum安装服务器中，版本号目录层下存放具体的hadoop服务的软件安装包；不同发行版和版本号的hadoop版本配置文件按照目录层级结构组成配置列表信息后存放在大数据管理平台上，版本号目录层下存放有包括用于指向yum安装服务器对应hadoop服务的软件安装包源位置的repo安装源文件和hadoop服务目录列表，每个hadoop服务目录下包括服务运行所需的默认配置文件；S200：运行大数据管理平台，加载所述配置列表信息；S300：在大数据管理平台创建集群，在所述配置列表信息中选择所需的hadoop发行版本及版本号；S400：将主机加入集群，自动分发步骤S300中选定的hadoop版本号对应的repo安装源文件至集群的各主机上；S500：在选定的hadoop版本号对应的hadoop服务目录列表中选择各主机所需的hadoop服务，并将hadoop服务对应的Master和Slaver节点分配到各主机上；S600：在所述服务的默认配置文件的基础上对所选的hadoop服务的必要参数进行配置；S700：大数据管理平台根据重新配置后的服务配置文件生成包括安装启动任务信息的相关配置信息，将所述安装启动任务信息发送至各主机；各主机根据所述repo安装源文件获取相对应的所述hadoop服务的软件安装包，并根据所述安装启动任务信息自动安装并启动各服务。2.根据权利要求1所述的一种hadoop平台自动安装部署的方法，其特征在于，在步骤S100中，所述安装包和所述hadoop版本配置文件的目录层级结构中，一级目录层均为发行版本，二级目录层均为版本号，三级均为hadoop服务；所述hadoop版本配置文件的三级目录层下还存放有包括服务核心配置文件模板的所述服务的默认配置文件和服务元数据信息描述文件，所述服务元数据信息描述文件定义每个hadoop服务下包含的组件，以及组件的Master和Slaver从属关系。3.根据权利要求1所述的一种hadoop平台自动安装部署的方法，其特征在于，包括在所述主机上安装并运行客户端软件的步骤；所述客户端软件在主机上启动后，自动收集当前主机包括操作系统和硬件信息的主机信息并上报给大数据管理平台，并将所述主机信息在大数据管理平台中注册，注册后的主机信息存储在大数据管理平台的数据库中。4.根据权利要求1所述的一种hadoop平台自动安装部署的方法，其特征在于，步骤S400中还包括在主机加入集群前需通过私钥身份认证的步骤。5.根据权利要求3所述的一种hadoop平台自动安装部署的方法，其特征在于，步骤S600还包括根据各主机不同的配置要求创建不同的配置组，并将不同配置要求的主机划分入对应配置要求的配置组中；步骤S700具体包括：S701：大数据管理平台根据重新配置后的服务配置文件生成相关配置信息，所述配置信息包括：服务信息、配置组以及服务配置信息、主机与服务组件信息、安装启动任务信息，并将生成的信息保存至数据库中；S702：大数据管理平台根据各主机所需安装的服务的不同，将对应的安装启动任务信息以心跳方式发送至各主机的客户端软件；S703：各主机的客户端软件接收所述安装启动任务信息后根据所述安装启动任务信息中的指令执行对应所述hadoop服务的软件安装包的安装和启动，所述hadoop服务的软件安装包的安装和启动包括服务组件的安装、配置文件的生成和服务的启动、停止，同时生成执行日记，并将执行日志以异步心跳应答方式发送给大数据管理平台。6.根据权利要求3所述的一种hadoop平台自动安装部署的方法，其特征在于，主机通过运行大数据管理平台分发过来的客户端软件包进行客户端软件的安装，所述hadoop服务的软件安装包通过客户端软件进行安装和启动；所述客户端软件包包括客户端配置信息和客户端安装程序，所述客户端配置信息存储有定义为hash哈希结构的指定的发行版、版本号和hadoop服务的软件安装包名称；所述安装启动任务信息中包括以所述客户端配置信息的hash哈希结构中的发行版和版本号对应生成的hashkey哈希密钥；所述客户端软件在接收所述安装启动任务信息后，所述客户端安装程序根据hashkey哈希密钥寻找hadoop服务的软件安装包名称，并进行安装。7.一种hadoop平台自动安装部署的装置，其特征在于，包括软件包发布模块、版本定制模块和运行在大数据管理平台中的配置加载模块、集群管理模块、第一选择模块、分发模块、第二选择模块、配置模块、生成模块和至少一个的主机，所述主机包括安装模块；所...

【专利技术属性】
技术研发人员：白默，王雷，林克，何凌毅，朱坚，陆向东，
申请(专利权)人：福建新大陆软件工程有限公司，
类型：发明
国别省市：福建;35