一种大数据服务部署方法、装置、设备及介质制造方法及图纸

本申请公开了一种大数据服务部署方法、装置、设备及介质，该方法包括：获取部署信息，其中，部署信息中包括服务信息；配置集群的集群环境，其中，集群环境包括日志备份与定期清除、数据库备份与定期清除、集群中各个节点之间时间同步、各个节点之间的免密互信、各个节点的内核参数及集群的防火墙白名单中的任一项或任意几项的组合；通过Ambari根据服务信息和集群的节点信息对待部署大数据服务进行编排，生成Ambari blueprint；对Ambari blueprint进行注册并在第一节点和集群中的第二节点上部署待部署大数据服务。这样能够进行大数据服务的自动化部署，部署简单高效，且不易出错，且为集群运维提供便利。

【技术实现步骤摘要】
一种大数据服务部署方法、装置、设备及介质
本申请涉及大数据
，特别涉及一种大数据服务部署方法、装置、设备及介质。
技术介绍
大数据服务是通过底层可伸缩的大数据平台和上层各种大数据应用，支撑机构或个人对海量、异构、快速变化数据采集、传输、存储、处理(包括计算、分析、可视化等)、交换、销毁等覆盖数据生命周期相关活动的各种数据服务。与一般的数据服务一样，在使用大数据服务器之前，也需要先对大数据服务进行部署。目前，大数据服务部署主要为手动部署，但手动部署依赖部署实施人员的部署能力，要求部署实施人员具备相关的技术基础，且整个部署过程繁琐，费时费力且容易出错。因此，如何对大数据服务进行自动化部署是本领域技术人员要解决的重要问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种大数据服务部署方法、装置、设备及介质，能够进行大数据服务的自动化部署，部署简单高效，且不易出错，且能够在部署大数据服务的过程中进行集群环境自动化配置，提高集群的稳定性和可靠性，减少单独配置集群环境所需要的时间和工作量，为集群运维提供便利。其具体方案如下：第一方面，本申请公开了一种大数据服务部署方法，应用于预先基于Ambari开发的大数据服务部署工具，所述大数据服务部署工具安装在用于部署大数据服务的集群中的第一节点上，包括：获取部署信息，其中，所述部署信息中包括服务信息，所述服务信息包括待部署大数据服务的服务列表和服务运行配置信息；配置所述集群的集群环境，其中，所述集群环境包括日志备份与定期清除、数据库备份与定期清除、所述集群中各个节点之间时间同步、各个所述节点之间的免密互信、各个所述节点的内核参数及所述集群的防火墙白名单中的任一项或任意几项的组合；通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint；对所述Ambariblueprint进行注册并在所述第一节点和所述集群中的第二节点上部署所述待部署大数据服务，以便在所述集群环境下运行所述待部署大数据服务。可选地，所述配置所述集群的集群环境之前，还包括：利用所述部署信息中的节点初始化信息对所述集群中的节点进行初始化配置，其中，所述节点初始化信息包括所述集群中各个节点的IP地址、域名、用户名及SSH登录密码；对所述第一节点和所述第二节点上的历史服务数据进行清除；在所述第一节点和所述第二节点上安装JAVA运行环境和Python2运行环境。可选地，所述对所述Ambariblueprint进行注册并在所述第一节点和所述集群中的第二节点上部署所述大数据服务之后，还包括：如果所述待部署大数据服务部署失败，则判断是否获取到重试指令；如果获取到重试指令，则重新执行所述对所述第一节点和所述第二节点上的历史服务数据进行清除开始的步骤。可选地，所述通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint，包括：在所述第一节点上安装所述Ambari的AmbariServer；在所述第一节点和所述第二节点上安装所述AmbariServer对应的代理；通过所述AmbariServer根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint。可选地，所述通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint，包括：通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，得到编排结果，其中，所述编排结果表示所述待部署大数据服务的组件和所述集群中的各个节点之间的映射关系；将所述编排结果组织成预设的Ambariblueprint格式，得到所述Ambariblueprint。可选地，所述通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，得到编排结果的过程中，还包括：获取通过所述大数据服务部署工具的用户界面输入的编排信息；将所述编排信息添加到所述编排结果中。可选的，所述第一节点为物理机或虚拟机，且所述第二节点为物理机或虚拟机。第二方面，本申请公开了一种大数据服务部署装置，应用于预先基于Ambari开发的大数据服务部署工具，所述大数据服务部署工具安装在用于部署大数据服务的集群中的第一节点上，包括：信息获取模块，用于获取部署信息，其中，所述部署信息中包括服务信息，所述服务信息包括待部署大数据服务的服务列表和服务运行配置信息；集群环境配置模块，用于配置所述集群的集群环境，其中，所述集群环境包括日志备份与定期清除、数据库备份与定期清除、所述集群中各个节点之间时间同步、各个所述节点之间的免密互信、各个所述节点的内核参数及所述集群的防火墙白名单中的任一项或任意几项的组合；服务编排模块，用于通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint；服务部署模块，用于对所述Ambariblueprint进行注册并在所述第一节点和所述集群中的第二节点上部署所述待部署大数据服务，以便在所述集群环境下运行所述待部署大数据服务。第三方面，本申请公开了一种电子设备，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序，以实现前述公开的大数据服务部署方法。第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的大数据服务部署方法。可见，本申请应用于预先基于Ambari开发的大数据服务部署工具，所述大数据服务部署工具安装在用于部署大数据服务的集群中的第一节点上，首先获取部署信息，其中，所述部署信息中包括服务信息，所述服务信息包括待部署大数据服务的服务列表和服务运行配置信息。然后配置所述集群的集群环境，其中，所述集群环境包括日志备份与定期清除、数据库备份与定期清除、所述集群中各个节点之间时间同步、各个所述节点之间的免密互信、各个所述节点的内核参数及所述集群的防火墙白名单中的任一项或任意几项的组合。接着通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint。然后对所述Ambariblueprint进行注册并在所述第一节点和所述集群中的第二节点上部署所述待部署大数据服务，以便在所述集群环境下运行所述待部署大数据服务。这样直接利用预先基于Ambari开发的大数据服务部署工具即可实现大数据服务的自动化部署，且预先基于Ambari开发的大数据服务部署工具可以自动进行大数据服务的编排，生成Ambariblueprint，然后再对所述Ambariblueprint进行注册并在各个节本文档来自技高网...

【技术保护点】
1.一种大数据服务部署方法，其特征在于，应用于预先基于Ambari开发的大数据服务部署工具，所述大数据服务部署工具安装在用于部署大数据服务的集群中的第一节点上，包括：/n获取部署信息，其中，所述部署信息中包括服务信息，所述服务信息包括待部署大数据服务的服务列表和服务运行配置信息；/n配置所述集群的集群环境，其中，所述集群环境包括日志备份与定期清除、数据库备份与定期清除、所述集群中各个节点之间时间同步、各个所述节点之间的免密互信、各个所述节点的内核参数及所述集群的防火墙白名单中的任一项或任意几项的组合；/n通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambari blueprint；/n对所述Ambari blueprint进行注册并在所述第一节点和所述集群中的第二节点上部署所述待部署大数据服务，以便在所述集群环境下运行所述待部署大数据服务。/n

【技术特征摘要】
1.一种大数据服务部署方法，其特征在于，应用于预先基于Ambari开发的大数据服务部署工具，所述大数据服务部署工具安装在用于部署大数据服务的集群中的第一节点上，包括：
获取部署信息，其中，所述部署信息中包括服务信息，所述服务信息包括待部署大数据服务的服务列表和服务运行配置信息；
配置所述集群的集群环境，其中，所述集群环境包括日志备份与定期清除、数据库备份与定期清除、所述集群中各个节点之间时间同步、各个所述节点之间的免密互信、各个所述节点的内核参数及所述集群的防火墙白名单中的任一项或任意几项的组合；
通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint；
对所述Ambariblueprint进行注册并在所述第一节点和所述集群中的第二节点上部署所述待部署大数据服务，以便在所述集群环境下运行所述待部署大数据服务。


2.根据权利要求1所述的大数据服务部署方法，其特征在于，所述配置所述集群的集群环境之前，还包括：
利用所述部署信息中的节点初始化信息对所述集群中的节点进行初始化配置，其中，所述节点初始化信息包括所述集群中各个节点的IP地址、域名、用户名及SSH登录密码；
对所述第一节点和所述第二节点上的历史服务数据进行清除；
在所述第一节点和所述第二节点上安装JAVA运行环境和Python2运行环境。


3.根据权利要求2所述的大数据服务部署方法，其特征在于，所述对所述Ambariblueprint进行注册并在所述第一节点和所述集群中的第二节点上部署所述大数据服务之后，还包括：
如果所述待部署大数据服务部署失败，则判断是否获取到重试指令；
如果获取到重试指令，则重新执行所述对所述第一节点和所述第二节点上的历史服务数据进行清除开始的步骤。


4.根据权利要求1所述的大数据服务部署方法，其特征在于，所述通过所述Ambari根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint，包括：
在所述第一节点上安装所述Ambari的AmbariServer；
在所述第一节点和所述第二节点上安装所述AmbariServer对应的代理；
通过所述AmbariServer根据所述服务信息和所述集群的节点信息对所述待部署大数据服务进行编排，生成Ambariblueprint。


5.根据权利要求1所述的大数据服务部署方法，其特征在于，所...

【专利技术属性】
技术研发人员：何伟，易乐天，陆平，高律，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44