【技术实现步骤摘要】
本专利技术涉及大数据，尤其涉及大数据分析平台的离线部署方法及装置。
技术介绍
1、本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、大数据分析平台的持续部署交付是根据客户需求进行的。这个过程涵盖了从需求收集到环境交付通知的多个阶段，包括需求收集、规划部署、资源申请、部署包输出、部署任务执行、测试验证以及环境交付通知。
3、目前，大数据分析平台的持续部署交付方案主要包括以下几种：shell一键式安装包部署、基于docker/kubernetes的容器化导入的部署方案以及手工现场安装等方案。然而，这些部署方案在实施过程中存在一些问题。
4、首先，这些方案需要进行手工操作，这无疑浪费了人力物力。在搭建大数据分析平台的集群过程中，每个节点都需要手动配置，整个过程繁琐且效率不高，导致部署工期长。
5、其次，这些方案的技术门槛较高，操作困难。由于大数据分析平台的组件众多，依赖关系复杂，而且不同项目的系统环境不统一，使得错误不可控。
6、此外，这些方案需要针对项目的实际场景进行繁杂的动态调整，容易出错。例如，在实际场景中，大数据分析平台的硬件资源再分配、集群角色节点调整、配置优化、应用或数据迁移都是常见的费时且容易出错的实施需求。
7、最后，现有的安装包可移植性较差。在某些项目中，系统的安全要求非常高，并且存在审查机制且不允许连接外网。目前安装包多使用在线传输方案，这增加了文件移植的难度，给大数据分析平台
技术实现思路
1、本专利技术实施例提供一种大数据分析平台的离线部署方法，用以提升大数据分析平台的部署准确性和部署效率，提升大数据分析平台部署的普适性，该方法包括：
2、以持续集成技术，从代码库中拉取对目标大数据分析平台进行版本更新的源代码；所述源代码包括对应目标大数据分析平台下不同软件的版本配置信息和版本配置顺序；
3、对所述源代码进行添加版本标签处理和打包处理，得到离线部署文件；
4、以持续部署技术，将对应不同版本的离线部署文件，部署至目标大数据分析平台所应用的不同项目；
5、所述项目按如下方式根据所述离线部署文件进行配置更新：
6、基于该项目的硬件配置文件，确定该项目的集群规模和集群节点参数；
7、根据所述版本配置顺序、该项目的集群规模和集群节点参数，确定该项目的集群下每一节点的节点部署任务、以及该项目的集群下不同节点之间执行所述节点部署任务的拓扑结构；所述节点部署任务为以该节点所应用软件的版本配置信息对该节点的软件进行配置更新的任务；
8、以所述拓扑结构，执行该项目的集群下不同节点的节点部署任务。
9、本专利技术实施例还提供一种大数据分析平台的离线部署装置，用以提升大数据分析平台的部署准确性和部署效率，提升大数据分析平台部署的普适性，该装置包括：
10、持续集成模块，用于以持续集成技术，从代码库中拉取对目标大数据分析平台进行版本更新的源代码；所述源代码包括对应目标大数据分析平台下不同软件的版本配置信息和版本配置顺序；
11、离线部署文件打包模块，用于对所述源代码进行添加版本标签处理和打包处理，得到离线部署文件；
12、持续部署模块，用于以持续部署技术，将对应不同版本的离线部署文件，部署至目标大数据分析平台所应用的不同项目；
13、所述项目按如下方式根据所述离线部署文件进行配置更新：
14、基于该项目的硬件配置文件，确定该项目的集群规模和集群节点参数；
15、根据所述版本配置顺序、该项目的集群规模和集群节点参数，确定该项目的集群下每一节点的节点部署任务、以及该项目的集群下不同节点之间执行所述节点部署任务的拓扑结构；所述节点部署任务为以该节点所应用软件的版本配置信息对该节点的软件进行配置更新的任务；
16、以所述拓扑结构，执行该项目的集群下不同节点的节点部署任务。
17、本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述大数据分析平台的离线部署方法。
18、本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述大数据分析平台的离线部署方法。
19、本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述大数据分析平台的离线部署方法。
20、本专利技术实施例中，以持续集成技术，从代码库中拉取到对目标大数据分析平台进行版本更新的源代码；所述源代码包括对应目标大数据分析平台下不同软件的版本配置信息；对所述源代码进行添加版本标签处理和打包处理，得到离线部署文件；以持续部署技术，将对应不同版本的离线部署文件，部署至目标大数据分析平台所应用的不同项目；所述项目按如下方式根据所述离线部署文件进行版本更新：基于该项目的硬件配置文件，确定该项目的集群规模和集群节点参数；根据该项目的集群规模和集群节点参数，确定该项目的每一节点的节点部署任务、以及该项目的不同节点之间执行所述节点部署任务的拓扑结构；所述节点部署任务为以该节点所应用软件的版本配置信息对该节点的软件进行配置更新的任务；以所述拓扑结构，执行该项目不同节点的节点部署任务 ，与现有技术中仅对大数据分析平台所应用的不同项目进行人工配置的技术方案相比，通过持续集成技术可实现对源代码的统一拉取，通过持续部署技术可将对应不同版本的离线部署文件，部署至目标大数据分析平台所应用的不同项目，并借助生成不同项目的节点部署任务和其拓扑结构，可实现对项目的自动化部署工作，不再需要借助人工，避免了因人工操作而不可避免会出现的错漏问题，提升了大数据分析平台的部署的准确性，也缩短了大数据分析平台的部署时长，提升了大数据分析平台的部署效率；此外，通过携带了大数据分析平台中每一软件版本配置信息的离线部署文件，可实现对不同项目的离线部署，避免了现阶段大数据分析平台部署过程中安装包难以移植的问题，提升了大数据分析平台部署的普适性。
本文档来自技高网...【技术保护点】
1.一种大数据分析平台的离线部署方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，还包括：
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求1所述的方法，其特征在于，所述集群规模用于描述项目所包括集群的数量、每一集群下的节点数量、和不同集群之间的执行顺序；所述集群节点参数用于描述集群下节点间的依赖关系和节点间的服务运行关系。
5.如权利要求4所述的方法，其特征在于，确定该项目的集群下不同节点之间执行所述节点部署任务的拓扑结构，包括：
6.如权利要求1所述的方法，其特征在于，还包括：
7.一种大数据分析平台的离线部署装置，其特征在于，包括：
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。
10
...【技术特征摘要】
1.一种大数据分析平台的离线部署方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，还包括：
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求1所述的方法，其特征在于，所述集群规模用于描述项目所包括集群的数量、每一集群下的节点数量、和不同集群之间的执行顺序；所述集群节点参数用于描述集群下节点间的依赖关系和节点间的服务运行关系。
5.如权利要求4所述的方法，其特征在于，确定该项目的集群下不同节点之间执行所述节点部署任务的拓扑结构，包括：
6.如权利要求1所述的方法，其特...
【专利技术属性】
技术研发人员：许佳宾，杨刚，赵礼悦，
申请(专利权)人：北京亚信数据有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。