一种创建大数据服务的方法及装置制造方法及图纸

本申请是关于一种创建大数据服务的方法及装置，属于数据挖掘领域。所述方法包括：主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，构建服务集群，所述服务集群包括所述主节点和N个代理节点，安装有服务镜像以及每个代理节点安装有代理镜像，根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括至少一个大数据服务组件的组件标识，所述组件配置文件包括所述每个大数据服务组件的部署文件存储路径。本申请能够快速创建大数据服务。

【技术实现步骤摘要】
一种创建大数据服务的方法及装置
本申请涉及数据控掘领域，特别涉及一种创建大数据服务的方法及装置。
技术介绍
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据服务是用于处理大数据的服务，大数据服务可以提供大量的硬件资源和软件资源，用来处理常规软件无法处理的大数据。用户在使用大数据服务来处理大数据时，需要创建一个大数据服务，所以如何创建大数据服务是目前急需解决的问题。
技术实现思路
为了创建大数据服务，本申请实施例提供了一种创建大数据服务的方法及装置。所述技术方案如下：第一方面，本申请提供了一种创建大数据服务的方法，所述方法包括：主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，M为大于或等于1的整数；所述主节点构建服务集群，所述服务集群包括所述主节点和N个代理节点，所述主节点安装有服务镜像以及每个代理节点安装有代理镜像，所述服务镜像用于作为所述主节点的操作系统，所述代理镜像用于作为代理节点的操作系统，所述服务镜像和所述代理镜像均包括镜像仓库，所述镜像仓库包括所述每个大数据服务的容器镜像，N为大于或等于1的整数；所述主节点根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括所述大数据服务所需要的至少一个大数据服务组件的组件标识，所述组件配置文件包括每个大数据服务组件的部署文件存储路径。可选的，所述根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，包括：所述主节点接收终端发送的M个大数据服务中的每个大数据服务对应的配置信息；所述主节点获取保存的目标大数据服务对应的大数据服务组件模板，所述目标大数据服务对应的大数据服务组件模板中包括至少一个配置项和每个配置项对应的默认参数，所述目标大数据服务为所述M个大数据服务中的任一个；所述主节点将所述大数据服务组件模板包括的每个配置项对应的默认参数分别更新为所述目标大数据服务对应的配置信息包括的每个配置项的参数，得到所述目标大数据服务对应的容器镜像。可选的，所述主节点构建服务集群，包括：所述主节点安装服务镜像；所述主节点向与所述主节点相连接的每个代理节点发送代理镜像，以使所述每个代理节点安装所述代理镜像；所述主节点在所述主节点和所述每个代理节点组成的节点集群中部署kubernetes系统，以形成服务集群。可选的，所述代理镜像还包括所述主节点的地址，所述主节点向与所述主节点相连接的每个代理节点发送代理镜像之后，还包括：所述主节点接收所述每个代理节点根据所述主节点的地址发送的地址分配请求，分别向所述每个代理节点发送所述每个代理节点的地址。可选的，所述主节点根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，包括：所述主节点根据所述可执行文件中的每个大数据服务组件的组件标识，从所述组件配置文件中获取每个大数据服务组件对应的至少一个部署文件的存储路径；所述主节点根据所述每个大数据服务组件对应的至少一个部署文件的存储路径，获取所述每个大数据服务组件对应的至少一个部署文件，将所述每个大数据服务组件对应的至少一个部署文件加载到所述服务集群中，以创建大数据服务。可选的，所述将所述每个大数据服务组件对应的至少一个部署文件加载到所述服务集群中之前，还包括：所述主节点接收隔离文件，所述隔离文件中包括的大数据服务所需要的计算资源和Kubernetes元素，在所述服务集群中的多个代理节点中创建容器，所述容器包括所述大数据服务所需要的计算资源和Kubernetes元素；所述将所述每个大数据服务组件对应的至少一个部署文件加载到所述服务集群中，包括：所述主节点将所述每个大数据服务组件对应的至少一个部署文件加载到所述容器中。第二方面，本申请提供了一种创建大数据服务的装置，所述装置包括：生成模块，用于根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，M为大于或等于1的整数；构建模块，用于构建服务集群，所述服务集群包括所述装置和N个代理节点，所述装置安装有服务镜像以及每个代理节点安装有代理镜像，所述服务镜像用于作为所述装置的操作系统，所述代理镜像用于作为代理节点的操作系统，所述服务镜像和所述代理镜像均包括镜像仓库，所述镜像仓库包括所述每个大数据服务的容器镜像，N为大于或等于1的整数；创建模块，用于根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括所述大数据服务所需要的至少一个大数据服务组件的组件标识，所述组件配置文件包括每个大数据服务组件的部署文件存储路径。可选的，所述生成模块包括：接收单元，用于接收终端发送的M个大数据服务中的每个大数据服务对应的配置信息；获取单元，用于获取保存的目标大数据服务对应的大数据服务组件模板，所述目标大数据服务对应的大数据服务组件模板中包括至少一个配置项和每个配置项对应的默认参数，所述目标大数据服务为所述M个大数据服务中的任一个；更新单元，用于将所述大数据服务组件模板包括的每个配置项对应的默认参数分别更新为所述目标大数据服务对应的配置信息包括的每个配置项的参数，得到所述目标大数据服务对应的容器镜像。可选的，所述构建模块包括：安装单元，用于安装服务镜像；发送单元，用于向与所述装置相连接的每个代理节点发送代理镜像，以使所述每个代理节点安装所述代理镜像；部署单元，用于在所述装置和所述每个代理节点组成的节点集群中部署kubernetes系统，以形成服务集群。可选的，所述代理镜像还包括所述主节点的地址，所述装置还包括：接收模块，用于接收所述每个代理节点根据所述装置的地址发送的地址分配请求；发送模块，用于分别向所述每个代理节点发送所述每个代理节点的地址。可选的，所述创建模块，包括：第二获取单元，用于根据所述可执行文件中的每个大数据服务组件的组件标识，从所述组件配置文件中获取每个大数据服务组件对应的至少一个部署文件的存储路径；加载单元，用于根据所述每个大数据服务组件对应的至少一个部署文件的存储路径，获取所述每个大数据服务组件对应的至少一个部署文件，将所述每个大数据服务组件对应的至少一个部署文件加载到所述服务集群中，以创建大数据服务。可选的，所述创建模块，还包括：第二接收单元和创建单元；所述第二接收单元，用于接收隔离文件，所述隔离文件中包括的大数据服务所需要的计算资源和Kubernetes元素；所述创建单元，用于在所述服务集群中的多个代理节点中创建容器，所述容器包括所述大数据服务所需要的计算资源和Kubernet本文档来自技高网...

【技术保护点】
1.一种创建大数据服务的方法，其特征在于，所述方法包括：/n主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，M为大于或等于1的整数；/n所述主节点构建服务集群，所述服务集群包括所述主节点和N个代理节点，所述主节点安装有服务镜像以及每个代理节点安装有代理镜像，所述服务镜像用于作为所述主节点的操作系统，所述代理镜像用于作为代理节点的操作系统，所述服务镜像和所述代理镜像均包括镜像仓库，所述镜像仓库包括所述每个大数据服务的容器镜像，N为大于或等于1的整数；/n所述主节点根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括所述大数据服务所需要的至少一个大数据服务组件的组件标识，所述组件配置文件包括每个大数据服务组件的部署文件存储路径。/n

【技术特征摘要】
1.一种创建大数据服务的方法，其特征在于，所述方法包括：
主节点根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，生成每个大数据服务的容器镜像，M为大于或等于1的整数；
所述主节点构建服务集群，所述服务集群包括所述主节点和N个代理节点，所述主节点安装有服务镜像以及每个代理节点安装有代理镜像，所述服务镜像用于作为所述主节点的操作系统，所述代理镜像用于作为代理节点的操作系统，所述服务镜像和所述代理镜像均包括镜像仓库，所述镜像仓库包括所述每个大数据服务的容器镜像，N为大于或等于1的整数；
所述主节点根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，所述可执行文件包括所述大数据服务所需要的至少一个大数据服务组件的组件标识，所述组件配置文件包括每个大数据服务组件的部署文件存储路径。


2.如权利要求1所述的方法，其特征在于，所述根据M个大数据服务中的每个大数据服务对应的大数据服务组件模板和每个大数据服务的配置参数，包括：
所述主节点接收终端发送的M个大数据服务中的每个大数据服务对应的配置信息；
所述主节点获取保存的目标大数据服务对应的大数据服务组件模板，所述目标大数据服务对应的大数据服务组件模板中包括至少一个配置项和每个配置项对应的默认参数，所述目标大数据服务为所述M个大数据服务中的任一个；
所述主节点将所述大数据服务组件模板包括的每个配置项对应的默认参数分别更新为所述目标大数据服务对应的配置信息包括的每个配置项的参数，得到所述目标大数据服务对应的容器镜像。


3.如权利要求1所述的方法，其特征在于，所述主节点构建服务集群，包括：
所述主节点安装服务镜像；
所述主节点向与所述主节点相连接的每个代理节点发送代理镜像，以使所述每个代理节点安装所述代理镜像；
所述主节点在所述主节点和所述每个代理节点组成的节点集群中部署kubernetes系统，以形成服务集群。


4.如权利要求3所述的方法，其特征在于，所述代理镜像还包括所述主节点的地址，
所述主节点向与所述主节点相连接的每个代理节点发送代理镜像之后，还包括：
所述主节点接收所述每个代理节点根据所述主节点的地址发送的地址分配请求，分别向所述每个代理节点发送所述每个代理节点的地址。


5.如权利要求1所述的方法，其特征在于，所述主节点根据可执行文件和组件配置文件在所述服务集群中创建大数据服务，包括：
所述主节点根据所述可执行文件中的每个大数据服务组件的组件标识，从所述组件配置文件中获取每个大数据服务组件对应的至少一个部署文件的存储路径；
所述主节点根据所述每个大数据服务组件对应的至少一个部署文件的存储路径，获取所述每个大数据服务组件对应的至少一个部署文件，将所述每个大数据服务组件对应的至少一个部署文件加载到所述服务集群中，以创建大数据服务。


6.如权利要求5所述的方法，其特征在于，所述将所述每个大数据服务组件对应的至少一个部署文件加载到所述服务集群中之前，还包括：
所述主节点接收隔离文件，所述隔离文件中包括的大数据服务所需要的计算资源和Kubernetes元素，在所述服务集群中的多个代理节点中创建容器，所述容器包括所述大数据服务所需要的计算资源和Kubernetes元素；
所述将所述每个大数据服务组件对应的至少一个部署文件加载到所述服务集群...

【专利技术属性】
技术研发人员：韩卫，郭峰，刘中军，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33