一种基于K3s的数据中台私有化部署方法及系统技术方案

本发明专利技术公开了一种基于K3s的数据中台私有化部署方法及系统，所述方法包括以下步骤：S1.准备服务安装包，所述服务安装包包括K3s、java、中间件和大数据集群；S2.将Docker Registry镜像仓库部署在主服务节点；S3.上传服务离线镜像至Docker Registry镜像仓库；S4.通过K3s离线安装自动化脚本部署K3s集群；S5.通过大数据集群离线安装自动化脚本部署Hadoop大数据集群；S6.初始化JuiceFS；S7.在K3s中运行服务。本方法机系统具有封装部署便捷性好、轻量级、高可用性的特点，大大减少工程复杂度，且系统能够实时动态处理服务水平扩缩容。容。容。

【技术实现步骤摘要】
一种基于K3s的数据中台私有化部署方法及系统


[0001]本专利技术涉及计算机及大数据处理
，尤其是涉及一种基于K3s的数据中台私有化部署方法及系统。

技术介绍

[0002]K3s是一种边缘计算工具，它满足了在边缘计算环境中运行在x86、ARM64和ARMv7处理器上的小型、易于管理的Kubernetes集群日益增长的需求。k3s提供的主要功能在于：k3s把在任何设备上安装Kubernetes所需的一切都包含在这一个40MB的二进制文件当中，只需要一个命令即可快速配置或者升级单节点的K3s集群。简单的向集群中添加任意节点：节点和服务器键的通信靠安全的token来实现。自动生成证书：集群启动时，在Kubernetes主服务器和节点之间建立TLS所需的所有证书都会被自动创建，还会自动创建服务账号的加密密钥。
[0003]在实现数据中台部署方法的时候，将Java微服务、中间件等服务运行在裸金属或公有云服务器上，将服务产生的数据文件存储在各自服务器上，同时以操作系统systemctl的方式对服务进行守护进程。
[0004]第一，数据中台服务的数据文件存储在各自服务器上存在局限性，在服务高可用或多实例的情况下，很难实现文件共享；第二，将服务运行在裸金属或公有云服务器上存在操作系统兼容问题，并且对系统环境有严格的依赖；第三，在服务弹性伸缩方面存在不足，无法及时方便的对服务进行伸缩容；最后，在数据中台私有化部署过程中，严重依赖运维实施人员的技术能力。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供了一种基于K3s的数据中台私有化部署方法及系统，该方法及系统能够解决上述问题而且基于K3s的数据中台私有化部署方法具有封装部署便捷性好、轻量级、高可用性的特点，大大减少工程复杂度，且解决了服务弹性伸缩方面存在的不足，系统能够实时动态处理服务水平扩缩容。
[0006]为实现上述目的，本专利技术提供一种基于K3s的数据中台私有化部署方法，所述方法包括以下步骤：S1. 准备服务安装包，所述服务安装包包括K3s、java、中间件和大数据集群；S2. 将Docker Registry镜像仓库部署在主服务节点；在主服务节点以docker
‑
compose的方式部署运行Docker Registry镜像仓库S3.上传服务离线镜像至Docker Registry镜像仓库；S4.在主服务节点自动安装K3s主服务，通过K3s离线安装自动化脚本部署K3s集群；S5.通过大数据集群离线安装自动化脚本部署Hadoop大数据集群；并安装hadoop主服务，使用MySQL数据库作为元数据存储；
S6.初始化JuiceFS；其中MySQL作为JuiceFS的元数据、大数据集群HDFS存储作为JuiceFS数据存储；S7.在K3s中运行服务，数据中台服务采用K3s HPA控制器执行动态扩缩容处理。
[0007]进一步，步骤S1中，在macos系统和linux系统中新建一个文件目录，数据中台java服务通过Dockerfile文件编译生成离线docker镜像包；K3s、中间件、Docker Registry和JuiceFS CSI驱动镜像生成离线docker镜像包；再将离线安装自动化脚本、服务配置文件、离线docker镜像包、大数据集群离线安装包放置在同一目录，最后通过执行tar
ꢀ‑
zcvfinstall.tar.gz * 的命令打包，将install.tar.gz包上传至主服务节点的/tmp目录下。
[0008]进一步，步骤S2中，解压install.tar.gz包，配置nodes.conf配置文件，执行离线安装自动化脚本。离线安装自动化脚本将读取里面的nodes.conf文件并解析文件内容，将Docker Registry离线镜像文件和Docker Registry离线安装自动化脚本传输至主服务节点，在主服务节点以docker
‑
compose的方式部署运行Docker Registry镜像仓库；并通过ssh免密登陆其余主机，将Docker Registry镜像仓库IP地址记录到/etc/hosts。
[0009]进一步，步骤S3中，离线安装自动化脚本会自动解压当前离线镜像文件并加载到主机，最后将加载完的镜像上传到Docker Registry镜像仓库。
[0010]进一步，步骤S4中，离线安装自动化脚本识别nodes.conf文件参数k3s
‑
master（k3s主服务节点），在主服务节点自动安装K3s主服务，获取K3s主服务的Token信息；通过ssh免密登陆K3s工作节点，并通过Token信息注册到K3s主服务，将工作节点加入到K3s集群。
[0011]进一步，步骤S5中，离线安装自动化脚本识别nodes.conf文件参数hadoop
‑
server参数（hadoop主服务节点）将大数据集群离线安装包传输至hadoop大数据集群主节点并解压到/tmp目录，同时运行/tmp目录大数据离线安装包中的大数据集群离线安装自动化脚本。大数据集群离线安装自动化脚本在主节点自动安装大数据集群的本地repo源（repo源可使linux系统在离线环境下载安装包）和MySQL数据库，并安装hadoop主服务，使用MySQL数据库作为元数据存储。当安装完hadoop主服务后，用户可在浏览器hadoop主服务页面选择hadoop计算节点和存储节点安装。
[0012]进一步，步骤S6中，离线安装自动化脚本识别nodes.conf文件参数juicefs和hadoop
‑
server，根据hadoop
‑
server参数确认MySQL元数据地址和hadoop主服务地址进行初始化JuiceFS，并通过K3s离线安装自动化脚本识别JuiceFS Yaml配置文件，在K3s集群安装JuiceFS CSI驱动，生成PV/PVC存储卷。
[0013]进一步，步骤S7中，数据中台服务采用K3s HPA控制器执行动态扩缩容处理，水平方向增加或减少服务实例Pod的数量，K3s中的MetricsServer采集指标服务实时采集服务实例的指标数据，HPA 控制器通过 Metrics Server采集指标服务的API获取内存使用率、CPU使用率和服务请求数，基于扩缩容规则进行计算，得到目标服务实例副本数量，所述扩缩容策略步骤如下：S100、实时获取内存使用率、CPU使用率和服务请求数的具体数值；S200、依次判断内存使用率、CPU使用率和服务请求数的当前等级；S300、根据依次判断的内存使用率、CPU使用率和服务请求数的当前等级确定最优
目标服务实例副本数量；S400、将当前副本数量与最优目标服务实例副本数量进行对比，若当前副本数量小于最优目标服务实例副本数量，则执行扩容处理；若当前副本数量大于最优目标服务实例副本数量，则执行缩容处理；使得当前副本数量与最优目标服务实例副本数量相同。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于K3s的数据中台私有化部署方法，其特征在于，所述方法包括以下步骤：S1. 准备服务安装包，所述服务安装包包括K3s、java、中间件和大数据集群；S2. 将Docker Registry镜像仓库部署在主服务节点；在主服务节点以docker
‑
compose的方式部署运行Docker Registry镜像仓库;S3.上传服务离线镜像至Docker Registry镜像仓库；S4.在主服务节点自动安装K3s主服务，通过K3s离线安装自动化脚本部署K3s集群；S5.通过大数据集群离线安装自动化脚本部署Hadoop大数据集群；并安装hadoop主服务，使用MySQL数据库作为元数据存储；S6.初始化JuiceFS；其中MySQL作为JuiceFS的元数据、大数据集群HDFS存储作为JuiceFS数据存储；S7.在K3s中运行服务，数据中台服务采用K3s HPA控制器执行动态扩缩容处理。2.根据权利要求1所述的基于K3s的数据中台私有化部署方法，其特征在于，步骤S1中，在macos系统和linux系统中新建一个文件目录，数据中台java服务通过Dockerfile文件编译生成离线docker镜像包；K3s、中间件、Docker Registry和JuiceFS CSI驱动镜像生成离线docker镜像包；再将离线安装自动化脚本、服务配置文件、离线docker镜像包、大数据集群离线安装包放置在同一目录，最后通过执行tar
ꢀ‑
zcvfinstall.tar.gz * 的命令打包，将install.tar.gz包上传至主服务节点的/tmp目录下。3.根据权利要求1所述的基于K3s的数据中台私有化部署方法，其特征在于，步骤S2中，解压install.tar.gz包，配置nodes.conf配置文件，执行离线安装自动化脚本；离线安装自动化脚本将读取里面的nodes.conf文件并解析文件内容，将Docker Registry离线镜像文件和Docker Registry离线安装自动化脚本传输至主服务节点，在主服务节点以docker
‑
compose的方式部署运行Docker Registry镜像仓库；并通过ssh免密登陆其余主机，将Docker Registry镜像仓库IP地址记录到/etc/hosts。4.根据权利要求1所述的基于K3s的数据中台私有化部署方法，其特征在于，步骤S3中，离线安装自动化脚本会自动解压当前离线镜像文件并加载到主机，最后将加载完的镜像上传到Docker Registry镜像仓库。5.根据权利要求1所述的基于K3s的数据中台私有化部署方法，其特征在于，步骤S4中，离线安装自动化脚本识别nodes.conf文件参数k3s
‑
master，在主服务节点自动安装K3s主服务，获取K3s主服务的...

【专利技术属性】
技术研发人员：夏赟，王乐珩，张金银，
申请(专利权)人：杭州比智科技有限公司，
类型：发明
国别省市：