一种智能推荐训练服务基于Dolphinscheduler的部署方法技术

本发明专利技术公开了一种智能推荐训练服务基于Dolphinscheduler的部署方法，包括S1、部署Dolphinscheduler调度系统，安装基础软件并部署Dolphinscheduler调度系统的前后端，配置Dolphinscheduler调度系统相关联的基础软件配置，并调通Dolphinscheduler调度系统；S2、打包python虚拟环境和智能推荐训练服务，将智能推荐训练服务所依赖的python依赖包打包进python虚拟环境,以供智能推荐训练服务运行时调用，并将智能推荐训练服务的代码文件、脚本文件及相关文件打包，以供智能推荐训练服务运行；S3、运行Dolphinscheduler调度系统，并在Dolphinscheduler调度系统的前端配置智能推荐训练服务运行方案，配置完成后运行智能推荐训练服务并监控其执行情况。本发明专利技术简单，效率较高，且可靠可行，使用后将大大缩短部署项目的时间，实用性强。实用性强。实用性强。

【技术实现步骤摘要】
一种智能推荐训练服务基于Dolphinscheduler的部署方法


[0001]本专利技术属于机器学习
，更具体涉及一种智能推荐训练服务基于Dolphinscheduler的部署方法。

技术介绍

[0002]目前现有的智能推荐训练服务主要部署在无调度系统的台式集群环境上，需要手动配置训练环境。然而这样的环境需要集群化部署，很复杂，而且容易出现单点故障，还不支持多租户，在机器学习领域和大数据平台业务上使用不够灵活，任务太多会卡死服务器，而且也只能看到任务状态，无法可视化和轻松监控服务和集群环境的各项指标。

技术实现思路

[0003]为解决上述问题，本专利技术提供了一种智能推荐训练服务基于Dolphinscheduler的部署方法，能相对轻松部署集群化环境，而且 Dolphinscheduler自身也能够一键轻松部署，而且去中心化，还支持多租户，任务使用队列机制，任务多也不会造成服务器机器卡死，而且还支持可视化操作，支持暂停和恢复等多项操作，还可监控服务和集群环境的内存、cpu等各项指标。
[0004]为了解决上述技术问题，本专利技术采用的技术方案是这样的：一种智能推荐训练服务基于Dolphinscheduler的部署方法，包括如下步骤：S1、部署Dolphinscheduler调度系统，安装基础软件并部署Dolphinscheduler调度系统的前后端，配置Dolphinscheduler调度系统相关联的基础软件配置，并调通Dolphinscheduler调度系统；S2、打包python虚拟环境和智能推荐训练服务，将智能推荐训练服务所依赖的python依赖包打包进python虚拟环境,以供智能推荐训练服务运行时调用，并将智能推荐训练服务的代码文件、脚本文件及相关文件打包，以供智能推荐训练服务运行；S3、运行Dolphinscheduler调度系统，并在Dolphinscheduler调度系统的前端配置智能推荐训练服务运行方案，配置完成后运行智能推荐训练服务并监控其执行情况。
[0005]作为优化，所述Dolphinscheduler调度系统的部署包括以下步骤，S101、设置多台服务器,所述服务器中包括一台UI兼Api服务器、两台Master服务器、三台work服务器，并在每台服务器上均安装基础软件；S102、在master服务器上创建多个部署用户，并设置所有部署用户具有sudo权限且相互免密；S103、创建mysql数据库用于存放Dolphinscheduler元数据并初始化该数据库；S104、修改Dolphinscheduler环境变量；S105、修改Dolphinscheduler部署配置文件；S106、运行部署脚本；S107、部署用户创建租户并设置租户权限，所述租户用于在Dolphinscheduler调
度系统的前端配置所述智能推荐服务运行方案。
[0006]作为优化，所述打包python虚拟环境和智能推荐训练服务包括以下步骤，S201、通过Anaconda创建虚拟环境并安装智能推荐训练服务所需要的python库文件,并压缩成压缩文件包，以供智能推荐训练服务调用；S202、打包智能推荐训练服务自身的公共服务压缩文件包；S203、进入智能推荐训练服务场景目录并通过zip命名生成工程压缩文件包。
[0007]作为优化，所述在DolphinScheduler前端配置智能推荐训练服务运行方案包括以下步骤，S301、进入DolphinScheduler调度系统前端，在其资源中心上传S2打包的文件；S302、在智能推荐训练服务管理处配置工作流；S303、上线工作流。
[0008]作为优化，所述配置工作流包括创建项目、定义和配置工作流，编辑工作流，编辑调度任务脚本，添加资源，编辑工作流执行定时任务中的一种或多种。
[0009]作为优化，所述工作流上线后，DolphinScheduler调度系统定期执行定时任务或者临时任务，查看运行日志，并监控cpu和内存的消耗情况。
[0010]与现有技术相比，本专利技术具有如下优点：本专利技术通过安装基础软件后一键自动化部署Dolphinscheduler调度系统前后端，配置好Dolphinscheduler调度系统关联的基础软件配置，调通Dolphinscheduler调度系统。将智能推荐训练服务所依赖的python依赖包一并打包进python虚拟环境,供智能推荐训练服务运行调用。打包智能推荐训练服务,将智能推荐训练服务代码文件和脚本文件等打包供智能推荐训练服务运行。运行Dolphinscheduler调度系统，并在Dolphinscheduler前端配置智能推荐训练服务运行方案，配置完成后运行智能推荐训练服务并监控项目执行情况。
[0011]本专利技术能够一键轻松部署，而且去中心化，还支持多租户，任务使用队列机制，任务多也不会造成服务器机器卡死，而且还支持可视化操作，支持暂停、恢复、任务定时、查看运行日志等多项操作，还可监控服务和集群环境的内存、cpu等各项指标。
[0012]本方法简单，效率较高，且可靠可行，使用后将大大缩短部署项目的时间，实用性强。
附图说明
[0013]图1为本专利技术的架构图；图2为本专利技术的智能推荐训练服务流程图。
具体实施方式
[0014]下面将结合附图及实施例对本专利技术作进一步说明。
[0015]实施例：参见图1
‑
图2，一种智能推荐训练服务基于Dolphinscheduler的部署方法，包括如下步骤：S1、部署Dolphinscheduler调度系统，安装基础软件并部署Dolphinscheduler调度系统的前后端，配置Dolphinscheduler调度系统相关联的基础软件配置，并调通
Dolphinscheduler调度系统。
[0016]所述Dolphinscheduler调度系统的部署包括以下步骤，S101、设置6台服务器,所述服务器中包括一台UI兼Api服务器、两台Master服务器、三台work服务器，并在每台服务器上均安装基础软件，所述基础软件包括mysql (5.5+)、JDK (1.8+)、ZooKeeper(3.4.6+)、Hadoop(2.6+)、Hive(1.2.1)、Spark(1.x,2.x)等。
[0017]S102、在master服务器上创建多个部署用户，并设置所有部署用户具有sudo权限且相互免密；S103、创建mysql数据库用于存放Dolphinscheduler元数据并初始化该数据库；S104、修改Dolphinscheduler环境变量conf/env/.dolphinscheduler_env.sh；S105、修改Dolphinscheduler部署配置文件conf/config/install_config.conf、conf/alert.properties和install.sh；S106、运行部署脚本install.sh。后端服务启动后共有五个进程：MasterServer、workS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能推荐训练服务基于Dolphinscheduler的部署方法，其特征在于，包括如下步骤：S1、部署Dolphinscheduler调度系统，安装基础软件并部署Dolphinscheduler调度系统的前后端，配置Dolphinscheduler调度系统相关联的基础软件配置，并调通Dolphinscheduler调度系统；S2、打包python虚拟环境和智能推荐训练服务，将智能推荐训练服务所依赖的python依赖包打包进python虚拟环境,以供智能推荐训练服务运行时调用，并将智能推荐训练服务的代码文件、脚本文件及相关文件打包，以供智能推荐训练服务运行；S3、运行Dolphinscheduler调度系统，并在Dolphinscheduler调度系统的前端配置智能推荐训练服务运行方案，配置完成后运行智能推荐训练服务并监控其执行情况。2.根据权利要求1所述的一种智能推荐训练服务基于Dolphinscheduler的部署方法，其特征在于，所述Dolphinscheduler调度系统的部署包括以下步骤，S101、设置多台服务器,所述服务器中包括一台UI兼Api服务器、两台Master服务器、三台work服务器，并在每台服务器上均安装基础软件；S102、在master服务器上创建多个部署用户，并设置所有部署用户具有sudo权限且相互免密；S103、创建mysql数据库用于存放Dolphinscheduler元数据并初始化该数据库；S104、修改Dolphinscheduler环境变量；S105、修改Dolphinscheduler部署配置文件；S106、运行部署脚本；S107...

【专利技术属性】
技术研发人员：何静，顾秀颖，张英鹏，刘大全，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：