【技术实现步骤摘要】
本专利技术涉及大数据实时任务、提交实时任务到yarn上等应用领域，特别是涉及一种基于yarn运行的flink实时任务管理系统方法。
技术介绍
1、当前时代急速发展，大量信息需要进行实时性处理。在大数据相关领域，实时流任务的重要性愈发重要，但flink集群任务的发布、提交等传统需要通过shell命令进行命令行提交，对于用户或数据开发来说极为不方便，且对运维提出了很高的要求，无法方便的查看日志、启停任务等。因此，大数据实时领域在开发时，需要一套功能完善的实时任务管理系统。
2、目前实时任务主要应用于大数据领域，而大数据领域主流架构为hadoop+yarn的技术体系，而flink任务的运行环境主要有两种，一种是纯flink集群部署，另一种为flinkon yarn的模式进行部署。flink on yarn的部署方式中，flink任务可通过yarn集群实现资源控制，更有益于flink任务的运行以及确保资源的不浪费。
3、但实时任务的管理是一个很大的困难，正常提交方式下，需要开发者上机器执行shell命令提交任务、查看日志等等操作是不方便且不安全的。急需一个功能齐全的，可用性较高的系统来对实时任务进行管理。
4、yarn是指由资源管理框架yarn；其部署过程是客户端会将flink应用提交给yarn的resourcemanager，而flink集群任务会在由resourcemanager申请到的容器上部署相应的jobmanager和taskmanager实施。
技术实现思路b>
1、针对以上提及的实时任务，本专利技术提供了一种对实时任务进行管理的系统方法。
2、本专利技术的技术方案是，一种对实时任务进行管理的方法，1)发布实时任务的方式：用户可通过输入打入私有maven仓的实时任务jar包坐标，进行拉取、发布实时任务，程序将通过用户输入的坐标，拼接为mvn执行命令的shell。
3、通过java的ssh相关api，跳转至对应机器上执行shell脚本，拉取对应的任务jar包，若无法拉取则返回错误信息；
4、2)任务的执行方式：用户可通过前端选择列表中的jar包，输入实时任务执行的相关参数，如内存、核数、slot数、任务名等基本参数，且可自定义增加参数，程序将其与jar包信息进行拼接，生成提交任务到yarn上的shell命令。
5、通过ssh的方式提交任务到yarn上，并通过新线程监控提交日志中提交相关内容，返回任务的提交情况，若成功提交，则返回成功状态且将其任务信息记录进mysql中，前端返回对应的日志内容，供用户查看。
6、3)已提交的任务监控状态的方式：在提交运行任务后，程序会将成功提交的任务记录至mysql库中的运行任务表；
7、存放该任务的各项参数以及日志地址、yarn上的applicationid等内容；
8、系统启动了单独的检查线程，定期检查运行任务表中的任务，调用yarn的api中`applicationreport`类的`getyarnapplicationstate()`获取对应application的运行状态，若通过非系统的方式异常停止，将会被系统记录并发送任务异常停止告警。
9、4)查看任务日志的方式：在任务运行过程中，或任务失败后，实时任务的日志存放路径将被持续记录与mysql库中，当用户在前端选择对应的任务需要查看时，将会调用程序接口，到mysql对应的表中获取日志路径，通过程序获取日志内容并返回前端供给查看。
10、5)停止任务的方式：在任务运行时，前端用户可选择两种停止任务方式，分别为普通停止任务和savepoint暂停的方式；
11、其中普通停止任务的方法为将用户选中的运行中任务信息进行拼接，通过yarn的命令来对相应任务进行停止；
12、而savepoint暂停的方式会尝试使用flink的savepoint暂停命令来停止任务，若任务开启的checkpoint，则可正常使用savepoint停止任务并将savepoint路径记录与任务信息中，否则将会普通停止任务，并返回相关报错。
13、停止任务后，对应的任务将会被移动至“已停止任务”表中，并且展示在“历史任务”列表中，用户可通过历史任务列表中的重启任务或savepoint重启任务来分别对普通暂停的任务或checkpoint重启任务，会从对应的表中获得该任务的启动数据来进行重启任务。
14、本专利技术包括拉取实时任务包、运行flink任务、查看flink任务日志、停止重启flink任务等功能。主动步骤是通过ssh加mvn命令获取实时任务jar包；通过ssh命令运行flink任务提交至yarn集群；通过java获取hdfs及linux上的flink任务日志；通过ssh执行shell命令停止或重启flink任务将其整合形成一套全功能的flink实时任务管理系统。
15、有益效果：本专利技术通过实时机器、前端用户、数1据库、hdfs、yarn之间的交互实现实时任务管理系统。yarn运行模式的一个最为明显的优势是会实现对taskmanager资源的一个动态分配。将flink任务部署到yarn集群上。本专利技术对实时任务进行管理，发布实时任务可通过输入打入私有maven仓的实时任务jar包坐标，进行拉取、发布实时任务，执行任务可通过输入执行任务的参数，将任务提交至yarn集群中进行运行，并通过平台对已提交的任务进行任务状态的监控以及任务日志的查看，可在平台上对运行中的任务进行停止。并且全程不需要开发者上机器执行shell命令，确保整体流程的安全性以及高效性。
本文档来自技高网...【技术保护点】
1.一种基于yarn运行的flink实时任务进行管理方法，其特征是，
2.根据权利要求1所述的基于yarn运行的flink实时任务进行管理方法，其特征是，
【技术特征摘要】
1.一种基于yarn运行的flink实时任务进行管理方法，其特征是，
2...
【专利技术属性】
技术研发人员：谢民瑞，
申请(专利权)人：焦点科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。