一种基于建模平台模型运行流程调度方法技术

本发明专利技术提出了一种基于建模平台模型运行流程调度方法，包括：步骤S1，接收机器学习平台发送来的用于定义DAG的json文件，并将所述json文件传输到DAG调度平台；步骤S2，由DAG调度平台解析所述json文件，转换为结构化数据存储到Mysql数据库中；步骤S3，DAG调度平台调用所述json文件，开始调度dag定义各个算子任务，在根据各个算子任务的算子类型，将所述算子任务分发道相应的环境进行执行。本发明专利技术可以降低业务代码和调度代码的耦合性；支持分布式任务调度，解决了复杂调度下单机性能瓶颈；DAG因能反映任务间的依赖及时序关系，在任务选择阶段准确赋予任务优先级，而有效的提高了调度的性能。

A method of running process scheduling based on modeling platform model

【技术实现步骤摘要】
一种基于建模平台模型运行流程调度方法
本专利技术涉及建模平台
，特别涉及一种基于建模平台模型运行流程调度方法。
技术介绍
随着业务的发展，支持的各类算法不断增多，整个机器学习任务流程越来越复杂，各任务之间的依赖关系复杂度不断提升，以前的调度方式已无法满足复杂调度场景的业务需求。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种基于建模平台模型运行流程调度方法。为了实现上述目的，本专利技术的实施例提供一种基于建模平台模型运行流程调度方法，包括如下步骤：步骤S1，接收机器学习平台发送来的用于定义DAG的json文件，并将所述json文件传输到DAG调度平台；步骤S2，由DAG调度平台解析所述json文件，转换为结构化数据存储到Mysql数据库中；步骤S3，DAG调度平台调用所述json文件，开始调度dag定义各个算子任务，在根据各个算子任务的算子类型，将所述算子任务分发道相应的环境进行执行。进一步，所述DAG调度平台包括：图引擎DAGengine、算子执行引擎OpertorEngine和执行器executer。进一步，所述图引擎用于解析传入的json文件，根据json的配置生成算子的出入参数以及运行配置信息保存到Mysql数据库，同时负责任务的调用。进一步，所述json文件用于定义各个算子的出入参数和算子的配置参数。进一步，在所述步骤S3中，所述算子任务包括：数据读取、数据预处理、特征抽取、特征筛选、模型训练、模型预测、模型评估和模型部署。进一步，所述图引擎用于对当前算子任务，采用广度优先遍历获取所有需要执行的算子信息；轮询所有算子，判断上算子是否全部执行完成，执行完成开始执行当前算子；发送请求到算子执行引擎开始执行当前算子任务。进一步，所述算子执行引擎用于接收图引擎发送的请求；调取对应的算子代码片段；根据不同类型任务调用不同的执行器。进一步，所述算子执行引擎还用于将执行器的任务执行的最终状态写入到Redis数据库中，由图引擎监听Redis数据库状态变化，并将状态实时传回到机器学习平台的WEB界面。进一步，所述算子执行引擎还用于提供统一的启停接口、日志查询接口和任务状态查询接口。进一步，所述执行器包括：本体执行器、分布式计算平台执行器和执行器接口，其中，所述本体执行器用于执行单机的python任务，执行单机文件方式的机器学习算法。当没有大数据平台的时候，只能通过本地执行器执行DAG；所述分布式计算平台执行器用于将python算法发送至大数据计算平台，使用大数据平台资源运行算子；所述执行器接口用于为后续的执行器实现需要实现这个基类，提供拓展接口。根据本专利技术实施例的基于建模平台模型运行流程调度方法，将现有的调度方式进行升级改造。由此一个基于机器学习的DAG调度策略随之而出，该策略描述了一种基于有向无环图(DAG)的任务调度方案，将整个计算任务分解成为一个DAG图，根据DAG图计算出每个子任务的最早开始时间，然后根据每个子任务的最早开始时间和处理机的数量进行调度,以此达到DAG图限制下的最优调度。本专利技术可以查问题，查询历史，统计分析，监控报警。一种基于建模平台微服务模型运行流程调度设计，用于排查问题，查询历史，统计分析，监控报警。本专利技术实施例的基于建模平台模型运行流程调度方法，可以降低业务代码和调度代码的耦合性；支持分布式任务调度，解决了复杂调度下单机性能瓶颈；DAG因能反映任务间的依赖及时序关系，在任务选择阶段准确赋予任务优先级，而有效的提高了调度的性能。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于建模平台模型运行流程调度方法的流程图；图2为根据本专利技术实施例的基于建模平台模型运行流程调度方法的架构图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。如图1和图2所示，本专利技术实施例的基于建模平台模型运行流程调度方法，包括如下步骤：步骤S1，接收机器学习平台发送来的用于定义DAG的json文件，并将json文件传输到DAG调度平台。具体的，将机器学习的流程装成一个dag，定义各个算子的出入参，以及算子的配置参数，组装成一个json文件，发送给DAG调度平台。步骤S2，由DAG调度平台解析json文件，转换为结构化数据存储到Mysql数据库中。步骤S3，DAG调度平台调用json文件，开始调度dag定义各个算子任务，在根据各个算子任务的算子类型，将算子任务分发道相应的环境进行执行。在本专利技术的实施例中，算子任务包括：数据读取、数据预处理、特征抽取、特征筛选、模型训练、模型预测、模型评估和模型部署。其中，本专利技术将模型部署作为一个单独的项目，不包含在DAG结构中。具体的，DAG调度平台包括：图引擎DAGengine、算子执行引擎OpertorEngine和执行器executer。图引擎用于解析传入的json文件，根据json的配置生成算子的出入参数以及运行配置信息保存到Mysql数据库，同时负责任务的调用。在本专利技术的实施例中，json文件用于定义各个算子的出入参数和算子的配置参数。需要说明的是，json格式必须为可以正确解析的json格式，参考下属。Json格式是一种轻量级的数据交换格式。语法简洁、结构清晰，易于阅读和编辑，网络传输速度快。图引擎DAGEngine用于对当前算子任务，采用广度优先遍历获取所有需要执行的算子(节点)信息；轮询所有算子(节点)，判断上算子(节点)是否全部执行完成，执行完成开始执行当前算子(节点)；发送请求到operatorengine开始执行当前算子(节点)任务。图引擎对应服务端微服务项目(java项目)：gai-service-sidecar-client，实现逻辑为：(1)当前节点，采用广度优先遍历获取所有需要执行的算子(节点)信息，机器学习的DAG中各个节点即为算子，在算子执行引擎中称为算子任务，算子背后是python实现的一些算法组件(2)轮询所有算子(节点)，判断上算子(节点)是否全部执行完成，执行完成开始执行当前算子(节点)。(3)发送请求到operatorengine开始执行当前算子(节点)任务。算子执行引擎OpertorEngine用于接收图引擎发送的请求；调取对应的算子代码片段；根据不同类型任务调用不同的执行器；将执行器的任务本文档来自技高网...

【技术保护点】
1.一种基于建模平台模型运行流程调度方法，其特征在于，包括如下步骤：/n步骤S1，接收机器学习平台发送来的用于定义DAG的json文件，并将所述json文件传输到DAG调度平台；/n步骤S2，由DAG调度平台解析所述json文件，转换为结构化数据存储到Mysql数据库中；/n步骤S3，DAG调度平台调用所述json文件，开始调度dag定义各个算子任务，在根据各个算子任务的算子类型，将所述算子任务分发道相应的环境进行执行。/n

【技术特征摘要】
1.一种基于建模平台模型运行流程调度方法，其特征在于，包括如下步骤：
步骤S1，接收机器学习平台发送来的用于定义DAG的json文件，并将所述json文件传输到DAG调度平台；
步骤S2，由DAG调度平台解析所述json文件，转换为结构化数据存储到Mysql数据库中；
步骤S3，DAG调度平台调用所述json文件，开始调度dag定义各个算子任务，在根据各个算子任务的算子类型，将所述算子任务分发道相应的环境进行执行。


2.如权利要求1所述的基于建模平台模型运行流程调度方法，其特征在于，所述DAG调度平台包括：图引擎DAGengine、算子执行引擎OpertorEngine和执行器executer。


3.如权利要求2所述的基于建模平台模型运行流程调度方法，其特征在于，所述图引擎用于解析传入的json文件，根据json的配置生成算子的出入参数以及运行配置信息保存到Mysql数据库，同时负责任务的调用。


4.如权利要求1或3所述的基于建模平台模型运行流程调度方法，其特征在于，所述json文件用于定义各个算子的出入参数和算子的配置参数。


5.如权利要求1所述的基于建模平台模型运行流程调度方法，其特征在于，在所述步骤S3中，所述算子任务包括：数据读取、数据预处理、特征抽取、特征筛选、模型训练、模型预测、模型评估和模型部署。


6.如权利要求2或3所述的基于建模平台模型运...

【专利技术属性】
技术研发人员：崔晶晶，贾俊芳，
申请(专利权)人：北京集奥聚合科技有限公司，
类型：发明
国别省市：北京;11