实验任务处理方法、装置、系统、设备和存储介质制造方法及图纸

本申请提供一种实验任务处理方法、装置、系统、设备和存储介质，该方法包括：根据创建指令和初始参数，创建实验任务；在所述实验任务执行过程中，记录所述实验任务的全部元信息；基于所述全部元信息，生成所述实验任务的运行实例；根据访问请求，返回所述运行实例的数据。本申请通过将实验任务的相关的所有元信息都记录了下来，方便进行后续数据访问或复现。

【技术实现步骤摘要】
实验任务处理方法、装置、系统、设备和存储介质
本申请涉及数据处理
，具体而言，涉及一种实验任务处理方法、装置、系统、设备和存储介质。
技术介绍
在一次端到端的机器学习任务实验过程中，如何做好训练任务的管理是非常重要的，通常如果用户自己选择管理训练任务往往会有以下问题：1.用户需要自行构造训练任务的运行环境。2.用户需要自行维护训练任务的meta元信息，比如任务解决的问题、任务启动参数、任务的metrics(指标)等。3.用户需要自行构建信息可视化工具，比如借助一些第三方工具如Tensorboard(可视化工具)等。随着训练任务的数量增多，会暴露出训练任务难管理、难追踪、难复现等问题。
技术实现思路
本申请实施例的目的在于提供一种实验任务处理方法、装置、系统、设备和存储介质，通过将实验任务的相关的所有元信息都记录了下来，方便进行后续数据访问或复现。本申请实施例第一方面提供了一种实验任务处理方法，包括：根据创建指令和初始参数，创建实验任务；在所述实验任务执行过程中，记录所述实验任务的全部元信息；基于所述全部元信息，生成所述实验任务的运行实例；根据访问请求，返回所述运行实例的数据。于一实施例中，所述根据创建指令和初始参数，创建实验任务，包括：根据所述创建指令，选取数据库中的实验模板；接收对所述实验模板配置的所述初始参数；基于所述初始参数和所述实验模板，开启所述实验任务。于一实施例中，所述根据创建指令和初始参数，创建实验任务，包括：根据所述创建指令，通过接口调用预设的任务工具包；根据所述初始参数和所述任务工具包开启所述实验任务。于一实施例中，还包括：对所述实验任务的数据操作进行封装，生成每个所述运行实例的日志数据；所述根据访问请求，返回所述运行实例的数据，包括：基于对目标实例的日志查询请求，返回目标日志数据。于一实施例中，还包括：基于所述全部元信息，对所述实验任务的每个所述运行实例进行打包，分别生成可视化数据；所述根据访问请求，返回所述运行实例的数据，包括：基于对目标实例的可视化访问请求，返回目标可视化数据。本申请实施例第二方面提供了一种实验任务处理装置，包括：创建模块，用于根据创建指令和初始参数，创建实验任务；记录模块，用于在所述实验任务执行过程中，记录所述实验任务的全部元信息；生成模块，用于基于所述全部元信息，生成所述实验任务的运行实例；返回模块，用于根据访问请求，返回所述运行实例的数据。于一实施例中，所述创建模块用于：根据所述所述创建指令，选取数据库中的实验模板；接收对所述实验模板配置的所述初始参数；基于所述初始参数和所述实验模板，开启所述实验任务。于一实施例中，所述创建模块还用于：根据所述创建指令，通过接口调用预设的任务工具包；根据所述初始参数和所述任务工具包开启所述实验任务。于一实施例中，还包括：封装模块，用于对所述实验任务的数据操作进行封装，生成每个所述运行实例的日志数据；所述返回模块还用于：基于对目标实例的日志查询请求，返回目标日志数据。于一实施例中，还包括：打包模块，用于基于所述全部元信息，对所述实验任务的每个所述运行实例进行打包，分别生成可视化数据；所述返回模块还用于：基于对目标实例的可视化访问请求，返回目标可视化数据。本申请实施例第三方面一种实验任务管理系统，包括：元信息服务器和数据服务器，用以执行本申请实施例第一方面及其任一实施例的方法，以根据指令管理实验任务数据。本申请实施例第四方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法，以根据指令管理实验任务数据。本申请实施例第五方面提供了一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。本申请提供的实验任务处理方法、装置、系统、设备和存储介质，通过根据创建指令和初始参数，创建实验任务，然后在实验任务执行过程中，记录所述实验任务的全部元信息，并基于全部元信息，生成实验任务的运行实例，之后可以基于访问请求，返回相关的实验数据，以供用户实时查看。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请一实施例的电子设备的结构示意图；图2为本申请一实施例的实验任务管理系统的示意图；图3为本申请一实施例的实验任务处理方法的流程示意图；图4为本申请一实施例的实验任务处理方法的流程示意图；图5为本申请一实施例的实验任务处理装置的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程，以根据指令管理实验任务数据。于一实施例中，电子设备1可以是手机、笔记本电脑、台式计算机、或者多台计算机组成的运算系统等设备。如图2所示，其为本申请一实施例的实验任务管理系统2，可以藉由如图1所示的电子设备1实现，用于在端到端机器学习任务中，对训练任务进行全生命周期管理。其中，该管理系统2包括两个核心服务：基于ExpHub(漏洞利用脚本库)的ExpHubMetaServer(元信息服务器20)和ExpHubDataServer(数据服务器30)。其中，元信息服务器20ExpHubMetaServer的包括：ExpHubWeb网络模块21、接口服务器22和数据库23。网络模块21可以基于ExpHubWeb实现，接口服务器22可以是ExpHubAPIServer，其中API(ApplicationProgrammingInterface，API，应用程序接口)。数据库23可以是MongoDB(基于分布式文件存储的数据库)。ExpHubAPIServer接口服务器22主要负责对管理系统2相关元信息的管理，管理内容可以包括：1.负责对Meta(是html语言head区的一个辅助性标签，位于文档的头部，不包含任何内容。标签的属性定义了与文档相关联的名称/值对。meta元素可提供相关页面的元信息meta-information，比如针对搜索引擎和更新频度的描述和关键词)元信息相关的权限管理。2.负责对Experiment(实验)相关的元信息操作。3.负责对Run(实例)相关的元信息操本文档来自技高网...

【技术保护点】
1.一种实验任务处理方法，其特征在于，包括：/n根据创建指令和初始参数，创建实验任务；/n在所述实验任务执行过程中，记录所述实验任务的全部元信息；/n基于所述全部元信息，生成所述实验任务的运行实例；/n根据访问请求，返回所述运行实例的数据。/n

【技术特征摘要】
1.一种实验任务处理方法，其特征在于，包括：
根据创建指令和初始参数，创建实验任务；
在所述实验任务执行过程中，记录所述实验任务的全部元信息；
基于所述全部元信息，生成所述实验任务的运行实例；
根据访问请求，返回所述运行实例的数据。


2.根据权利要求1所述的方法，其特征在于，所述根据创建指令和初始参数，创建实验任务，包括：
根据所述创建指令，选取数据库中的实验模板；
接收对所述实验模板配置的所述初始参数；
基于所述初始参数和所述实验模板，开启所述实验任务。


3.根据权利要求1所述的方法，其特征在于，所述根据创建指令和初始参数，创建实验任务，包括：
根据所述创建指令，通过接口调用预设的任务工具包；
根据所述初始参数和所述任务工具包开启所述实验任务。


4.根据权利要求1所述的方法，其特征在于，还包括：
对所述实验任务的数据操作进行封装，生成每个所述运行实例的日志数据；
所述根据访问请求，返回所述运行实例的数据，包括：
基于对目标实例的日志查询请求，返回目标日志数据。


5.根据权利要求1所述的方法，其特征在于，还包括：
基于所述全部元信息，对所述实验任务的每个所述运行实例进行打包，分别生成可视化数据；
所述根据访问请求，返回所述运行实例的数据，包括：
基于对目标实例的可视化访问请求，返回目标可视化数据。


6.一种实验任务处理装置，其特征在于，包括：
创建模块，用于根据创建指令和初始参数，创建实验任务；
记录模块，用于在所述实验任务执行过程中，记录所述实验任务的全部元信息；
生成模块，用于基于所述全部元信息，生成所述...

【专利技术属性】
技术研发人员：唐亮，刘松，
申请(专利权)人：北京迈格威科技有限公司，内蒙古旷视金智科技有限公司，
类型：发明
国别省市：北京;11