深度学习模型发布方法及装置制造方法及图纸

本发明专利技术提供了深度学习模型发布方法及装置。所述深度学习模型发布方法包括：接收第一用户的模型生成事件信息，将所述模型生成事件信息存储至数据库；将所述模型生成事件信息发送至第二用户；当接收到所述第二用户的预发布指令时，基于测试机和所述预发布指令中携带的所述已生成模型的模型生成事件信息，对所述目标网盘中已存储的所述已生成模型进行预发布，当所述已生成模型的运行情况符合第一预设条件时，将所述已生成模型发布至目标平台。通过在网络平台上完全自动化的发布深度学习训练模型，从而不仅可以大幅缩短发布时间，提升深度学习系统模型发布效率；同时，由于零人工参与发布，极大地节省了人工成本和运维成本。

【技术实现步骤摘要】
深度学习模型发布方法及装置
本专利技术涉及模型发布领域，特别涉及一种深度学习模型发布方法及装置。
技术介绍
随着人工智能和大数据的兴起，深度学习技术在很多领域得到了广泛应用，比如计算机视觉、图像处理、自然语言处理、信息分类、搜索、推荐以及大数据等领域，都发挥了巨大的推动作用。很多网络平台都推出了基于深度神经网络算法(DeepNeuralNetwork，DNN)的推荐和搜索服务，这种推荐和搜索服务通常是通过在网络平台中内置深度学习模型来实现，这些模型需要由技术人员进行训练，并发布到平台上，供用户使用。目前在网络平台上进行模型发布时，一类是采用全人工方式，即模型和样本均采用离线文件进行管理，训练得到的模型采用全人工手动方式进行模型发布；另一类采用半自动方式，即将模型传给运维工程师，运维工程师再通过脚本方式进行模型发布。以上两种模型发布方式，其发布过程均严重依赖人工，且无法做到及时、自动化模型发布，因此人工成本高、实时性差，费时低效，不利于大规模商用。
技术实现思路
本专利技术实施例提供了一种深度学习模型发布方法及装置，能够解决模型发布流程严重依赖人工、费时低效的问题，能够提高模型发布效率。一方面，提供了一种深度学习模型发布方法，包括：接收第一用户的模型生成事件信息，将所述模型生成事件信息存储至数据库；将所述模型生成事件信息发送至第二用户；当接收到所述第二用户的预发布指令时，基于测试机和所述预发布指令中携带的所述已生成模型的模型生成事件信息，对所述目标网盘中已存储的所述已生成模型进行预发布，当所述已生成模型的运行情况符合第一预设条件时，将所述已生成模型发布至目标平台。一方面，提供了一种深度学习模型发布装置，包括：接收模块，用于接收第一用户的模型生成事件信息，将所述模型生成事件信息存储至数据库；发送模块，用于将所述模型生成事件信息发送至第二用户；预发布模块，用于当接收到所述第二用户的预发布指令时，基于测试机和所述预发布指令中携带的所述已生成模型的模型生成事件信息，对所述目标网盘中已存储的所述已生成模型进行预发布；发布模块，用于当所述已生成模型的运行情况符合第一预设条件时，将所述已生成模型发布至目标平台。一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述深度学习模型发布所执行的操作。一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述深度学习模型发布所执行的操作。本公开提供的深度学习模型发布方法及装置，通过在网络平台上完全自动化的发布深度学习训练模型，从而不仅可以大幅缩短发布时间，提升深度学习系统模型发布效率；同时，由于零人工参与发布，极大地节省了人工成本和运维成本。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例提供的网络平台的用户交互界面的示意图；图2示出了本专利技术实施例提供的服务器的技术框架图；图3示出了本专利技术实施例提供的样本录入示例示意图；图4和图5分别示出了本专利技术实施例提供的模型录入以及模型列表示意图；图6示出了本专利技术实施例提供的深度学习模型发布方法流程图；图7示出了本专利技术实施例提供的预发布流程图；图8和图9示出了本专利技术实施例提供的基于AUC对模型效果进行评估的流程图；图10示出了本专利技术实施例提供的发布过程流程图；图11示出了本专利技术实施例提供的模型监控流程图；图12示出了本专利技术实施例提供的回滚机制流程图；图13示出了本专利技术提供的技术方案和目前已有模型发布的对比图；图14是本专利技术实施例提供的一种深度学习模型发布装置的结构示意图；图15是本专利技术实施例提供的一种服务器的结构示意图。具体实施方式为使本专利技术的技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。本公开主要应用于网络平台下模型的发布自动化工作，支持样本管理、模型管理、模型发布以及模型监控等核心能力。支持网络平台中的模型日常例行管理、模型训练、模型评估、模型发布、模型更新、人工回滚等一系列复杂的操作。网络平台的用户交互界面如图1所示；网络平台的技术框架图如图2所示，主要包括：前端、webserver、数据存储、调度引擎、功能模块、数据引擎等部分。其中，前端可以为采用bootstrap框架结合highcarts.js和datatable.js等相关图类JS框架，其提供有WEB工程化入口，方便操作与管理，具体可以包括样本管理、模型管理、发布任务查看、人工回滚等。通过在MDB(MetaDataBase，关系型数据库系统)上建立样本表，并通过API方式提供POST接口给前端，即可将样本信息存储至表中，此时提及的样本主要用于后续对模型进行评估，其不同于模型训练所需的样本，在下文中称为目标样本集，该样本集可以采用如下所示的形式表达：|sample|CREATETABLE‘sample’(‘id’bigint(20)NOTNULLAUTO_INCREMENTCOMMENT‘ID’‘lz_id’varchar(32)DEFAULTNULLCOMMENT‘lz注册的样本生成任务ID‘‘type’varchar(32)DEFAULTNULLCOMMENT‘type:daily,hourly,none周期’‘model_name’varchar(128)DEFAULTNULLCOMMENT‘样本名称’‘model_hdfs’varchar(128)DEFAULTNULLCOMMENT‘样本hdfs地址’‘create_user’varchar(64)DEFAULTNULLCOMMENT‘创建者’‘modified_user’varchar(64)DEFAULTNULLCOMMENT‘最近一次修改人’‘create_time’bigint(20)DEFAULTNULLCOMMENT‘创建时间’‘modified_time’timestampNOTNULLDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMPCOMMENT‘修改时间，表列更改时候自动更新’‘model_status’tinyint(4)DEFAULT‘-1’COMMENT‘样本状态：-1刚创建带激活：0已激活可用；1已下线不可用’‘extra_info’varchar(64)DEFAULTNULLCOMMENT‘预留字段’PRIMARYKEY(‘id’))ENGINE＝InnoDBAUTO_INCREMENT＝10039DEFAULTCHARSET-utf8COMMENT＝’自增ID’样本录入使用示例分别如图3所示。类似地，通过在MDB上建立模型表，并通过API方式提供POST接口给前端，即可将模型信息存储至模型表中，模型表可以采用如下所示的形式表达：|sample|CREATETABLE‘model’(‘id’bigint(20)NOTNULLAUTO_INCREMENTCOMMENT本文档来自技高网...

【技术保护点】
1.一种深度学习模型发布方法，其特征在于，包括：接收第一用户的模型生成事件信息，将所述模型生成事件信息存储至数据库；将所述模型生成事件信息发送至第二用户；当接收到所述第二用户的预发布指令时，基于测试机和所述预发布指令中携带的所述已生成模型的模型生成事件信息，对所述目标网盘中已存储的所述已生成模型进行预发布，当所述已生成模型的运行情况符合第一预设条件时，将所述已生成模型发布至目标平台。

【技术特征摘要】
1.一种深度学习模型发布方法，其特征在于，包括：接收第一用户的模型生成事件信息，将所述模型生成事件信息存储至数据库；将所述模型生成事件信息发送至第二用户；当接收到所述第二用户的预发布指令时，基于测试机和所述预发布指令中携带的所述已生成模型的模型生成事件信息，对所述目标网盘中已存储的所述已生成模型进行预发布，当所述已生成模型的运行情况符合第一预设条件时，将所述已生成模型发布至目标平台。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述已生成模型的运行情况符合第一预设条件时，基于目标样本集对所述已生成模型进行评估，当评估结果符合第二预设条件时，将所述已生成模型发布至目标平台。3.根据权利要求1所述的方法，其特征在于，所述基于测试机和所述预发布指令中携带的所述已生成模型的模型生成事件信息，对所述目标网盘中已存储的所述已生成模型进行预发布包括：将所述模型生成事件信息发送至所述至测试机，由所述测试机根据所述模型生成事件信息，在所述目标网盘中查找所述已生成模型；控制所述测试机将查找到的所述已生成模型进行预发布。4.根据权利要求1所述的方法，其特征在于，所述将所述已生成模型发布至所述目标平台包括：向所述目标平台发送发布指令，所述发布指令中至少包括所述已生成模型的模型名称、路径信息和版本号，由所述目标平台将所述已生成模型添加至目标代码位置。5.根据权利要求1所述的方法，其特征在于，所述将所述已生成模型发布至目标平台之后，所述方法还包括：...

【专利技术属性】
技术研发人员：马国俊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44