基于多种深度学习和机器学习框架的人工智能管理系统技术方案

本发明专利技术涉及AI服务开发技术领域，具体涉及一种基于多种深度学习和机器学习框架的人工智能管理系统；包括Notebook模块、数据管理模块、训练任务模块、模型管理模块、在线服务模块和资源管理模块，通过上模块，集数据导入、数据标注、算法开发、模型训练、模型评估、在线部署等功能于一体，可以显著的提升模型开发效率，支持团队快速打造智能业务；资源集中管理，用户一键式申请，完全免除用户搭建环境的时间，显著提升设备使用率以及降低运营成本。显著提升设备使用率以及降低运营成本。显著提升设备使用率以及降低运营成本。

【技术实现步骤摘要】
基于多种深度学习和机器学习框架的人工智能管理系统


[0001]本专利技术涉及AI服务开发
，尤其涉及一种基于多种深度学习和机器学习框架的人工智能管理系统。

技术介绍

[0002]AI服务开发涉及数据处理、算法开发、模型训练、模型评估、在线部署等多方面内容，如果开发团队只有几个开发人员，又或团队算法科学家居多而缺乏平台开发人员，就会面临因投入大量的工作来支持基础设施，从而分散他们的主要任务，为了提高模型开发效率，降低运营成本，一个针对AI/ML的管理平台也是必不可少的。
[0003]现有的AI服务开发的工具多而且分散，所涉及的技术差异大，开发人员需要运维和管理多种软硬件配置，明显降低了模型开发效率以及增加了运营成本。

技术实现思路

[0004]本专利技术的目的在于提供一种基于多种深度学习和机器学习框架的人工智能管理系统，旨在解决现有技术中AI服务开发的工具多而且分散，所涉及的技术差异大，开发人员需要运维和管理多种软硬件配置，明显降低了模型开发效率以及增加了运营成本的技术问题。
[0005]为实现上述目的，本专利技术提供了一种基于多种深度学习和机器学习框架的人工智能管理系统，所述基于多种深度学习和机器学习框架的人工智能管理系统包括Notebook模块、数据管理模块、训练任务模块、模型管理模块、在线服务模块和资源管理模块，所述Notebook模块用于开始开发机器的学习任务，所述数据管理模块与所述Notebook模块连接，并负责整个系统的文件存储与管理，所述训练任务模块与所述数据管理模块连接，并支持在线进行多种框架的模型训练，所述模型管理模块与所述训练任务模块连接，并用于模型集和模型文件的管理，所述在线服务模块与所述模型管理模块连接，并对模型管理中的模型进行服务化，所述资源管理模块与所述在线服务模块连接，并将物理资源传输至云端，且进行用户资源使用统计。
[0006]其中，所述Notebook模块包括第一前端UI子模块和JupyerLab子模块，所述第一前端UI子模块分别与所述数据管理模块和所述资源管理模块连接，所述第一前端UI子模块持用户基于web完成层的创建、查询、删除、修改、启动和停止，并将命令传输至所述数据管理模块和所述资源管理模块；所述JupyerLab子模块与所述数据管理模块连接，并提供基于web的在线开发能力。
[0007]其中，所述数据管理包括文件管理子模块和数据集管理子模块，所述文件管理子模块与所述第一前端UI子模块连接，所述文件管理子模块支持三种存储类型，分别为本地存储、对象存储和云硬盘；所述数据集管理子模块与所述文件管理子模块连接，所述数据集管理子模块支持数据集的创建和编辑。
[0008]其中，所述数据管理还包括团队标注子模块，所述团队标注子模块与所述文件管
理子模块连接，所述团队标注子模块用于标注团队和标注任务的管理。
[0009]其中，所述训练任务模块包括第二前端UI子模块和MLNeuron子模块和Tensorboard子模块，所述第二前端UI子模块与所述数据管理模块连接，并用于输入训练任务的请求命令，以及提供训练任务的版本化管理；所述MLNeuron子模块与所述第二前端UI子模块连接，所述MLNeuron子模块根据请求命令构建mlneuron CRD并生成job；所述Tensorboard子模块与所述第二前端UI子模块连接，所述Tensorboard子模块根据请求命令将配置信息发送给所述资源管理模块，并创建训练任务对应的Tensorboard容器。
[0010]其中，所述模型管理模块包括模型集管理子模块和模型文件管理子模块，所述模型集管理子模块与所述训练任务模块连接，所述模型集管理子模块支持模型集的创建和编辑；所述模型文件管理子模块与所述训练任务模块连接，所述模型文件管理子模块获取数据管理或者训练任务输出的模型文件。
[0011]本专利技术的一种基于多种深度学习和机器学习框架的人工智能管理系统，集数据导入、数据标注、算法开发、模型训练、模型评估、在线部署等功能于一体，可以显著的提升模型开发效率，支持团队快速打造智能业务；资源集中管理，用户一键式申请，完全免除用户搭建环境的时间，显著提升设备使用率以及降低运营成本。
附图说明
[0012]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1是本专利技术提供的基于多种深度学习和机器学习框架的人工智能管理系统的运行原理图。
[0014]图2是本专利技术提供的Notebook模块的运行原理图。
[0015]图3是本专利技术提供的数据管理模块的运行原理图。
[0016]图4是本专利技术提供的模型管理模块的运行原理图。
[0017]图5是本专利技术提供的资源管理模块的运行原理图。
具体实施方式
[0018]请参阅图1至图5，本专利技术提供一种基于多种深度学习和机器学习框架的人工智能管理系统，所述基于多种深度学习和机器学习框架的人工智能管理系统包括Notebook模块、数据管理模块、训练任务模块、模型管理模块、在线服务模块和资源管理模块，所述Notebook模块用于开始开发机器的学习任务，所述数据管理模块与所述Notebook模块连接，并负责整个系统的文件存储与管理，所述训练任务模块与所述数据管理模块连接，并支持在线进行多种框架的模型训练，所述模型管理模块与所述训练任务模块连接，并用于模型集和模型文件的管理，所述在线服务模块与所述模型管理模块连接，并对模型管理中的模型进行服务化，所述资源管理模块与所述在线服务模块连接，并将物理资源传输至云端，且进行用户资源使用统计。
[0019]在本实施方式中，所述基于多种深度学习和机器学习框架的人工智能管理系统采
用以下业务流程：
[0020]在线标注：用户上传数据集后，可以创建标注任务，支持多人协同完成数据集标注，支持的数据包括图像、声音、文本等
[0021]训练数据存储：用户可以将训练数据与脚本上传至平台，支持S3、Cinder、GlusterFS等多种本地存储与网络存储
[0022]在线调试：用户一键式申请Jupyter Lab环境，内置多种常用框架和算法，支持用户边调试边运行
[0023]模型训练：用户可一键发起训练任务，支持多种机器学习/深度学习框架。
[0024]通过所述Notebook模块、所述数据管理模块、所述训练任务模块、所述模型管理模块、所述在线服务模块和所述资源管理模块，形成的所述基于多种深度学习和机器学习框架的人工智能系统，集数据导入、数据标注、算法开发、模型训练、模型评估、在线部署等功能于一体，可以显著的提升模型开发效率，支持团队快速打造智能业务；资源集中管理，用户一键式申请，完全免除用户搭建环境的时间，显著提升设备使用率以及降低运营成本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多种深度学习和机器学习框架的人工智能管理系统，其特征在于，所述基于多种深度学习和机器学习框架的人工智能管理系统包括Notebook模块、数据管理模块、训练任务模块、模型管理模块、在线服务模块和资源管理模块，所述Notebook模块用于开始开发机器的学习任务，所述数据管理模块与所述Notebook模块连接，并负责整个系统的文件存储与管理，所述训练任务模块与所述数据管理模块连接，并支持在线进行多种框架的模型训练，所述模型管理模块与所述训练任务模块连接，并用于模型集和模型文件的管理，所述在线服务模块与所述模型管理模块连接，并对模型管理中的模型进行服务化，所述资源管理模块与所述在线服务模块连接，并将物理资源传输至云端，且进行用户资源使用统计。2.如权利要求1所述的基于多种深度学习和机器学习框架的人工智能管理系统，其特征在于，所述Notebook模块包括第一前端UI子模块和JupyerLab子模块，所述第一前端UI子模块分别与所述数据管理模块和所述资源管理模块连接，所述第一前端UI子模块持用户基于web完成层的创建、查询、删除、修改、启动和停止，并将命令传输至所述数据管理模块和所述资源管理模块；所述JupyerLab子模块与所述数据管理模块连接，并提供基于web的在线开发能力。3.如权利要求2所述的基于多种深度学习和机器学习框架的人工智能管理系统，其特征在于，所述数据管理包括文件管理子模块和数据集管理子模块，所述文件管理子模块与所述第一前端UI子模块连接，所述文件管理子模块支持三种存储类...

【专利技术属性】
技术研发人员：文晖，
申请(专利权)人：紫光云南京数字技术有限公司，
类型：发明
国别省市：