【技术实现步骤摘要】
本专利技术涉及人工智能，具体而言，涉及多类型模型的管理调度方法、装置、设备及可读存储介质。
技术介绍
1、当前技术在模型调度方面主要通过容器化技术，如kubernetes实现模型的实时服务调度，在这种调度方式下，需要针对每个模型接口分别启动一个对应的pod专门为此模型提供服务接口。上述调度方式不考虑模型之间技术和业务领域的相近性，把每个模型作为完全独立的个体，将数据进行完全隔离，造成参数的重复配置和模型资源的浪费等问题。随着a i模型对算力需求的增加，在技术或业务相近的模型数量多而使用率不高时，现有调度方式会导致资源的大量浪费，并因数据隔离而影响模型性能。
技术实现思路
1、本专利技术的目的在于提供一种多类型模型的管理调度方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本专利技术采取的技术方案如下：
2、第一方面，本申请提供了一种多类型模型的管理调度方法，包括：
3、在控制平台添加模型，配置模型的基础信息和模型参数，所述模型包括模型容器、job批处理任务模型以及实时模型；
4、分别为添加的模型容器、job批处理任务模型以及实时模型创建对应的服务，并定义服务的运行参数和环境；
5、将模型容器的内部端口映射至宿主机的端口，供外部请求访问；
6、根据实时模型的基础信息将其与对应的模型容器进行关联，用于承载控制平台发出的启停控制消息；
7、根据模型容器的基础信息，通过调用kubernetes的接口，创
8、根据job批处理任务模型的基础信息，调用kubernetes的接口创建并启动对应job批处理任务模型服务；
9、调用模型容器的接口，启动、停止或修改对应的实时模型服务；
10、控制平台实时监测实时模型服务的运行状态和job批处理任务模型服务的处理状态。
11、第二方面，本申请还提供了一种多类型模型的管理调度装置，包括：
12、添加模型模块：用于在控制平台添加模型，配置模型的基础信息和模型参数，所述模型包括模型容器、job批处理任务模型以及实时模型；
13、服务创建模块：用于分别为添加的模型容器、job批处理任务模型以及实时模型创建对应的服务，并定义服务的运行参数和环境；
14、端口映射模块：用于将模型容器的内部端口映射至宿主机的端口，供外部请求访问；
15、模型关联模块：用于根据实时模型的基础信息将其与对应的模型容器进行关联，用于承载控制平台发出的启停控制消息；
16、容器启动模块：用于根据模型容器的基础信息，通过调用kubernetes的接口，创建并启动模型容器服务；
17、第一服务调度模块：用于根据job批处理任务模型的基础信息，调用kubernetes的接口创建并启动对应job批处理任务模型服务；
18、第二服务调度模块：用于调用模型容器的接口，启动、停止或修改对应的实时模型服务；
19、状态监测模块：用于控制平台实时监测实时模型服务的运行状态和job批处理任务模型服务的处理状态。
20、第三方面，本申请还提供了一种多类型模型的管理调度设备，包括：
21、存储器，用于存储计算机程序；
22、处理器，用于执行所述计算机程序时实现所述多类型模型的管理调度方法的步骤。
23、第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多类型模型的管理调度方法的步骤。
24、本专利技术的有益效果为：
25、本专利技术通过集中管理平台，优化了模型资源的灵活控制和模型服务的开关使能，解决了现有技术中模型独立运行导致的资源浪费问题。本专利技术提供的模型容器允许多个技术或业务相近的模型共享资源，既减少了资源的重复配置和隔离问题，又能更好的进行各业务逻辑模型的独立控制与调整。此外，本专利技术根据系统并发度和模型需求动态计算需求资源，自动扩容和收缩资源，优化了资源利用率。还通过实时监控和灵活调度，增强了模型服务的响应速度和系统的可维护性，适用于需要处理大量模型和高并发请求的复杂业务场景。
26、本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
本文档来自技高网...【技术保护点】
1.一种多类型模型的管理调度方法，其特征在于，包括：
2.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,在控制平台添加模型，配置模型的基础信息和模型参数，包括：
3.根据权利要求1所述的多类型模型的管理调度方法，其特征在于，根据模型容器的基础信息，通过调用Kubernetes的接口，创建并启动模型容器服务,包括：
4.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,调用模型容器的接口，启动、停止或修改对应的实时模型服务，包括：
5.一种多类型模型的管理调度装置，其特征在于，包括：
6.根据权利要求5所述的多类型模型的管理调度装置，其特征在于，所述添加模型模块包括：
7.根据权利要求5所述的多类型模型的管理调度装置，其特征在于，所述容器启动模块包括：
8.根据权利要求5所述的多类型模型的管理调度装置，其特征在于，所述第二服务调度模块包括：
9.一种多类型模型的管理调度设备，其特征在于，包括：
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计
...【技术特征摘要】
1.一种多类型模型的管理调度方法，其特征在于，包括：
2.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,在控制平台添加模型，配置模型的基础信息和模型参数，包括：
3.根据权利要求1所述的多类型模型的管理调度方法，其特征在于，根据模型容器的基础信息，通过调用kubernetes的接口，创建并启动模型容器服务,包括：
4.根据权利要求1所述的多类型模型的管理调度方法，其特征在于,调用模型容器的接口，启动、停止或修改对应的实时模型服务，包括：
5.一种多类型模型的管理调度装置，其特征在于，...
【专利技术属性】
技术研发人员：朱金华，王超，李鹏飞，左健豪，潘明远，党泽荣，周俊宇，耿驰，谢涛，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。