本申请提供一种多模型热更新方法及装置，该多模型热更新方法包括：预先定义模型服务CRD资源和AI模型的CRD资源；运行模型服务CRD资源对应的AI推理模型服务；检查AI推理模型服务是否正常运行；如果是，则通过AI推理模型服务申请AI模型的CRD资源；对AI模型的CRD资源进行实例化，得到推理服务实例；获取待更新版本的目标多模型并装载；在推理服务实例中运行目标多模型，以及根据目标多模型在推理服务实例中进行模板版本的更新。可见，实施这种实施方式，能够支持多模型服务的运行和热更新，减小资源浪费。资源浪费。资源浪费。
【技术实现步骤摘要】
一种多模型热更新方法及装置
[0001]本申请涉及计算机
，具体而言，涉及一种多模型热更新方法及装置。
技术介绍
[0002]AI推理是指使用经过训练的神经网络、深度学习模型或专家系统进行预测的过程。根据专家系统知识库中包含的事实和规则或从深度学习AI系统派生的算法模型做出决策。现在的AI架构借助AI芯片/显卡可以并行执行神经网络中的大量计算来提升推理效率。现有的AI推理模型服务化要么针对某个框架独占AI芯片/显卡，要么仅针对一种框架(比如：tensorflow)可以实现多模型共享AI芯片/显卡。AI推理模型版本热更新功能同样存在类似问题。可见，现有方法无法支持多模型服务的运行和热更新，造成极大的资源浪费。
技术实现思路
[0003]本申请实施例的目的在于提供一种多模型热更新方法及装置，能够支持多模型服务的运行和热更新，减小资源浪费。
[0004]本申请实施例第一方面提供了一种多模型热更新方法，包括：
[0005]预先定义模型服务CRD资源和AI模型的CRD资源；
[0006]运行所述模型服务CRD资源对应的AI推理模型服务；
[0007]检查AI推理模型服务是否正常运行；
[0008]如果是，则通过所述AI推理模型服务申请所述AI模型的CRD资源；
[0009]对所述AI模型的CRD资源进行实例化，得到推理服务实例；
[0010]获取待更新版本的目标多模型并装载；
[0011]在所述推理服务实例中运行所述目标多模型，以及根据所述目标多模型在所述推理服务实例中进行模板版本的更新。
[0012]在上述实现过程中，该方法可以优先预先定义模型服务CRD资源和AI模型的CRD资源；再运行模型服务CRD资源对应的AI推理模型服务；然后，检查AI推理模型服务是否正常运行；并在AI推理模型服务正常运行时，通过AI推理模型服务申请AI模型的CRD资源；并对AI模型的CRD资源进行实例化，得到推理服务实例；再后，获取待更新版本的目标多模型并装载；最后再在推理服务实例中运行目标多模型，以及根据目标多模型在推理服务实例中进行模板版本的更新。可见，实施这种实施方式，能够支持多模型服务的运行和热更新，减小资源浪费。
[0013]进一步地，所述模型服务CRD资源用于确定与待部署AI模型的框架类型相适配的推理引擎服务器；
[0014]所述AI模型的CRD资源用于定义待部署AI模型的模型名称、模型仓库地址、版本信息。
[0015]进一步地，所述通过所述AI推理模型服务申请所述AI模型的CRD资源，包括：
[0016]使用所述AI推理模型服务通过容器编排引擎的调度机制申请所述AI模型的CRD资
源。
[0017]进一步地，所述运行所述模型服务CRD资源对应的AI推理模型服务，包括：
[0018]调用Kubernetes的应用程序编程接口服务；
[0019]通过所述应用程序编程接口服务在Kubernetes中运行所述模型服务CRD资源对应的AI推理模型服务。
[0020]进一步地，所述通过所述AI推理模型服务申请所述AI模型的CRD资源，包括：
[0021]获取预先配置的资源参数；
[0022]根据所述资源参数和Kubernetes的调度机制，通过所述AI推理模型服务申请所述AI模型的CRD资源。
[0023]进一步地，在根据所述目标多模型在所述推理服务实例中进行模板版本的更新之后，包括：
[0024]通过所述AI推理模型服务以HTTP接口的方式提供所述目标多模型的调用服务。
[0025]本申请实施例第二方面提供了一种多模型热更新装置，所述多模型热更新装置包括：
[0026]定义单元，用于预先定义模型服务CRD资源和AI模型的CRD资源；
[0027]服务运行单元，用于运行所述模型服务CRD资源对应的AI推理模型服务；
[0028]检查单元，用于检查AI推理模型服务是否正常运行；
[0029]申请单元，用于当判断出所述AI推理模型服务正常运行时，通过所述AI推理模型服务申请所述AI模型的CRD资源；
[0030]实例化单元，用于对所述AI模型的CRD资源进行实例化，得到推理服务实例；
[0031]获取单元，用于获取待更新版本的目标多模型并装载；
[0032]模型运行单元，用于在所述推理服务实例中运行所述目标多模型；
[0033]更新单元，用于根据所述目标多模型在所述推理服务实例中进行模板版本的更新。
[0034]在上述实现过程中，多模型热更新装置可以通过定义单元预先定义模型服务CRD资源和AI模型的CRD资源；通过服务运行单元运行模型服务CRD资源对应的AI推理模型服务；通过检查单元检查AI推理模型服务是否正常运行；通过申请单元在判断出AI推理模型服务正常运行时，通过AI推理模型服务申请AI模型的CRD资源；通过实例化单元，用于对AI模型的CRD资源进行实例化，得到推理服务实例；通过获取单元获取待更新版本的目标多模型并装载；通过模型运行单元在推理服务实例中运行目标多模型；通过更新单元来根据目标多模型在推理服务实例中进行模板版本的更新。可见，实施这种实施方式，能够支持多模型服务的运行和热更新，减小资源浪费。
[0035]进一步地，所述模型服务CRD资源用于确定与待部署AI模型的框架类型相适配的推理引擎服务器；所述AI模型的CRD资源用于定义待部署AI模型的模型名称、模型仓库地址、版本信息。
[0036]进一步地，所述申请单元，具体用于当判断出所述AI推理模型服务正常运行时，使用所述AI推理模型服务通过容器编排引擎的调度机制申请所述AI模型的CRD资源。
[0037]进一步地，所述服务运行单元包括：
[0038]调用子单元，用于调用Kubernetes的应用程序编程接口服务；
[0039]运行子单元，用于通过所述应用程序编程接口服务在Kubernetes中运行所述模型服务CRD资源对应的AI推理模型服务。
[0040]进一步地，所述申请单元包括：
[0041]获取子单元，用于获取预先配置的资源参数；
[0042]申请子单元，用于根据所述资源参数和Kubernetes的调度机制，通过所述AI推理模型服务申请所述AI模型的CRD资源。
[0043]进一步地，所述多模型热更新装置还包括：
[0044]服务提供单元，用于在根据所述目标多模型在所述推理服务实例中进行模板版本的更新之后，通过所述AI推理模型服务以HTTP接口的方式提供所述目标多模型的调用服务。
[0045]本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的多模型热更新方法。
[0046]本申请实施例第四方面提供了一种计算机可读存储介质，其存储有本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模型热更新方法，其特征在于，包括：预先定义模型服务CRD资源和AI模型的CRD资源；运行所述模型服务CRD资源对应的AI推理模型服务；检查AI推理模型服务是否正常运行；如果是，则通过所述AI推理模型服务申请所述AI模型的CRD资源；对所述AI模型的CRD资源进行实例化，得到推理服务实例；获取待更新版本的目标多模型并装载；在所述推理服务实例中运行所述目标多模型，以及根据所述目标多模型在所述推理服务实例中进行模板版本的更新。2.根据权利要求1所述的多模型热更新方法，其特征在于，所述模型服务CRD资源用于确定与待部署AI模型的框架类型相适配的推理引擎服务器；所述AI模型的CRD资源用于定义待部署AI模型的模型名称、模型仓库地址、版本信息。3.根据权利要求1所述的多模型热更新方法，其特征在于，所述通过所述AI推理模型服务申请所述AI模型的CRD资源，包括：使用所述AI推理模型服务通过容器编排引擎的调度机制申请所述AI模型的CRD资源。4.根据权利要求1所述的多模型热更新方法，其特征在于，所述运行所述模型服务CRD资源对应的AI推理模型服务，包括：调用Kubernetes的应用程序编程接口服务；通过所述应用程序编程接口服务在Kubernetes中运行所述模型服务CRD资源对应的AI推理模型服务。5.根据权利要求1所述的多模型热更新方法，其特征在于，所述通过所述AI推理模型服务申请所述AI模型的CRD资源，包括：获取预先配置的资源参数；根据所述资源参数和Kubernetes的调度机制，通过所述AI推理模型服务申请所述AI模型的CRD资源。6.根据权...
【专利技术属性】
技术研发人员：陆则权，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。