System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及人工智能、深度学习,具体涉及一种基于人工智能平台的目标模型的推理加速方法及设备。
技术介绍
1、深度学习模型、机器学习模型和大语言模型等人工智能模型为数据分析或处理的重要技术,在相关技术中,人工智能模型通常被布置在人工智能平台,终端通过人工智能平台以实现对人工智能模型的训练和推理应用。但在相关技术中,若有多个用户同事对人工智能模型进行访问或人工智能模型需要处理数据较多的情况下,人工智能模型会占用较多资源,在占用的资源大于被分配的资源时会导致人工智能模型的推理速度较慢。
2、可见,相关技术中存在人工智能模型在访问请求较大时,推理速度较慢的问题。
技术实现思路
1、本专利技术实施例提供一种基于人工智能平台的目标模型的推理加速方法及设备,以相关技术中存在学习模型的推理速度较低的问题。
2、为解决上述问题,本专利技术是这样实现的:
3、第一方面,本专利技术实施例提供一种基于人工智能平台的目标模型的推理加速方法,所述目标模型包括多个步骤,每个步骤分别部署在不同的实例中,所述每个步骤对应至少一个实例,所述目标模型被部署为模型服务,所述方法包括:
4、在所述目标模型的推理过程中,获取所述多个步骤中每个步骤对应的硬件资源占用数据,以及所述每个步骤对应的设定负载阈值;
5、在所述多个步骤中存在至少一个目标步骤的情况下,扩展所述目标步骤对应的实例,所述目标步骤为对应的所述硬件资源占用数据大于对应的所述设定负载阈值的步骤。
...【技术保护点】
1.一种基于人工智能平台的目标模型的推理加速方法,其特征在于,所述目标模型包括多个步骤,每个步骤分别部署在不同的实例中,所述每个步骤对应至少一个实例,所述目标模型被部署为模型服务,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取所述多个步骤中每个步骤对应的硬件资源占用数据,以及所述每个步骤对应的设定负载阈值,包括:
3.根据权利要求1所述的方法,其特征在于,所述至少一个实例中每个实例对应一个容器,所述在所述多个步骤中存在至少一个目标步骤的情况下,扩展所述目标步骤对应的实例,包括:
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述目标模型的推理过程中,获取所述多个步骤中每个步骤对应的硬件资源占用数据,以及所述每个步骤对应的设定负载阈值之后,所述方法还包括:
5.根据权利要求1至3中任一项所述的方法,其特征在于,在所述目标步骤扩展后的对应的实例为多个实例的情况下,所述多个实例的输入共享所述目标步骤的上一级步骤对应的实例的输出。
6.根据权利要求1至3中任一项所述的方法,其特征在于,所述获取所述多
7.根据权利要求1至6中任一项所述的方法,其特征在于,还包括:
8.根据权利要求7所述的方法,其特征在于,所述模型信息包括模型结构、模型占用内存和模型权重精度,所述根据所述初始模型的模型信息确定所述初始模型对应的优化方法,包括:
9.如权利要求7所述的方法,其特征在于,所述根据所述优化方法对所述初始模型进行处理,得到所述目标模型之后,所述方法还包括:
10.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的基于人工智能平台的目标模型的推理加速方法中的步骤。
...【技术特征摘要】
1.一种基于人工智能平台的目标模型的推理加速方法,其特征在于,所述目标模型包括多个步骤,每个步骤分别部署在不同的实例中,所述每个步骤对应至少一个实例,所述目标模型被部署为模型服务,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取所述多个步骤中每个步骤对应的硬件资源占用数据,以及所述每个步骤对应的设定负载阈值,包括:
3.根据权利要求1所述的方法,其特征在于,所述至少一个实例中每个实例对应一个容器,所述在所述多个步骤中存在至少一个目标步骤的情况下,扩展所述目标步骤对应的实例,包括:
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述目标模型的推理过程中,获取所述多个步骤中每个步骤对应的硬件资源占用数据,以及所述每个步骤对应的设定负载阈值之后,所述方法还包括:
5.根据权利要求1至3中任一项所述的方法,其特征在于,在所述目标步骤扩展后的对应的实例为多个...
【专利技术属性】
技术研发人员:路明奎,
申请(专利权)人:北京九章云极科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。