System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 模型应用的开发方法、装置、设备及存储介质制造方法及图纸_技高网

模型应用的开发方法、装置、设备及存储介质制造方法及图纸

技术编号:43122086 阅读:8 留言:0更新日期:2024-10-26 10:00
本公开涉及一种服务编排方法、装置、设备及存储介质。基于第一用户针对算子节点执行的拖拽操作构造有向无环图,有向无环图包括多个算子节点以及用于表征不同算子节点之间的依赖关系的有向边,算子节点用于表征模型应用为提供模型服务而执行的处理流程中的一个处理步骤;基于第一用户针对至少一个算子节点执行的配置操作,确定算子节点的配置信息;基于有向无环图中不同算子节点之间的依赖关系以及各个算子节点的配置信息,将有向无环图部署为模型应用。由此可以降低模型应用开发成本。

【技术实现步骤摘要】

本公开涉及计算机,特别是涉及一种模型应用的开发方法、装置、设备及存储介质


技术介绍

1、随着人工智能技术的快速发展,生成式模型在多种应用场景中发挥着重要作用。

2、然而,现阶段模型应用的开发主要以开发人员编写代码为主,这种开发方式的门槛较高,且代码维护成本较高。

3、因此,需要一种能够降低模型应用开发成本的模型应用开发方案。


技术实现思路

1、本公开要解决的一个技术问题是,如何提供一种能够降低模型应用开发成本的模型应用开发方案。

2、根据本公开的第一个方面,提供了一种模型应用的开发方法,所述模型应用用于基于生成式模型提供模型服务,所述方法包括:基于第一用户针对算子节点执行的拖拽操作构造有向无环图,所述有向无环图包括多个算子节点以及用于表征不同算子节点之间的依赖关系的有向边,所述算子节点用于表征所述模型应用为提供所述模型服务而执行的处理流程中的一个处理步骤;基于所述第一用户针对至少一个所述算子节点执行的配置操作,确定所述算子节点的配置信息;基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的配置信息,将所述有向无环图部署为所述模型应用。

3、可选地,基于第一用户针对至少一个所述算子节点执行的配置操作,确定所述算子节点的配置信息,包括:基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的当前配置信息,运行所述有向无环图以处理测试请求;输出所述有向无环图中至少一个算子节点的辅助调试信息;接收所述第一用户基于所述辅助调试信息而对所述算子节点执行的配置操作,并基于所述配置操作调整所述算子节点的配置信息。

4、可选地,所述辅助调试信息包括以下至少一项:所述算子节点的输入;所述算子节点的输出;所述算子节点的运行时间;所述算子节点的计算资源消耗情况。

5、可选地,所述多个算子节点包括:输入算子,用于接收第二用户的输入;一个或多个召回算子,每个所述召回算子均与所述输入算子通过有向边连接,且该有向边的方向由所述输入算子指向所述召回算子,所述召回算子用于从语料库中召回与所述输入相关的查询信息;召回合并算子,所述召回合并算子与各个所述召回算子通过有向边连接,且该有向边的方向由所述召回算子指向所述召回合并算子,所述召回合并算子用于合并各个所述召回算子的至少部分召回结果;模型输入算子,所述模型输入算子分别与所述召回合并算子和所述输入算子通过有向边连接,且该有向边的方向由所述召回合并算子或所述输入算子指向所述模型输入算子,所述模型输入算子用于基于所述输入和所述召回合并算子输出的合并结果,生成适于输入生成式模型的输入提示;模型调用算子,所述模型调用算子与所述模型输入算子通过有向边连接,且该有向边的方向由所述模型输入算子指向所述模型调用算子,所述模型调用算子用于基于所述输入提示调用生成式模型得到与所述输入对应的应答信息;以及输出算子,所述输出算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述模型调用算子指向所述输出算子,所述输出算子用于输出所述应答信息。

6、可选地,所述输入为语音输入,所述多个算子还包括自动语音识别算子,所述自动语音识别算子与所述输入算子通过有向边连接,且该有向边的方向由所述输入算子指向所述自动语音识别算子,所述自动语音识别算子用于将所述语音输入转换为文本信息,所述自动语音识别算子还分别与所述召回算子和所述模型输入算子连接,且该有向边的方向由所述自动语音识别算子指向所述召回算子或所述模型输入算子,所述自动语音识别算子的输出用于作为所述召回算子和所述模型输入算子的输入。

7、可选地,所述多个算子还包括重排序算子,所述重排序算子与各个所述召回算子通过有向边连接,且该有向边的方向由所述召回算子指向所述重排序算子,所述重排序算子用于对所述召回算子的召回结果进行评估和排序,并基于排序结果从中选取第一数量个召回结果;所述重排序算子还与所述召回合并算子通过有向边连接,且该有向边的方向由所述重排序算子指向所述召回合并算子,所述召回合并算子用于对所述重排序算子输出的所述第一数量个召回结果进行合并;或者所述重排序算子与所述召回合并算子通过有向边连接,且该有向边的方向由所述召回合并算子指向所述重排序算子,所述重排序算子对所述召回合并算子合并后的召回结果进行评估和排序,并基于排序结果从中选取第二数量个召回结果;所述重排序算子还与所述模型输入算子通过有向边连接,且该有向边的方向由所述重排序算子指向所述模型输入算子,所述重排序算子输出的所述第二数量个召回结果用于作为所述模型输入算子的输入。

8、可选地,所述多个算子还包括一个或多个工具算子,每个所述工具算子对应一种工具服务,所述工具算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述工具算子指向所述模型调用算子,所述工具算子用于为所述模型调用算子提供调用所述工具服务的能力,使得所述模型调用算子能够通过调用所述工具服务生成所述应应答信息。

9、可选地,所述多个算子还包括一个或多个自定义算子,所述自定义算子用于基于所述第一用户提供的自定义文件提供自定义服务。

10、可选地,所述多个算子还包括文本转语音算子,所述文本转语音算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述模型调用算子指向所述文本转语音算子,所述文本转语音算子用于将所述模型调用算子输出的应答信息转换为语音输出,所述文本转语音算子还与所述输出算子通过有向边连接,且该有向边的方向由所述文本转语音算子指向所述输出算子,所述输出算子用于播报所述语音输出。

11、可选地,所述配置信息包括以下至少一项:所述算子节点所使用的算法名称;与所述算子节点所使用的算法相关的算法参数。

12、根据本公开的第二个方面,提供了一种模型应用的开发装置,所述模型应用用于基于生成式模型提供模型服务,所述装置包括:构造模块,用于基于第一用户针对算子节点执行的拖拽操作构造有向无环图,所述有向无环图包括多个算子节点以及用于表征不同算子节点之间的依赖关系的有向边,所述算子节点用于表征所述模型应用为提供所述模型服务而执行的处理流程中的一个处理步骤;配置模块,用于基于所述第一用户针对至少一个所述算子节点执行的配置操作,确定所述算子节点的配置信息;部署模块,用于基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的配置信息,将所述有向无环图部署为所述模型应用。

13、可选地,所述配置模块包括:运行模块,用于基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的当前配置信息,运行所述有向无环图以处理测试请求;输出模块,用于输出所述有向无环图中至少一个算子节点的辅助调试信息;接收模块,用于接收所述第一用户基于所述辅助调试信息而对所述算子节点执行的配置操作,并基于所述配置操作调整所述算子节点的配置信息。

14、可选地,所述辅助调试信息包括以下至少一项:所述算子节点的输入;所述算子节点的输出;所述算子节点的运行时间;所述算子节点的计算资源消耗情况。<本文档来自技高网...

【技术保护点】

1.一种模型应用的开发方法,其特征在于,所述模型应用用于基于生成式模型提供模型服务,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多个算子节点包括:

3.根据权利要求2所述的方法,其特征在于,

4.根据权利要求2所述的方法,其特征在于,

5.根据权利要求2所述的方法,其特征在于,

6.根据权利要求2所述的方法,其特征在于,

7.一种模型应用的开发装置,其特征在于,所述模型应用用于基于生成式模型提供模型服务,所述装置包括:

8.一种计算设备,包括:

9.一种计算机程序产品,包括可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至6中任何一项所述的方法。

10.一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至6中任何一项所述的方法。

【技术特征摘要】

1.一种模型应用的开发方法,其特征在于,所述模型应用用于基于生成式模型提供模型服务,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多个算子节点包括:

3.根据权利要求2所述的方法,其特征在于,

4.根据权利要求2所述的方法,其特征在于,

5.根据权利要求2所述的方法,其特征在于,

6.根据权利要求2所述的方法,其特征在于,

7.一种模型应用的开...

【专利技术属性】
技术研发人员:颜丙政戴振衡闵蕾
申请(专利权)人:第四范式北京技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1