System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及模型调用,特别涉及一种服务需求的响应方法、装置及电子设备。
技术介绍
1、大型语言模型(llm)以其卓越的任务处理能力,在各种任务中表现出色,但其巨大的规模和算力限制了其被广泛应用。
2、目前,主要解决方式为:将参数量较大的大语言模型蒸馏出参数量较小的专项模型,来解决大语言模型规模和算力均较大的问题,但专项模型通常只能解决一个特定的任务,针对包括多个任务的服务需求,则需要人为设定多个专项模型,耗时耗力,导致服务效率较低,并且,人为设定专项模型可能导致服务准确性较低。
技术实现思路
1、本申请实施例的目的在于提供一种服务需求的响应方法、装置及电子设备。
2、第一方面,本申请实施例提供了一种服务需求的响应方法,包括:
3、获取用户的服务需求;
4、对所述服务需求进行语义分析,得到服务规划,所述服务规划能够满足所述服务需求;
5、基于所述服务规划,确定调用模版和目标模型;
6、通过所述目标模型基于所述调用模版,响应所述服务需求。
7、在一种可能的实施方式中,所述对所述服务需求进行语义分析,得到服务规划,包括:
8、通过服务模型对所述服务需求进行语义分析,得到所述服务需求对应的服务领域;
9、基于所述服务领域对应的服务数据,针对所述服务需求生成所述服务规划,所述服务规划包括至少一个服务步骤。
10、在一种可能的实施方式中,所述基于所述服务规划,确定调用模版和目标
11、针对所述服务规划中的每个服务步骤,确定属性信息,所述属性信息包括服务类型和/或关键字;
12、基于所述属性信息,确定该服务步骤对应的调用模版和目标模型。
13、在一种可能的实施方式中,在基于所述服务规划,确定调用模版和目标模型之前,包括:
14、基于服务模型,生成多个服务子模型;
15、基于每个所述服务子模型的服务类型,生成该服务子模型的类型标签。
16、在一种可能的实施方式中,所述生成多个服务子模型,包括:
17、针对不同的服务领域以及不同的服务需求,对所述服务模型进行拆分处理,得到多个服务子模型;
18、所述拆分处理至少包括蒸馏拆分和知识库拆分。
19、在一种可能的实施方式中,基于所述属性信息,确定该服务步骤对应的目标模型,包括:
20、基于所述服务类型和/或所述关键字,从多个服务子模型中筛选出目标模型和/或所述目标模型对应的应用程序接口。
21、在一种可能的实施方式中,所述服务子模型的模型参数量小于所述服务模型的模型参数量。
22、在一种可能的实施方式中,在对所述服务需求进行语义分析,得到服务规划之前,包括:
23、获得训练集,所述训练集包括多个样本组,每个所述样本组包括需求样本、规划样本、模型样本和/或应用程序接口样本;
24、利用所述训练集对初始模型进行训练,得到训练好的服务模型。
25、第二方面,本申请实施例还提供了一种服务需求的响应装置,包括:
26、获得模块,其配置为获取用户的服务需求;
27、分析模块,其配置为对所述服务需求进行语义分析,得到服务规划,所述服务规划能够满足所述服务需求;
28、确定模块,其配置为基于所述服务规划,确定调用模版和目标模型;
29、响应模块,其配置为通过所述目标模型基于所述调用模版,响应所述服务需求。
30、第三方面,本申请实施例还提供了一种电子设备,包括:处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述任意一项所述的服务需求的响应方法的步骤。
31、第四方面,本申请实施例还提供了一种电子设备,包括上述主板。
32、本申请实施例的响应方法,能够针对用户的服务需求实时且自动生成对应的服务规划,并基于该服务规划灵活的选取对应的目标模型,以通过目标模型响应用户的服务需求,无需人为参与,省时省力,大大提高了服务效率以及服务准确性。
本文档来自技高网...【技术保护点】
1.一种服务需求的响应方法,其特征在于,包括:
2.根据权利要求1所述的响应方法,其特征在于,所述对所述服务需求进行语义分析,得到服务规划,包括:
3.根据权利要求2所述的响应方法,其特征在于,所述基于所述服务规划,确定调用模版和目标模型,包括:
4.根据权利要求3所述的响应方法,其特征在于,在基于所述服务规划,确定调用模版和目标模型之前,包括:
5.根据权利要求4所述的响应方法,其特征在于,所述生成多个服务子模型,包括:
6.根据权利要求4所述的响应方法,其特征在于,基于所述属性信息,确定该服务步骤对应的目标模型,包括:
7.根据权利要求4所述的响应方法,其特征在于,所述服务子模型的模型参数量小于所述服务模型的模型参数量。
8.根据权利要求2所述的响应方法,其特征在于,在对所述服务需求进行语义分析,得到服务规划之前,包括:
9.一种服务需求的响应装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,
...【技术特征摘要】
1.一种服务需求的响应方法,其特征在于,包括:
2.根据权利要求1所述的响应方法,其特征在于,所述对所述服务需求进行语义分析,得到服务规划,包括:
3.根据权利要求2所述的响应方法,其特征在于,所述基于所述服务规划,确定调用模版和目标模型,包括:
4.根据权利要求3所述的响应方法,其特征在于,在基于所述服务规划,确定调用模版和目标模型之前,包括:
5.根据权利要求4所述的响应方法,其特征在于,所述生成多个服务子模型,包括:
6.根据权利要求4所述的响应方法,其特征在于,基于所述属性信息,确定该服务步骤对应的目...
【专利技术属性】
技术研发人员:徐苑景,屠程远,
申请(专利权)人:联想新视界北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。