System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于具身检索增强的大模型执行方法、系统和介质技术方案_技高网

一种基于具身检索增强的大模型执行方法、系统和介质技术方案

技术编号:42501978 阅读:19 留言:0更新日期:2024-08-22 14:15
本申请涉及具身智能技术领域,具体公开了一种基于具身检索增强的大模型执行方法、系统和介质,执行方法主要包括:获取具身智能体执行示例,执行示例为任务指令I和基于任务指令I的动作序列A;构建以任务指令I作为键,以基于任务指令I的动作序列A作为值的检索库C;计算相关性分数Score;根据相关性分数Score以任务指令I和动作序列A构建执行逻辑集合根据执行逻辑集合构建输出内容。本申请通过获取执行示例自适应地检索相关的执行示例,随后将这些示例作为上下文中的一部分,从中提取关键信息,让模型能有更可靠的学习参照内容,从而提高模型对语义的理解能力以及对常识的推理能,最终能够推理出更加正确的执行动作。

【技术实现步骤摘要】

本申请涉及具身智能,尤其涉及一种基于具身检索增强的大模型执行方法、一种基于具身检索增强的大模型执行系统以及一种可读存储介质。


技术介绍

1、具身执行是具身智能的核心之一,它负责将基础的自然语言指令翻译成机器人可以理解和执行的实际动作,其关键在于如何将虚拟世界的认知映射到实际操作中,以及如何应对执行过程中的不确定性和变化。

2、目前以大模型为核心的具身执行方法主要依据人工预先设计的提示模版来激发其能力,根据给定的任务指令,来预测执行动作。

3、但在实施相关技术方案的过程中,发现至少存在存下技术问题:在执行任务时,模型需要能够生成符合任务指令的具体动作序列,并进行规划以确保生成的动作能够成功执行,但在面临需要语义理解或常识推理的复杂任务时,由于缺乏对语义的理解能力以及对常识的推理能,大模型往往会产生臆想,导致生成的动作脱离实际情境,不利于具身智能体的执行。


技术实现思路

1、本申请通过提供一种基于检索增强的模型执行方法、系统和介质,解决了现有技术中模型在面临需要语义理解或常识推理的复杂任务时,由于缺乏对语义的理解能力以及对常识的推理能,大模型往往会产生臆想,导致生成的动作脱离实际情境,让模型能有更可靠的学习参照内容,从而提高模型对语义的理解能力以及对常识的推理能,最终能够推理出更加正确的执行动作。

2、本申请提供了一种基于具身检索增强的大模型执行方法,其包括以下步骤:

3、s1、获取具身智能体执行示例,所述执行示例为任务指令i和基于任务指令i的动作序列a;

4、s2、构建以任务指令i作为键,以基于任务指令i的动作序列a作为值的检索库c;

5、s3、将给定的任务指令it与检索库c中的任务指令i和动作序列a进行对比并计算相关性分数score;

6、s4、根据相关性分数score以任务指令i和动作序列a构建执行逻辑集合其中,cj代表任务,任务包括指令i和基于任务指令i的动作序列a,k代表执行逻辑的数量;

7、s5、根据执行逻辑集合构建输出内容。

8、通过获取执行示例自适应地检索相关的执行示例,随后将这些示例作为上下文中的一部分,从中提取关键信息,让模型能有更可靠的学习参照内容,从而提高模型对语义的理解能力以及对常识的推理能,最终能够推理出更加正确的执行动作。

9、进一步地,在s1中,获取具身智能体执行示例具体为:采用爬虫程序采集互联网上的具身智能执行示例。

10、进一步地,在构建以任务指令i作为键,以基于任务指令i的动作序列a作为值的检索库c中,任务指令i和基于任务指令i的动作序列a为筛选后的执行示例。

11、进一步地,所述筛选方法为:计算经过数据预处理后每对执行示例的相似度s,删除相似度s大于预设阈值的每对执行示例中的任意一个执行示例;运行执行示例并删除运行执行失败的执行示例。

12、进一步地,相似度s为:其中,x和y分别代表两个执行示例的向量表示,‖x‖和‖y‖分别代表两个执行示例向量的模长。

13、进一步地,相关性分数score包括相关性分数scoretf-idf,计算相关性分数scoretf-idf的方法包括:

14、s311、获取给定的任务指令it的关键词频率tf和逆文档频率idf,tf为:idf为:其中,wi代表关键词,n(wi,it)代表关键词wi出现在任务指令it中的频率,l代表任务指令it中关键词的个数,|c|代表检索库c中候选任务的个数;

15、s312、计算关键词频率tf和逆文档频率idf的相关性分数scoretf-idf,scoretf-idf为:scoretf-idf(cj,it)=∑tf(wi,it)×idf(cj,wi)。

16、进一步地,相关性分数score包括相关性分数scores-bert,计算相关性分数scores-bert的方法包括:

17、s321、根据sentencebert模型获取任务指令it的表征向量hp和hq,hp为:hp=encoder(it),hq为:hq=encoder(cq);

18、s322、计算表征向量hp和hq的相关性分数scores-bert,scores-bert为:其中,encoder()代表sentencebert编码器,cq代表第q个候选任务及其动作指令。

19、进一步地,根据相关性分数score以任务指令i和动作序列a构建执行逻辑集合具体为:以相关性分数score最高的指定数量的任务指令i和基于任务指令i的动作序列a构建执行逻辑集合

20、第二方面,本申请提供了一种基于具身检索增强的大模型执行系统,其使用了第一方面的基于具身检索增强的大模型执行方法,其包括:

21、采集模块,其用于获取具身智能体执行示例,所述执行示例为任务指令i和基于任务指令i的动作序列a;

22、检索库构建模块,其用于构建以任务指令i作为键,以基于任务指令i的动作序列a作为值的检索库c;

23、相关性分数计算模块,其用于将给定的任务指令it与检索库c中的任务指令i和动作序列a进行对比并计算相关性分数score;

24、相关性任务构建模块,其用于根据相关性分数score以任务指令i和动作序列a构建执行逻辑集合其中,cj代表关键词检索库c中的执行逻辑,k代表执行逻辑的数量;

25、输出模块,其用于根据执行逻辑集合构建输出内容。

26、第三方面,本申请提供了一种可读存储介质,所述可读存储介质中存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行第一方面的基于具身检索增强的大模型执行方法的步骤。

27、本申请提供的技术方案,至少具有如下技术效果或优点:

28、1、本专利技术通过获取互联网上的执行示例并构建相关数据库,模型能根据任务指令,自适应地检索相关的执行示例,随后将这些示例作为上下文中的一部分,从中提取关键信息,有效解决了在面临需要语义理解或常识推理的复杂任务时,由于缺乏对语义的理解能力以及对常识的推理能,大模型往往会产生臆想,导致生成的动作脱离实际情境的问题,让模型能有更可靠的学习参照内容,从而提高模型对语义的理解能力以及对常识的推理能,最终能够推理出更加正确的执行动作。

29、2、本专利技术采用双路召回的方式,通过表层语义匹配和深层逻辑匹配执行示例,能够在检索库中召回若干与待执行任务关联性最高的任务,及其对应的动作执行序列,这些匹配结果被组织成与定义的上下文学习任务模版,以提供模型更丰富的外部知识,指导学习。

本文档来自技高网...

【技术保护点】

1.一种基于具身检索增强的大模型执行方法,其特征在于,其包括以下步骤:

2.如权利要求1所述的基于具身检索增强的大模型执行方法,其特征在于,在S1中,获取具身智能体执行示例具体为:采用爬虫程序采集互联网上的具身智能执行示例。

3.如权利要求1所述的基于具身检索增强的大模型执行方法,其特征在于,在构建以任务指令I作为键,以基于任务指令I的动作序列A作为值的检索库C中,任务指令I和基于任务指令I的动作序列A为筛选后的执行示例。

4.如权利要求3所述的基于具身检索增强的大模型执行方法,其特征在于,所述筛选方法为:计算经过数据预处理后每对执行示例的相似度S,删除相似度S大于预设阈值的每对执行示例中的任意一个执行示例;运行执行示例并删除运行执行失败的执行示例。

5.如权利要求4所述的基于具身检索增强的大模型执行方法,其特征在于,相似度S为:其中,X和Y分别代表两个执行示例的向量表示,‖X‖和‖Y‖分别代表两个执行示例向量的模长。

6.如权利要求1所述的基于具身检索增强的大模型执行方法,其特征在于,相关性分数Score包括相关性分数计算相关性分数的方法包括:

7.如权利要求1所述的基于具身检索增强的大模型执行方法,其特征在于,相关性分数Score包括相关性分数ScoreS-BERT,计算相关性分数ScoreS-BERT的方法包括:

8.如权利要求1所述的基于具身检索增强的大模型执行方法,其特征在于,根据相关性分数Score以任务指令I和动作序列A构建执行逻辑集合具体为:以相关性分数Score最高的指定数量的任务指令I和基于任务指令I的动作序列A构建执行逻辑集合

9.一种基于具身检索增强的大模型执行系统,其使用了如权利要求1-8所述的基于具身检索增强的大模型执行方法,其特征在于,其包括:

10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行如权利要求1-8中任一项所述的基于具身检索增强的大模型执行方法的步骤。

...

【技术特征摘要】

1.一种基于具身检索增强的大模型执行方法,其特征在于,其包括以下步骤:

2.如权利要求1所述的基于具身检索增强的大模型执行方法,其特征在于,在s1中,获取具身智能体执行示例具体为:采用爬虫程序采集互联网上的具身智能执行示例。

3.如权利要求1所述的基于具身检索增强的大模型执行方法,其特征在于,在构建以任务指令i作为键,以基于任务指令i的动作序列a作为值的检索库c中,任务指令i和基于任务指令i的动作序列a为筛选后的执行示例。

4.如权利要求3所述的基于具身检索增强的大模型执行方法,其特征在于,所述筛选方法为:计算经过数据预处理后每对执行示例的相似度s,删除相似度s大于预设阈值的每对执行示例中的任意一个执行示例;运行执行示例并删除运行执行失败的执行示例。

5.如权利要求4所述的基于具身检索增强的大模型执行方法,其特征在于,相似度s为:其中,x和y分别代表两个执行示例的向量表示,‖x‖和‖y‖分别代表两个执行示例向量的模长。

6.如...

【专利技术属性】
技术研发人员:孙腾邓翔吕奇师乐天董忠
申请(专利权)人:深圳若愚科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1