System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于大模型与虚拟数字人的智能交互方法、装置、系统、介质及设备制造方法及图纸_技高网

基于大模型与虚拟数字人的智能交互方法、装置、系统、介质及设备制造方法及图纸

技术编号:42141224 阅读:9 留言:0更新日期:2024-07-26 23:58
本发明专利技术属于人工智能技术领域,具体涉及一种基于大模型与虚拟数字人的智能交互方法。本发明专利技术通过将用户的语音信息在目标知识库中进行匹配,若匹配成功则直接输出目标结果,若匹配不成功,则将语音信息作为目标大模型的输出,通过目标大模型来输出目标结果;这样在知识库不能输出结果的情况下通过目标大模型来输出结果进行补充,从而提高了推荐的准确性。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体涉及一种基于大模型与虚拟数字人的智能交互方法、装置、系统、介质及设备


技术介绍

1、随着互联网信息内容的爆炸式增长,所积累的虚拟资产规模也迅速扩增,用户感兴趣的内容往往被淹没在海量信息中,因此如何用户准确推荐贴合需求的虚拟资产已经成为一个迫切的问题。

2、一般的推荐系统主要是通过获取用户问题的关键词,然后将关键词在数据库中进行匹配,从而输出匹配结果。而数据库中的数据通常是人为添加的,无法对数据库进行实时更新,会导致推荐准确率较低。


技术实现思路

1、鉴于以上所述现有技术的缺点,本专利技术的目的在于提供一种基于大模型与虚拟数字人的智能交互方法、装置、系统、介质及设备,用于解决现有技术存在的问题。

2、为实现上述目的及其他相关目的,本专利技术提供一种基于大模型与虚拟数字人的智能交互方法,所述交互方法包括:

3、获取用户向虚拟数字人终端发送的语音信息,并将所述语音信息转化为文本特征信息;

4、基于所述文本特征信息,在目标知识库中进行匹配;其中,所述目标知识库是根据用户的业务场景确定的,不同的业务场景对应不同的知识库;所述知识库包括以下至少之一:场景特征、场景中的实体特征、实体特征的特征信息;

5、若匹配成功,则输出目标结果;

6、若匹配失败,则将所述文本特征信息输入到目标大模型中,通过目标大模型输出目标结果。

7、于本专利技术一实施例中,所述目标大模型包括以下至少之一:语言大模型、图像大模型、视觉大模型、多模态大模型。

8、于本专利技术一实施例中,所述交互方法还包括:通过所述虚拟数字人和/或显示设备对所述目标结果进行展示。

9、于本专利技术一实施例中,所述业务场景包括以下至少之一:机场、商场。

10、于本专利技术一实施例中,若所述业务场景为机场,则机场特征包括以下至少之一:登机口、安检口、贵宾厅;机场实体特征包括以下至少之一:餐饮店特征、书店特征、化妆品店特征。

11、于本专利技术一实施例中,所述餐饮店特征的特征信息包括以下至少之一:餐饮店名称、位置、商品价格、优惠活动;所述书店特征的特征信息包括以下至少之一:书店名称、位置、商品价格、优惠活动;所述化妆品店特征的特征信息包括以下至少之一:化妆品名称、位置、商品价格、优惠活动。

12、于本专利技术一实施例中,若所述目标场景为商场,则商场特征包括以下至少之一:商场入口、商场出口、商场消防通道、商场哺乳室;商场实体特征包括以下至少之一:餐饮店特征、书店特征、化妆品店特征。

13、于本专利技术一实施例中,所述餐饮店特征的特征信息包括以下至少之一:餐饮店名称、位置、商品价格、优惠活动;所述书店特征的特征信息包括以下至少之一:书店名称、位置、商品价格、优惠活动;所述化妆品店特征的特征信息包括以下至少之一:化妆品名称、位置、商品价格、优惠活动。

14、于本专利技术一实施例中,所述文本特征信息包括第一文本特征向量,所述将所述语音信息转化为文本特征信息的步骤包括:

15、将所述语音信息转化为第一文本;

16、将所述第一文本向量化,得到第一文本特征向量;

17、在基于所述文本特征信息,在目标知识库中进行匹配时,将所述第一文本特征向量与所述目标知识库中的第二文本特征向量进行匹配;

18、在所述第一文本特征向量与所述第二文本特征向量匹配失败时,将所述第一文本特征向量输入到目标大模型中,通过目标大模型输出目标结果。

19、于本专利技术一实施例中,在将所述第一文本特征向量与所述第二文本特征向量进行匹配时,将所述第一文本特征向量进行切片。

20、于本专利技术一实施例中,若所述文本特征信息在所述目标知识库中匹配失败时,获取所述语音信息的关联信息,将所述关联信息与所述语音信息输入至目标大模型中,通过所述目标大模型输出目标结果。

21、于本专利技术一实施例中,所述虚拟数字人终端为可移动的虚拟数字人终端;所述智能交互方法还包括:

22、使所述虚拟数字人终端沿目标结果指示的导航路径移动,以使用户跟随虚拟数字人移动至目标结果指示的位置,所述导航路径表示用户当前位置与目标结果指示的位置之间的轨迹。

23、为实现上述目的及其他相关目的,本专利技术还提供一种基于大模型与虚拟数字人的智能交互装置,所述交互装置包括:

24、特征转化模块,用于将用户向虚拟数字人终端发送的语音信息转化为文本特征信息;

25、特征匹配模块,用于基于所述文本特征信息,在目标知识库中进行匹配;其中,所述目标知识库是根据用户的业务场景确定的,不同的业务场景对应不同的知识库;所述知识库包括以下至少之一:场景特征、场景中的实体特征、实体特征的特征信息;

26、结果输出模块,用于输出目标结果,所述目标结果包括在文本特征信息与目标知识库匹配成功时输出的结果,以及在文本特征信息与目标知识库匹配失败时输出由目标大模型基于所述文本特征信息输出的结果。

27、为实现上述目的及其他相关目的,本专利技术还提供一种基于大模型与虚拟数字人的智能交互方法,所述交互方法包括:

28、获取用户的语音信息,并将所述语音信息转化为文本特征信息;

29、接收服务器输出的目标结果;其中,所述目标结果包括在文本特征信息与目标知识库匹配成功时输出的结果,以及在文本特征信息与目标知识库匹配失败时输出由目标大模型基于所述文本特征信息输出的结果;所述目标知识库是根据用户的业务场景确定的,不同的业务场景对应不同的知识库;所述知识库包括以下至少之一:场景特征、场景中的实体特征、实体特征的特征信息。

30、为实现上述目的及其他相关目的,本专利技术还提供一种基于大模型与虚拟数字人的智能交互装置,所述交互装置包括:

31、语音获取模块,用于获取用户的语音信息,并将所述语音信息转化为文本特征信息;

32、结果接收模块,用于接收服务器输出的目标结果;其中,所述目标结果包括在文本特征信息与目标知识库匹配成功时输出的结果,以及在文本特征信息与目标知识库匹配失败时输出由目标大模型基于所述文本特征信息输出的结果;所述目标知识库是根据用户的业务场景确定的,不同的业务场景对应不同的知识库;所述知识库包括以下至少之一:场景特征、场景中的实体特征、实体特征的特征信息。

33、为实现上述目的及其他相关目的,本专利技术还提供一种基于大模型与虚拟数字人的智能交互系统,所述交互系统包括:

34、虚拟数字人终端,用于获取用户的语音信息,将所述语音信息转化为文本特征信息,并将所述语音信息转化为文本特征信息送至服务端;

35、服务端,用于接收所述文本特征信息,并基于所述文本特征信息在目标知识库中进行匹配,以及输出目标结果,所述目标结果包括在文本特征信息与目标知识库匹配成功时输出的结果,以及在文本特征信息与目标知识库匹配失败时输出由目标大模型基于所述文本特征信息输本文档来自技高网...

【技术保护点】

1.一种基于大模型与虚拟数字人的智能交互方法,其特征在于,所述交互方法包括:

2.根据权利要求1所述的智能交互方法,其特征在于,所述目标大模型包括以下至少之一:语言大模型、图像大模型、视觉大模型、多模态大模型。

3.根据权利要求1所述的智能交互方法,其特征在于,所述交互方法还包括:通过所述虚拟数字人和/或显示设备对所述目标结果进行展示。

4.根据权利要求1所述的智能交互方法,其特征在于,所述业务场景包括以下至少之一:机场、商场。

5.根据权利要求4所述的智能交互方法,其特征在于,若所述业务场景为机场,则机场特征包括以下至少之一:登机口、安检口、贵宾厅;机场实体特征包括以下至少之一:餐饮店特征、书店特征、化妆品店特征。

6.根据权利要求5所述的智能交互方法,其特征在于,所述餐饮店特征的特征信息包括以下至少之一:餐饮店名称、位置、商品价格、优惠活动;所述书店特征的特征信息包括以下至少之一:书店名称、位置、商品价格、优惠活动;所述化妆品店特征的特征信息包括以下至少之一:化妆品名称、位置、商品价格、优惠活动。

7.根据权利要求4所述的智能交互方法,其特征在于,若所述目标场景为商场,则商场特征包括以下至少之一:商场入口、商场出口、商场消防通道、商场哺乳室;商场实体特征包括以下至少之一:餐饮店特征、书店特征、化妆品店特征。

8.根据权利要求7所述的智能交互方法,其特征在于,所述餐饮店特征的特征信息包括以下至少之一:餐饮店名称、位置、商品价格、优惠活动;所述书店特征的特征信息包括以下至少之一:书店名称、位置、商品价格、优惠活动;所述化妆品店特征的特征信息包括以下至少之一:化妆品名称、位置、商品价格、优惠活动。

9.根据权利要求1所述的智能交互方法,其特征在于,所述文本特征信息包括第一文本特征向量,所述将所述语音信息转化为文本特征信息的步骤包括:

10.根据权利要求1所述的智能交互方法,其特征在于,若所述文本特征信息在所述目标知识库中匹配失败时,获取所述语音信息的关联信息,将所述关联信息与所述语音信息输入至目标大模型中,通过所述目标大模型输出目标结果。

11.根据权利要求3所述的智能交互方法,其特征在于,所述虚拟数字人终端为可移动的虚拟数字人终端;所述智能交互方法还包括:

12.一种基于大模型与虚拟数字人的智能交互装置,其特征在于,所述交互装置包括:

13.一种基于大模型与虚拟数字人的智能交互方法,其特征在于,所述交互方法包括:

14.一种基于大模型与虚拟数字人的智能交互装置,其特征在于,所述交互装置包括:

15.一种基于大模型与虚拟数字人的智能交互系统,其特征在于,所述交互系统包括:

16.一种基于大模型与虚拟数字人的智能交互设备,其特征在于,包括:

17.一个或多个机器可读介质,其特征在于,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如权利要求1-11中一个或多个所述的智能交互方法。

...

【技术特征摘要】

1.一种基于大模型与虚拟数字人的智能交互方法,其特征在于,所述交互方法包括:

2.根据权利要求1所述的智能交互方法,其特征在于,所述目标大模型包括以下至少之一:语言大模型、图像大模型、视觉大模型、多模态大模型。

3.根据权利要求1所述的智能交互方法,其特征在于,所述交互方法还包括:通过所述虚拟数字人和/或显示设备对所述目标结果进行展示。

4.根据权利要求1所述的智能交互方法,其特征在于,所述业务场景包括以下至少之一:机场、商场。

5.根据权利要求4所述的智能交互方法,其特征在于,若所述业务场景为机场,则机场特征包括以下至少之一:登机口、安检口、贵宾厅;机场实体特征包括以下至少之一:餐饮店特征、书店特征、化妆品店特征。

6.根据权利要求5所述的智能交互方法,其特征在于,所述餐饮店特征的特征信息包括以下至少之一:餐饮店名称、位置、商品价格、优惠活动;所述书店特征的特征信息包括以下至少之一:书店名称、位置、商品价格、优惠活动;所述化妆品店特征的特征信息包括以下至少之一:化妆品名称、位置、商品价格、优惠活动。

7.根据权利要求4所述的智能交互方法,其特征在于,若所述目标场景为商场,则商场特征包括以下至少之一:商场入口、商场出口、商场消防通道、商场哺乳室;商场实体特征包括以下至少之一:餐饮店特征、书店特征、化妆品店特征。

8.根据权利要求7所述的智能交互方法,其特征在于,所述餐饮店特征的特征信息包括以下至少之一:餐饮...

【专利技术属性】
技术研发人员:孙进
申请(专利权)人:云从科技集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1