System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于问答模型的回复信息搜索、问答模型的训练方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种基于问答模型的回复信息搜索、问答模型的训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42057742 阅读:12 留言:0更新日期:2024-07-16 23:36
本发明专利技术公开了一种基于问答模型的回复信息搜索、问答模型的训练方法、装置、电子设备及存储介质,所述方法包括:在采集问答领域信息并构建成向量化的信息数据库后,获取用户的提问信息,所述提问信息是完成向量化处理的问题内容;计算所述提问信息与所述信息数据库包含的问答领域信息的信息相似度,所述信息相似度是信息的向量化的相似值;调用预设的问答模型根据所述向量相似度搜索回复信息,以回复用户提问并供用户参考,所述预设的问答模型是利用所述问答领域信息所在领域的数据进行微调的大语言模型。

【技术实现步骤摘要】

所属的技术人员可以清楚地了解到,为方便的描述和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。进一步的,本申请实施例还提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述实施例所述的基于问答模型的回复信息搜索方法或者如上述实施例所述的问答模型的训练方法。进一步的,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行如上述实施例所述的基于问答模型的回复信息搜索方法或者如上述实施例所述的问答模型的训练方法。本领域内的技术人员应明白,本申请的实施例还可提供包括计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、装置和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述仅是本专利技术的优选实施方式,应当指出,对于本的普通技术人员来说,在不脱离本专利技术技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本专利技术的保护范围。


技术介绍

1、随着科技的发展,越来越多的智能问答回复系统应用在不同领域,智能问答回复系统可以借助于通讯手段时时刻刻在线,并通过自然语言与人沟通交流。

2、智能回复实质上是一种信息的处理、搜索与反馈的流程,其处理流程一般设有一个大数据库,通过自动检索或推理技术从用户提问信息提取关键词,然后通过关键词在数据库内查找相关的答复内容并再将答复内容反馈给用户。

3、但目前常用的处理方法有如下技术问题:用户的提问信息中可能包含多个关键词,通过个别关键词在数据库内进行信息搜索,仅能搜索部分相关信息,甚至搜索结果可能偏离整段提问信息的原意,导致搜索的回复信息的精度较低,降低用户的体验感。


技术实现思路

1、本专利技术提出一种基于问答模型的回复信息搜索、问答模型的训练方法、装置、电子设备及存储介质,所述方法可以解决上述一个或多个技术问题。

2、本专利技术实施例的第一方面提供了一种基于问答模型的回复信息搜索方法,所述方法包括:

3、在采集问答领域信息并构建成向量化的信息数据库后,获取用户的提问信息,所述提问信息是完成向量化处理的问题内容;

4、计算所述提问信息与所述信息数据库包含的问答领域信息的信息相似度,所述信息相似度是信息的向量化的相似值;

5、调用预设的问答模型根据所述向量相似度搜索回复信息,以回复用户提问并供用户参考,所述预设的问答模型是利用所述问答领域信息所在领域的数据进行微调的大语言模型。

6、在第一方面的一种可能的实现方式中,所述采集问答领域信息并构建成向量化的信息数据库,包括:

7、在问答领域信息后,对所述问答领域信息进行数据筛选处理,得到筛选信息;

8、按照预设的字符长度对所述筛选信息进行分块处理得到多个分块信息,并调用预设的文本向量化模型对每个所述分块信息进行向量化处理,得到多个分块向量信息;

9、将所述多个分块向量信息构建数据库,得到信息数据库。

10、在第一方面的一种可能的实现方式中,所述数据筛选处理,包括:

11、对所述问答领域信息进行数据清洗,得到清洗数据;

12、对所述清洗数据进行敏感词过滤处理,得到筛选信息。

13、在第一方面的一种可能的实现方式中,所述信息相似度的计算公式如下:

14、;

15、上式中,cos[a,b]为信息相似度,a为所述提问信息,b为所述信息数据库包含的问答领域信息;

16、其中,a和b如下式所示:

17、a=(x1,y1);b=(x2,y2)。

18、本专利技术实施例的第二方面提供了一种问答模型的训练方法,所述方法包括:

19、在确定待训练的基座大模型后,利用lora技术对所述基座大模型进行领域微调处理得到待评测模型;

20、根据预设的问答对对所述待评测模型完成测试得到问答模型,所述预设的问答对是获取用户的问答领域信息所在领域的问答数据并从所述问答数据提取构建问答关键信息后,利用关键信息构建的问题与答案的信息。

21、在第二方面的一种可能的实现方式中,所述利用lora技术对所述基座大模型进行领域微调处理得到待评测模型,包括:

22、确定微调任务后,获取与所述微调任务相关的微调数据集;

23、将所述微调数据集划分成多个批量样本后,将所述多个批量样本输入至预设的训练模型并通过反向传播算法进行迭代训练,得到迭代模型,所述预设的训练模型是根据预设的模型架构加载权重以及定义损失函数后得到模型;

24、对所述迭代模型依次进行评估、参数调优和测试后得到微调模型;

25、利用lora技术将所述微调模型替换所述基座大模型的参数矩阵得到待评测模型。

26、本专利技术实施例的第三方面提供了一种基于问答模型的回复信息搜索装置,所述装置包括:

27、获取提问模块,用于在采集问答领域信息并构建成向量化的信息数据库后,获取用户的提问信息,所述提问信息是完成向量化处理的问题内容;

28、计算相似度模块,用于计算所述提问信息与所述信息数据库包含的问答领域信息的信息相似度,所述信息相似度是信息的向量化的相似值;

29、信息搜索模块,用于调用预设的问答模型根据所述向量相似度搜索回复信息,以回复用户提问并供用户参考,所述预设的问答模型是利用所述问答领域信息所在领域的数据进行微调的大语言模型。

30、在第三方面的一种可能的实现方式中,所述采集问答领域信本文档来自技高网...

【技术保护点】

1.一种基于问答模型的回复信息搜索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于问答模型的回复信息搜索方法,其特征在于,所述采集问答领域信息并构建成向量化的信息数据库,包括:

3.根据权利要求2所述的基于问答模型的回复信息搜索方法,其特征在于,所述数据筛选处理,包括:

4.根据权利要求1-3任意一项所述的基于问答模型的回复信息搜索方法,其特征在于,所述信息相似度的计算公式如下:

5.一种问答模型的训练方法,其特征在于,所述方法包括:

6.根据权利要求5所述的问答模型的训练方法,其特征在于,所述利用LORA技术对所述基座大模型进行领域微调处理得到待评测模型,包括:

7.一种基于问答模型的回复信息搜索装置,其特征在于,所述装置包括:

8.一种问答模型的训练装置,其特征在于,所述装置包括:

9.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-4任意一项所述的基于问答模型的回复信息搜索方法或者如5-6任意一项所述的问答模型的训练方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行如权利要求1-4任意一项所述的基于问答模型的回复信息搜索方法或者如5-6任意一项所述的问答模型的训练方法。

...

【技术特征摘要】

1.一种基于问答模型的回复信息搜索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于问答模型的回复信息搜索方法,其特征在于,所述采集问答领域信息并构建成向量化的信息数据库,包括:

3.根据权利要求2所述的基于问答模型的回复信息搜索方法,其特征在于,所述数据筛选处理,包括:

4.根据权利要求1-3任意一项所述的基于问答模型的回复信息搜索方法,其特征在于,所述信息相似度的计算公式如下:

5.一种问答模型的训练方法,其特征在于,所述方法包括:

6.根据权利要求5所述的问答模型的训练方法,其特征在于,所述利用lora技术对所述基座大模型进行领域微调处理得到待评测模型,包括:...

【专利技术属性】
技术研发人员:江晨阳肖翔伍穗颖
申请(专利权)人:广州凡拓数字创意科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1