【技术实现步骤摘要】
本专利技术属于大语言模型，更具体地说，尤其涉及基于历史对话实体提取优化大模型记忆的方法。
技术介绍
1、大语言模型指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的重要途径。目前大语言模型采用与小模型类似的transformer架构和预训练目标(如languagemodeling)，与小模型的区别是增加模型大小、训练数据和计算资源。
2、大语言模型的原理是基于深度学习，它利用大量的数据和计算资源来训练具有大量参数的神经网络模型。通过不断地调整模型参数，使得模型能够在各种任务中取得最佳表现。通常说的大模型的“大”的特点体现在：参数数量庞大、训练数据量大、计算资源需求高等。很多先进的模型由于拥有很“大”的特点，使得模型参数越来越多，泛化性能越来越好，在各种专门的领域输出结果也越来越准确。
3、在多轮对话中，大型语言模型可能面临记忆衰减问题，在长时间的对话过程中，大语言模型需要记住之前的上下文信息来确保回答的连贯性和准确性。然而，随着对话轮次增多，模型可能会遗忘关键信息、丢失相关上下文语境、混淆不同对话轮次中的信息导致回答的质量下降。
4、然而现有技术存在一些问题：现有技术使用大语言模型精简历史会话要额外消耗更多时间和算力；大语言模型在总结历史会话记录时会无法抓住重点，可能会遗漏内容；将检索到的内容当作用户与大语言模型对话上下文时，依旧会出现新的上下文过长的问题，依旧会出现记忆衰减问题，因此我
技术实现思路
1、针对现有技术存在的问题，本专利技术的目的是提供基于历史对话实体提取优化大模型记忆的方法，通过对历史会话记录进行实体抽取，将抽取到的用户相关的属性等信息保存起来，之后将用户的语句结合这些信息通过大语言模型总结输出具备上下文信息的全新语句，再将该语句作为用户对话内容输入大语言模型，达到解决大语言模型记忆衰减的目的。
2、为实现上述目的，本专利技术提供如下技术方案：基于历史对话实体提取优化大模型记忆的方法，包括如下步骤：
3、s1、获取历史对话记录：从数据库中收集用户与大语言模型的历史对话记录，并且对收集的历史对话记录进行预处理；
4、s2、对历史对话记录进行抽取信息：使用机器学习领域中的实体抽取模型对所需信息进行抽取，并且对抽取信息进行转换成向量集合；
5、s3、向量集合进行存储：将向量集合进行转换成知识图谱，再将知识图谱输入到数据库中保存；
6、s4、获取用户输入：在用户进行输入问题的时候，使用机器学习领域中的实体抽取模型对输入问题中的有用信息进行抽取；
7、s5、判断信息的一致性：判断输入问题中的有用信息是否与数据库中保存的历史对话记录抽取信息一致，若不一致，则将输入问题中的有用信息进行更新存入到数据库中；
8、s6、输入数据信息组合：将输入问题中的有用信息与历史对话记录抽取信息进行拼接组合，将拼接成新的输入语句进行输入到大语言模型中；
9、s7、获得大语言模型的输出结果：大语言模型对输入的新的语句进行分析识别，并且大语言模型根据输入的新的语句进行回答，获得大语言模型的输出；
10、s8、持续问答：根据用户的需求进行多轮问答，循环s4-s7的步骤，直至问答结束。
11、具体的，所述s1中对收集的历史对话记录进行预处理的步骤如下：
12、文本清洗：对历史对话记录进行清洗，去除无用信息，减少对后续处理的干扰，将所有文本转换为统一的大小写，减少词汇量的多样性；对文本中的停用词进行删除；去除重复内容；处理表情符号和特殊符号；
13、分词与词性标注：对历史对话记录进行分词和词性标注；
14、拼写纠正与同义词处理：对历史对话记录中拼写错误的词进行错误校正；将同义词替换为统一的词汇，以减少模型学习时的词汇多样性；
15、去除低频词汇：对历史对话记录包含一些非常罕见或极其特定的词汇，通过词频统计去除低频词汇；
16、文本归一化：归一化处理用于将词汇进行标准化；
17、对话上下文管理：对多轮对话进行适当的上下文管理，确保上下文的连贯性。
18、具体的，所述文本清洗的算法如下：
19、
20、其中，x是数据点的值，μ数据集的均值，σ是数据集的标准差，z的值大于3或小于-3的点被认为是异常值，并且对异常值进行剔除；
21、对于剔除的异常值或者缺失值进行均值填补；且均值的计算公式如下：
22、
23、其中，x′i为非缺失数据的值，n为非缺失数据的个数。
24、具体的，所述去除重复内容使用jaccard相似度算法进行词汇查重，定义为两个集合交集的大小与并集的大小之比；其jaccard相似度用以下公式表示：
25、其中，a表示为一个词汇集合，b表示为另一个词汇集合，然后计算任意两个词汇集合的交集|a∩b|和并集|a∪b|，若jaccard相似度j超过预设阈值0.8，则视为重复词汇，并予其中一个词汇删除；
26、所述归一化处理的计算公式如下：
27、
28、其中，xi为输入的历史对话记录，xmin是数据集中的最小值，xmax是数据集中的最大值，将历史对话记录缩放到[0，1]的范围内。
29、具体的，所述s2中的实体抽取模型对所需信息进行抽取是对历史对话记录中的特征进行提取：
30、
31、其中，tfidf(xi,d)反映了一个词汇在历史对话记录中的重要性，出现越频繁，tf值越高，xi表示计算的词，d表示为词xi在历史对话记录中出现的次数，用于衡量词在整个语料库中的普遍性，值越高，n表示词在语料库中越少见，表示为语料库中的总文本数，df(xi)表示为包含词xi的文本数；
32、如果一个词在需要检测计算的历史对话记录中频繁出现，但是在其他文本中出现频率较低，tf(xi,d)的值就会很高，表明词对需要检测计算的数据信息的重要性；
33、相反，如果词频低或词在许多文本中出现，那么tf(xi,d)的值会低，表示词对需要检测计算的数据信息的重要性不大。
34、具体的，所述s2中的向量集合的转换如下：
35、将实体抽取模型中提取的特征信息进行分类，将特征信息分成节点和关系，并且将节点和关系建立特征信息：
36、v＝[tj1、tg1,tj1、tg1,…,tjn、tgn]，并且将向量集合进行存储，其中，tj、tg分别为节点和关系；
37、所述s3中的知识图谱基于向量集合中的节点和关系进行知识图谱构建，并选择合适的图数据库进行保存。
38、具体的，所述s5中的判断信息的一致性采用余弦相似度计算，对用户输入问题中的有用信息进行抽取，并与知识图谱中本文档来自技高网...
【技术保护点】
1.基于历史对话实体提取优化大模型记忆的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述S1中对收集的历史对话记录进行预处理的步骤如下：
3.根据权利要求2所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述文本清洗的算法如下：
4.根据权利要求2所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述去除重复内容使用Jaccard相似度算法进行词汇查重，定义为两个集合交集的大小与并集的大小之比；其Jaccard相似度用以下公式表示：
5.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述S2中的实体抽取模型对所需信息进行抽取是对历史对话记录中的特征进行提取：
6.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述S2中的向量集合的转换如下：
7.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述S5中的判断信息的一致性采用余弦相似度计算，
8.根据权利要求7所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述S5中的将输入问题中的有用信息进行更新存入到数据库中是在余弦相似度匹配不到的相似节点的时候，将输入问题中的节点进行更新到知识图谱中，通过RL模型，优化记忆更新的策略，使得知识图谱能够实现更新，并且通过关系与知识图谱中的已有节点进行建立联系，形成新的知识图谱，用于对用户输入的问题进行上下联系，输出全面的问题回答。
9.根据权利要求8所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述RL模型采用的算法是Q-learning强化学习算法；
10.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述S6中的拼接组合采用数组拼接，用于将向量集合进行组合拼接；
...【技术特征摘要】
1.基于历史对话实体提取优化大模型记忆的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述s1中对收集的历史对话记录进行预处理的步骤如下：
3.根据权利要求2所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述文本清洗的算法如下：
4.根据权利要求2所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述去除重复内容使用jaccard相似度算法进行词汇查重，定义为两个集合交集的大小与并集的大小之比；其jaccard相似度用以下公式表示：
5.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述s2中的实体抽取模型对所需信息进行抽取是对历史对话记录中的特征进行提取：
6.根据权利要求1所述的基于历史对话实体提取优化大模型记忆的方法，其特征在于：所述s2中的向量集合的转换如下：
7.根据权利要求1所述的基于...
【专利技术属性】
技术研发人员：柴亚团，李达，
申请(专利权)人：无锡容智技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。