【技术实现步骤摘要】
本专利技术涉及自然语言处理，特别是涉及基于语义向量优化和动态提示的智能问答方法及系统。
技术介绍
1、近年来，大语言模型（large language models, llms）在自然语言处理（naturallanguage processing, nlp）领域取得了广泛应用，尤其在生成任务（如文本生成、对话系统）和知识增强任务（如检索增强生成rag）中表现出了强大的能力。rag结合了生成式模型和检索技术，通过外部知识库的辅助，解决了大语言模型固有的知识范围有限和记忆能力不足的问题。然而，现有的rag技术仍面临诸多挑战，这些问题限制了其在实际场景中的广泛部署和高效应用。
2、在传统的检索增强生成rag系统中，用户输入通常通过语言模型的嵌入层生成语义向量（semantic embeddings），这些嵌入向量被用作检索模块的查询向量。然而，大语言模型的嵌入层主要设计用于生成任务，而非专门针对检索任务优化。因此，直接从嵌入层生成的向量在表达用户意图和捕获上下文语义特征方面可能存在以下问题：语义表达能力不足：嵌入层生成的语义向量无法充分捕捉查询中的复杂语义，导致检索结果的相关性较低。适应场景能力有限：现有方法通常使用固定嵌入生成方式，难以根据不同任务需求灵活调整向量生成方式。模型训练目标不匹配：大语言模型的训练目标侧重于生成能力，导致嵌入层生成的向量无法完全适应检索任务需求。
3、在检索增强生成rag系统中，检索模块和生成模块通常是分离的，二者缺乏有机协同的机制。这种解耦方式带来了以下问题：检索与生成目标脱节：
4、当前检索增强生成rag方法中的语义向量生成模块和生成模块通常独立优化，未能形成闭环联动训练，这使得检索和生成性能难以整体提升，嵌入生成过程缺乏对生成任务语境的适应能力，导致生成的答案与用户实际需求不匹配。
5、大语言模型的不同层次编码了不同粒度的语义信息，浅层语义，编码输入句子的基本词法和语法结构。深层语义，捕捉输入句子的上下文语义以及更高阶的语义抽象。在当前方法中，检索任务往往仅依赖浅层嵌入，而生成任务更多使用深层语义。这种语义分离的方式，未能充分利用大语言模型的多层次语义信息。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了基于语义向量优化和动态提示的智能问答方法及系统；本专利技术在大语言模型中，设计语义向量生成模块，通过深度理解用户查询的语义信息来生成更符合检索任务需求的语义向量。该模块不仅能够提高嵌入向量的质量，还能确保生成的向量与后续的生成模块有效协同工作，从而提升最终答案的准确性和相关性。
2、一方面，提供了基于语义向量优化和动态提示的智能问答方法，包括：
3、获取目标问题；
4、将目标问题，输入到训练后的问答模型中，得到目标问题对应的答案；其中，训练后的问答模型，包括：依次连接的输入层、嵌入层、语义向量生成模块、特征压缩模块、动态提示生成模块、答案生成模块、线性层和激活函数层；其中，特征压缩模块的输出端还与rag检索模块的输入端连接，rag检索模块的输出端与动态提示生成模块的输入端连接；
5、所述训练后的问答模型，训练过程包括：构建语义向量生成模块，对语义向量生成模块进行预训练；将经过预训练的语义向量生成模块，设置到问答模型中，对问答模型进行训练，当总损失函数值不再下降时，停止训练，得到训练后的问答模型。
6、另一方面，提供了基于语义向量优化和动态提示的智能问答系统，包括：
7、获取模块，其被配置为：获取目标问题；
8、问答模块，其被配置为：将目标问题，输入到训练后的问答模型中，得到目标问题对应的答案；其中，训练后的问答模型，包括：依次连接的输入层、嵌入层、语义向量生成模块、特征压缩模块、动态提示生成模块、答案生成模块、线性层和激活函数层；其中，特征压缩模块的输出端还与rag检索模块的输入端连接，rag检索模块的输出端与动态提示生成模块的输入端连接；
9、所述训练后的问答模型，训练过程包括：构建语义向量生成模块，对语义向量生成模块进行预训练；将经过预训练的语义向量生成模块，设置到问答模型中，对问答模型进行训练，当总损失函数值不再下降时，停止训练，得到训练后的问答模型。
10、上述技术方案具有如下优点或有益效果：
11、本专利技术通过在大语言模型中添加了语义向量生层模块，实现语义向量与生成模块的协同工作以及动态prompt机制，解决了传统方法在复杂领域问题处理中的多项不足。
12、本专利技术在大语言模型的嵌入生成模块中设计了可训练的语义向量生成模块，能准确地捕捉用户查询的深层语义信息，与检索任务需求高度匹配，从而提升相关文档的检索精度。该模块不仅能够提高语义理解能力，还能对多种领域（如法律、医疗等）进行适应性训练，增强模型的适应能力。与传统的固定嵌入生成方式相比，该模块可以在实际应用中根据数据特征和上下文动态调整，从而提高检索和答案生成的的准确性。此外，结合动态层级选择模块和特征压缩模块的设计，进一步优化了语义向量生成过程。动态层级选择模块通过灵活调整各层的贡献，使模型能够根据任务需求选择最合适的层次结构，从而在复杂查询中提取最相关的信息。而特征压缩模块则通过有效的降维处理和非线性激活函数，确保生成的语义向量在保持信息丰富性的同时，降低计算开销，进一步提升了模型的效率和应用表现。
13、本专利技术采用语义向量和生成模块的协同工作，打破了传统架构中嵌入向量与生成阶段的割裂，避免了检索阶段与生成阶段的脱节问题，使得最终生成的答案能够更好地融合用户的查询意图和检索到的文档内容，确保回答的上下文连贯性和语义一致性，从而为最终的答案生成提供更加精准的上下文信息。通过这种协同工作，系统能够处理复杂的查询并生成符合领域需求的高质量答案。尤其在专业领域问题中，能够生成符合领域规范且具有逻辑一致性的高质量回答，解决了传统生成模型回答泛化性过高、领域适配性不足的问题。
14、本专利技术采用动态prompt机制，在推理中，大语言模型根据用户查询和检索内容动态生成prompt，以便更好地适应不同的应用场景，确保生成的prompt更加贴近用户需求。该动态prompt机制特别是在面对多领域、多任务的场景时尤为有效，确保生成的回答更具上下文相关性和领域针对性，可以大幅提升模型的应变能力。本专利技术能够快速适应不同的知识结构和用户需求，生成更具针对性的回答，这种能力不仅扩展了系统的应用范围，还大幅提升了用户体验和满意度。
15、总之，本方案通过优化语义向量的生成质量、提升检索与生成的协同性以及引入动态prompt机制，预期能够在检索精度、回答质量和领域适配性方面取得突破性提升。相较于现有技术，本专利技术展本文档来自技高网...
【技术保护点】
1.基于语义向量优化和动态提示的智能问答方法，其特征是，包括：
2.如权利要求1所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述对语义向量生成模块进行预训练，包括：
3.如权利要求2所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述对比学习损失函数，其表达式为：
4.如权利要求1所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述总损失函数，包括：
5.如权利要求1所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述构建语义向量生成模块，包括：
6.如权利要求5所述的基于语义向量优化和动态提示的智能问答方法，其特征是，根据每个block层的初始权重，计算出每个block层的概率分布，包括：
7.如权利要求5所述的基于语义向量优化和动态提示的智能问答方法，其特征是，基于语义向量生成模块的每一个block层的概率分布，和语义向量生成模块的每一个block层输出的特征向量，生成语义向量生成模块输出的最终嵌入表示，包括：
8.如权利要求1所述的基于语义向量优化
9.如权利要求1所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述RAG检索模块，是通过检索增强生成来实现的，具体包括：从已有知识库中查询与待查询向量相似度最高的相关文档；
10.基于语义向量优化和动态提示的智能问答系统，其特征是，包括：
...【技术特征摘要】
1.基于语义向量优化和动态提示的智能问答方法，其特征是，包括：
2.如权利要求1所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述对语义向量生成模块进行预训练，包括：
3.如权利要求2所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述对比学习损失函数，其表达式为：
4.如权利要求1所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述总损失函数，包括：
5.如权利要求1所述的基于语义向量优化和动态提示的智能问答方法，其特征是，所述构建语义向量生成模块，包括：
6.如权利要求5所述的基于语义向量优化和动态提示的智能问答方法，其特征是，根据每个block层的初始权重，计算出每个block层的概率分布，包括：
7.如权利要求5所述的基于语义向量优化和动态提示的智能问答...
【专利技术属性】
技术研发人员：刘祥志，李传祥，侯冬冬，马俊朋，周毅，姜鑫昊，马良，满佳政，吴晓明，许赞，董云峰，亓蓓，刘杰，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。