【技术实现步骤摘要】
本专利技术涉及自然语言处理和深度学习，尤其涉及一种增强大语言模型角色感知的方法。
技术介绍
1、个性化对话生成已成为开放领域对话系统中的关键问题和重要挑战。其目标是生成与个性信息和对话历史相一致的回复。个性信息可以使生成的回应更加具体和全面，从而增强用户的参与感。现有的多会话个性化对话生成方法主要集中在历史建模和个性建模上。
2、历史建模主要可以分为建立记忆机制和拓展上下文窗口。文献[1]将遗忘曲线融合到大语言模型的记忆机制中，并使用检索模型检索回相关的对话信息，这样的方法虽然可以让大语言模型获得相关的历史信息，但是通常会破坏对话结构，阻碍对话模型对对话历史的理解。文献[2]通过修改大语言模型的内部架构扩大可以输入的规模，这样的方法容易丢失关键的历史信息，或引入噪声。
3、人格信息建模主要分为显式人格建模和隐式人格建模。显式人格方法通常将包含人格信息的数据输入给大语言模型，例如文献[3]通过结合用户的个人背景和维基百科上的知识信息来生成定制化的对话回答，但是面对冗长的对话历史和简短的人物信息，大语言模型很有可能关注不到角色信息，输出和角色信息不一致的回复。基于隐式人格的方法将人格信息用向量进行表示，以涵盖更多的角色属性。例如文献[4]通过分析用户的历史对话记录自动学习用户的隐式档案，并设计了个性化解码器，融合生成和复制两种策略，以生成更符合用户个性的响应。但是对话中角色信息往往比较稀疏，而且大语言模型缺少有效的先验知识，导致生成的结果不够丰富也不够吸引用户[5]。
4、虽然先前专注于历史建模和
5、参考文献：
6、[1] zhong, w., guo, l., gao, q., ye, h. and wang, y. 2024.memorybank: enhancing large language models with long-term memory.proceedings of the aaai conference on artificial intelligence. 38, 17 (mar.2024), 19724-19731. doi:https://doi.org/10.1609/aaai.v38i17.29946.
7、[2] jia-nan li, quan tu, cunli mao, zhengtao yu, ji-rong wen, and ruiyan. 2024.
8、streamingdialogue: prolonged dialogue learning via long contextcompression with minimal losses. arxiv:2403.08312 [cs.cl] https://arxiv.org/abs/2403.08312
9、[3] jang, y., lim, j., hur, y., oh, d., son, s., lee, y., shin, d.,kim, s. and lim, h. 2022. call for customized conversation: customizedconversation grounding persona and knowledge. proceedings of the aaaiconference on artificial intelligence. 36, 10 (jun. 2022), 10803-10812. doi:https://doi.org/10.1609/aaai.v36i10.21326.
10、[4] zhengyi ma, zhicheng dou, yutao zhu, hanxun zhong, and ji-rongwen. 2021. one chatbot per person: creating personalized chatbots based onimplicit user profiles. in proceedings of the 44th international acm sigirconference on research and development in information retrieval (sigir '21).association for computing machinery, new york, ny, usa, 555–564. https://doi.org/10.1145/3404835.3462828
11、[5] shixuan fan, wei wei, wendi li, xian-ling mao, wenfeng xie, anddangyang chen. 2024. position debiasing fine-tuning for causal perception inlongterm dialogue. in proceedings of the thirty-third international jointconference on artificial intelligence, ijcai-24, kate larson (ed.).international joint conferences on artificial intelligence organization,6261–6269. https://doi.org/10.24963/ijcai.2024/692 main track.
技术实现思路
1、为了解决上述问题，使大语言模型在多会话个性化对话中理解对话背景并挖掘深刻的用户画像，本专利技术为大语言模型设计了增强角色感知的方法，不仅可以有效地挖掘更深层的用户画像而且可以保持对话结构，理解多会话会话的对话信息。
2、本专利技术提供一种增强大语言模型角色感知的方法，包括：
3、s1、对对话数据集进行处理，获得若干会话和对应的标签；
4、s2、建立记忆机制，获得与当前查询相关的长期历史对话和短期历史对话；
5、s3、结合用户的人格信息和知识图谱，为用户构建用户图；
6、s4、通过图神经网络，利用提示学习进行训练。
7、进一步的，在步骤s1中，对话数据包括用户的人格信息、聊天机器人的人格信息、所有的对话历史以及不同会话之间的时间间隔，处理后数据包含用户的人格信息、聊天机器人的人格信息，用户当前的查询，聊天机器人的标准回复以及以往的对话历史。
8、进一步的，在步骤s2中，对于长期对话历史，根据相似性对与当前查询相关的前k个对话历史进行排名和检索，并调整对话历史的顺序。
9、进一步的本文档来自技高网...
【技术保护点】
1.一种增强大语言模型角色感知的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在步骤S1中，对话数据包括用户的人格信息、聊天机器人的人格信息、所有的对话历史以及不同会话之间的时间间隔，处理后数据包含用户的人格信息、聊天机器人的人格信息，用户当前的查询，聊天机器人的标准回复以及以往的对话历史。
3.根据权利要求1所述的方法，其特征在于，在步骤S2中，对于长期对话历史，根据相似性对与当前查询相关的前k个对话历史进行排名和检索，并调整对话历史的顺序。
4.根据权利要求3所述的方法，其特征在于，调整对话历史的是顺序的方法包括：采用ConvED的方法，计算k个对话历史中发话的对话编辑距离，得到评分，根据评分调整顺序。
5.根据权利要求1所述的方法，其特征在于，在步骤S2中，对于短期对话历史，通过主题转移检测器评估短期对话历史和当前查询的主题相关性；如果短期对话中的发话与当前查询的主题无关，则丢弃。
6.根据权利要求1所述的方法，其特征在于，在步骤S3中，用户图的构建方法包括：
7.根据权利
8.根据权利要求1所述的方法，其特征在于，在步骤S4中，包括：
9.根据权利要求8所述的方法，其特征在于，训练过程中冻结大语言模型的参数，更新图神经网络和MLP的参数。
...【技术特征摘要】
1.一种增强大语言模型角色感知的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在步骤s1中，对话数据包括用户的人格信息、聊天机器人的人格信息、所有的对话历史以及不同会话之间的时间间隔，处理后数据包含用户的人格信息、聊天机器人的人格信息，用户当前的查询，聊天机器人的标准回复以及以往的对话历史。
3.根据权利要求1所述的方法，其特征在于，在步骤s2中，对于长期对话历史，根据相似性对与当前查询相关的前k个对话历史进行排名和检索，并调整对话历史的顺序。
4.根据权利要求3所述的方法，其特征在于，调整对话历史的是顺序的方法包括：采用conved的方法，计算k个对话历...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。