【技术实现步骤摘要】
本专利技术属于自然语言处理的，更具体地，涉及基于大模型的无监督多样性观点摘要生成方法与装置。
技术介绍
1、针对给定的观点文档集合，其中每个文档包含一个或者多个观点，多样性观点摘要任务总结观点文档集合中同一主题下的多个差异性观点，形成简短的文本，其包含的观点在立场或者视角上具有差异性，可以是针对同一个主题的对立观点，也可以是同一个观点的不同方面等，多样性观点摘要旨在消除单一观点所带来的偏见，能够为用户分析观点提供更广泛的视角，对于事件分析、市场调研、策略制定等具有重要意义。由于观点的主观性、开放辩论性等内在特性，以及人工标注多样性观点摘要数据集开销较大等约束，无监督的多样性观点摘要技术成为研究热点且具备挑战。
2、无监督观点摘要任务依据目标差异主要分为两类，一类是侧重于共识观点的摘要任务，中国专利技术专利cn113641788a“一种基于无监督的长短影评细粒度观点挖掘方法”构建了情感字典以及包含影评分数和推荐数的长短影评数据集，通过情感字典分析观点，并结合影评分数和推荐数等信息生成摘要。该方法针对的是共性观点，没有考虑观点的差异性，而且影评分数等信息的引入约束了应用场景。另一类是侧重观点多样性的摘要任务，中国专利技术专利cn108268668a“一种基于话题多样性的文本数据观点摘要挖掘方法”结合话题属性和情感极性形成句子特征，然后选择包含话题最多，情感有差异的句子集合作为最终的摘要。该方法以情感的正负差异化观点，难以反映相同情感极性的观点的不同证据角度。中国专利技术专利cn113032550a“一种基于预训练语言模型
3、近期的观点摘要技术通常采用大模型(large language model, llm)。大模型存储了海量知识，具备强大的文本理解和总结能力，在零样本和少样本任务上取得了很好的效果。现有基于大模型的摘要技术通过提供给大模型一段提示(prompt)引导其生成文本。但是，大量实验证明，大模型的生成结果非常依赖于提示质量，如何形成有效的提示成为主要的挑战问题。相关方法包括抽取观点文档集合中的核心信息如时间、事件，构造了一个思维链指导大模型，还包括将摘要任务切分为提取主题、基于主题聚类、摘要生成三个子任务，针对每个子任务设计一个提示，以此实现摘要生成。中国专利技术专利cn117874219a“基于大模型的客服对话摘要生成方法及可读存储介质”通过人工构建的提示词引导gpt4等大模型构建摘要标注数据集，随后借助这些数据集对一个小摘要模型进行知识蒸馏，最后通过小模型生成摘要。上述方法所构造的提示往往基于人类经验，缺少评价及反馈，难以有效引导大模型。而且，这些方法均使用单轮生成框架，由于大模型生成文本的灵活性，对于相同的输入，常会产生有差异的输出，这使得其生成的文本存在语义漂移，可控性较弱。
技术实现思路
1、本专利技术旨在克服上述现有技术的至少一种缺陷，提供基于大模型的无监督多样性观点摘要生成方法，以在缺少标注数据条件下差异化观点，并形成可解释的提示纠正大模型在摘要生成过程中的语义漂移。
2、本专利技术使用指令引导大模型，将摘要生成过程表示为一个带有上下文的马尔可夫过程(,,,,π)，其中状态空间为摘要候选空间，动作空间为提示候选空间，上下文表示给定观点文档集合，为奖励函数，策略π在上下文、上一个动作和状态的条件下产生一个新的动作，在此，下标表示马尔可夫过程的第次迭代，动作是指构建一个提示，形式化为，其中表示第步的状态即生成的摘要。整个过程的目标是最大化生成摘要的奖励。
3、技术术语解释：
4、提示：提供给大模型的一段文本，此文本用于引导模型生成相应的输出。
5、核心观点参考：为大模型提供了语义约束，是提示的重要组成部分，包含了生成高质量摘要所遵从的观点语义，在本专利技术中可被更新。
6、观点要素：观点的属性信息，包括但不限于观点文档集合的主题、观点的核心语义和观点摘要任务陈述。
7、句子支持集：在观点文档集合中，能够在语义上支持该句子的文档合集。
8、摘要观点覆盖度：摘要对观点文档集合中所有观点的覆盖程度。
9、摘要观点差异度：摘要所包含的句子间的观点差异程度。
10、本专利技术的技术方案如下：
11、一种面向无监督多样性观点摘要任务的生成方法，其特征在于：
12、所述方法的核心思想是设计一个包含多个观点要素的可更新的提示，然后从已生成的摘要中选择观点覆盖度高差异性大的句子集合作为核心观点参考，随后，将核心观点参考融入提示中，约束大模型在后续生成过程中保留这些语义，同时探索新的观点，整个过程迭代进行直至达到停止条件。具体包括如下步骤：
13、s1、给定观点文档集合，并构造包含多个观点要素的提示，所述提示包括三个部分，；其中，a表示提示；表示主题，表示核心观点参考，用于为大模型提供核心观点语义信息；为观点摘要任务陈述，使用自然语言陈述摘要任务，并组织和成为完整提示。
14、对于观点文档集合，所述主题的获取方法包括但不限于主题模型和词频统计；所述核心观点参考的表达形式包括但不限于关键词集合、句子集合和关系元组集合，在第一次迭代过程，将置为空集。
15、s2、基于构造的提示引导大模型生成摘要。
16、使用s1生成的提示引导大模型生成摘要：
17、(7)；
18、公式（7）中，表示一个大模型。
19、s3、评估生成的摘要，形成摘要的整体奖励，整体奖励用于判定是否停止迭代；
20、s4、迭代式的提示校准以获取新的核心观点参考，用于生成新的提示；
21、表示第轮迭代中所使用的提示，其中表示第轮提示中的核心观点参考，表示第轮所生成的摘要即；
22、首先，构造候选句子集合，随后，从中选择出一个句子子集作为新的核心观点参考：
23、(1.)；
24、公式（1）中，为句子选择算法，由此，得到新的提示即第轮的提示。
25、s5、上述s1-s4迭代进行，直至满足如下条件之一时，输出最后一轮的生成的摘要：
26、a.前后两次迭代过程所得到的摘要奖励差异值小于奖励差异阈值β，即，和分别表示第t+1步迭代和第t步迭代生成的摘要所对应的整体奖励；
27、b.达到最大迭代次数。
28、进一步地，所述评估生成的摘要，形成摘要的整体奖励，具体包括：
29、从多角度评估生成的摘要，摘要的整体奖励包括两个部分，一是摘要对观点文档集合的观点覆盖度，二是摘要中句子间的观点差异度；
30、首先，将摘要切分为多个句子，对于摘要中的每个句子，句子支持集为观点文档集合中在观点语义上支持该句子的文档合集本文档来自技高网...
【技术保护点】
1.基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述评估生成的摘要，形成摘要的整体奖励，具体包括：
3.根据权利要求2所述的基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述从中选择出一个句子子集作为具体包括步骤：
4.根据权利要求1所述的基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述主题的获取方法包括但不限于主题模型和词频统计。
5.根据权利要求1或3所述的基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述核心观点参考的表达形式包括但不限于关键词集合、句子集合和关系元组集合。
6.基于大模型的无监督多样性观点摘要生成装置，其特征在于，所述装置包括：
【技术特征摘要】
1.基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述评估生成的摘要，形成摘要的整体奖励，具体包括：
3.根据权利要求2所述的基于大模型的无监督多样性观点摘要生成方法，其特征在于，所述从中选择出一个句子子集作为具体包括步骤：
4.根据权...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。