【技术实现步骤摘要】
本专利技术总体上涉及利用提示微调语言模型的技术。更具体地说，本专利技术涉及一种利用角色知识对齐提示的自动评估在线辩论的方法和系统。
技术介绍
1、辩论是就特定问题交换观点或说服他人的过程。具体来说，在整个历史中，辩论一直是人类沟通和决策的基石，为个体和群体提供了表达其想法、论证其立场并说服他人的平台。辩论的艺术在例如政治、教育、法律和日常决策等各种领域都至关重要。论点的说服力不仅取决于语言的使用，而且还受到沟通者的特征，例如说话的语气、身体语言和感知可信度等因素影响，突显了有效沟通的复杂性和说服过程的多面性。
2、在自然语言处理(nlp)和计算论证领域，人们对开发可自动评定论点的定性特征的计算方法的研究兴趣日益浓厚。论点的影响力和说服力是至关重要的定性特征，并且已进行了大量研究来开发用于识别公共论坛中自然语言论点的影响力和说服力的计算方法。chatgpt对开放世界的令人印象深刻的模拟表明，巨大的预训练语言模型可充当个体来提供角色并基于不同的背景知识发挥独特的影响，增强辩论的质量和有效性的潜力。
3、一些计算论证的研究使用从如reddit的改变我的观点(change my view；cmv)子论坛等网络论证源收集的语料库来评定论点的定性影响力。但是，估计涵盖各种主题的论点的影响力或说服力需要更广泛的知识，而不仅仅是理解对话中基于语言的论点的语义意义。许多文献记载了关于表面文本、社会交际、论证相关特征、来源和受众的特征、论点的序列排序以及风格特征等各个方面对确定说服力的重要性和效果的研究和调查。除了前述特征之
4、传统的论证评估任务主要是研究知识的各个方面。论点的影响力和说服力不仅与语言属性有着千丝万缕的联系，而且与沟通者的特质(包含来源(说话者)、先验信念、论点结构以及语篇情境的影响力)也息息相关。
5、社会心理学研究已经确定了受众是影响论证说服力的其中之一个因素。将心理学原理整合到辩论研究中可更深入地了解如何更有效地结构化和表达论点以实现期望的说服结果。
6、尽管研究人员非常关注语言的各个方面(例如语言特征和语篇结构)对在线辩论的应用，但由于其难度和复杂性，尚未将其与心理学相结合进行探索。对于人物角色的计算研究主要来自对话领域，强调了对话中个性信息的重要性。然而，除了通过分析心理学对人类角色的进行注释外，以计算方式通过分析心理学提取人物角色知识来评估在线论点的影响力/说服力尚未得到充分探索。
技术实现思路
1、本专利技术观察到llm在开放世界中的出色模拟，表明大型预训练语言模型能够扮演角色，并基于不同的背景知识发挥独特影响。心理学原理与语言特征和语篇结构的结合，弥补了当前辩论研究和实践中的不足。因此，本专利技术提出了一种从心理学角度评估论点质量的角色知识对齐框架，首次探索了角色知识在在线辩论中的作用，并通过提示调谐将心理学信息注入较小的语言模型中，以对论点的影响力和说服力进行分类，更好地执行在线辩论评估任务。
2、根据本专利技术的一方面，提供了一种用于自动评估在线辩论的方法。所述方法包括：定义多个角色知识维度；根据所述多个定义的角色知识维度定制提示模板以产生角色知识引导提示，其中所述角色知识引导提示包含指令、情境演示以及情境与论点；将所述角色知识引导提示输入预训练的语言模型以引导出角色知识；连接所述引导出的角色知识和所述提示中的情境与论点以构建角色知识对齐提示；以及利用所述角色知识对齐提示微调辩论评估模型以评估在线辩论论点的说服力/影响力。
3、在一些实施例中，所述利用所述角色知识对齐提示微调所述辩论评估模型以评估在线辩论论点的说服力/影响力包括：制定在线辩论论点的说服力/影响力的分类问题；利用所述角色知识对齐提示将所述在线辩论论点的说服力/影响力的分类问题制定为条件产生任务以产生可学习的连续符记；通过反向传播对所述可学习的连续符记进行更新以产生输出符记；以及将所述产生的输出符记映射为在线辩论论点的说服力/影响力的类标签。
4、根据本专利技术的另一方面，提供了一种用于自动评估在线辩论的系统。所述系统包括存储器和处理器，其特征在于：所述存储器配置为存储多个预定义的角色知识维度、预训练的语言模型以及辩论评估模型；所述处理器配置为：根据所述多个定义的角色知识维度定制提示模板以产生角色知识引导提示，其中所述角色知识引导提示包含指令、情境演示以及情境与论点；将所述角色知识引导提示输入预训练的语言模型以引导出角色知识；连接所述引导出的角色知识和所述提示中的情境与论点以构建角色知识对齐提示；以及利用所述角色知识对齐提示微调辩论评估模型评估在线辩论论点的说服力/影响力。
5、在一些实施例中，所述处理器进一步配置为：制定在线辩论论点的说服力/影响力的分类问题；利用所述角色知识对齐提示将所述在线辩论论点的说服力/影响力的分类问题制定为条件产生任务以产生可学习的连续符记；通过反向传播对所述可学习的连续符记进行更新以产生输出符记；以及将所述产生的输出符记映射为在线辩论论点的说服力/影响力的类标签。
本文档来自技高网...【技术保护点】
1.一种用于自动评估在线辩论的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用所述角色知识对齐提示微调所述辩论评估模型以评估在线辩论论点的说服力/影响力包括：
3.根据权利要求2所述的方法，其特征在于，所述多个角色知识维度包含角色立场，其中所述角色立场描述角色关于所述情境与论点的立场。
4.根据权利要求3所述的方法，其特征在于，所述多个角色知识维度包含角色论点，其中所述角色论点呈现支持所述角色立场的论点。
5.根据权利要求3所述的方法，其特征在于，所述多个角色知识维度包含角色品格，其中所述角色品格描述所述角色所表现出的内在品格特质。
6.根据权利要求3所述的方法，其特征在于，所述多个角色知识维度包含角色意图，其中所述角色意图概述所述角色在打算实现或完成的外部作用或结果。
7.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的相关性进行评分。
8.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的流畅性进行评分。
9.根据权
10.根据权利要求1所述的方法，其特征在于，进一步包括对对关于所述角色知识的可信性进行评分。
11.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的有用性进行评分。
12.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的危害性进行评分。
13.一种用于自动评估在线辩论的系统，包括存储器和处理器，其特征在于：
14.根据权利要求13所述的系统，其特征在于，所述处理器进一步配置为：
15.根据权利要求14所述的系统，其特征在于，所述多个角色知识维度包含角色立场，其中所述角色立场描述角色关于所述情境与论点的立场。
16.根据权利要求15所述的方法，其特征在于，所述多个角色知识维度包含角色论点，其中所述角色论点呈现支持所述角色立场的论点。
17.根据权利要求15所述的系统，其特征在于，所述多个角色知识维度包含角色品格，其中所述角色品格描述所述角色所表现出的内在品格特质。
18.根据权利要求15所述的系统，其特征在于，所述多个角色知识维度包含角色意图，其中所述角色意图概述所述角色在打算实现或完成的外部作用或结果。
19.根据权利要求13所述的系统，其特征在于，所述处理器进一步配置为对关于所述角色知识的相关性进行评分。
20.根据权利要求13所述的系统，其特征在于，所述处理器进一步配置为对关于所述角色知识的流畅性进行评分。
21.根据权利要求13所述的系统，其特征在于，所述处理器进一步配置为对关于所述角色知识的一致性进行评分。
22.根据权利要求13所述的系统，其特征在于，所述处理器进一步配置为对对关于所述角色知识的可信性进行评分。
23.根据权利要求13所述的系统，其特征在于，所述处理器进一步配置为对关于所述角色知识的有用性进行评分。
24.根据权利要求13所述的系统，其特征在于，所述处理器进一步配置为对关于所述角色知识的危害性进行评分。
...【技术特征摘要】
1.一种用于自动评估在线辩论的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用所述角色知识对齐提示微调所述辩论评估模型以评估在线辩论论点的说服力/影响力包括：
3.根据权利要求2所述的方法，其特征在于，所述多个角色知识维度包含角色立场，其中所述角色立场描述角色关于所述情境与论点的立场。
4.根据权利要求3所述的方法，其特征在于，所述多个角色知识维度包含角色论点，其中所述角色论点呈现支持所述角色立场的论点。
5.根据权利要求3所述的方法，其特征在于，所述多个角色知识维度包含角色品格，其中所述角色品格描述所述角色所表现出的内在品格特质。
6.根据权利要求3所述的方法，其特征在于，所述多个角色知识维度包含角色意图，其中所述角色意图概述所述角色在打算实现或完成的外部作用或结果。
7.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的相关性进行评分。
8.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的流畅性进行评分。
9.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的一致性进行评分。
10.根据权利要求1所述的方法，其特征在于，进一步包括对对关于所述角色知识的可信性进行评分。
11.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的有用性进行评分。
12.根据权利要求1所述的方法，其特征在于，进一步包括对关于所述角色知识的危害性进行评分。
13.一种用于自动评估在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。