【技术实现步骤摘要】
本专利技术涉及自然语言处理，尤其是涉及一种大语言模型的性格定向构造方法、设备及存储介质。
技术介绍
1、大语言模型(large language model，llm)是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型能够处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。
2、大语言模型拥有小模型没有的涌现能力，例如优秀的零样本学习、领域迁移、思维链能力。大模型的能力实际上来自于预训练、指令微调和对齐，这三个过程密切相关，成就了现在超强的大语言模型。在预训练阶段，该阶段的目标是获得一个强大的基础模型。相应地，在此阶段模型展现出来的能力有：语言生成，上下文学习能力，具备世界的知识，推理能力等等。在指令微调阶段，该阶段的目标是解锁一些涌现能力(emergent ability)。这里的涌现能力是特指小模型没有，大模型才有的能力。经历过指令微调后的模型，出现了基础模型所没有的能力。例如，通过构造新的指令，模型能够解决新任务；再比如，思维链的能力，即通过展示给模型推理过程，模型也能仿照进行正确推理等。在对齐阶段，该阶段的目标是使模型具备人类的价值观，比如要产生有信息量的回复，不能产生歧视类的发言等等。可以认为，对齐阶段赋予了模型们“个性化”。上述三个阶段相辅相成，缺一不可。只有预训练阶段得到了一个足够强大的基础模型，才有可能通过指令微调激发(或者增强)语言模型的其他能力。对齐阶段赋予模型一定“性格”，以更好地符合人工智能应用场景的一些要求。
3、
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种大语言模型的性格定向构造方法、设备及存储介质，能够低成本地定向改变大模型性格，并且提升大语言模型的安全能力。
2、本专利技术的目的可以通过以下技术方案来实现：一种大语言模型的性格定向构造方法，包括以下步骤：
3、s1、根据实际场景的需求，在特定数据集上构造相应导向向量；
4、s2、将预先训练好的大语言模型应用于实际场景，并利用导向向量来干预大语言模型的推理过程。
5、进一步地，所述步骤s1包括以下步骤：
6、s11、针对实际场景对应的特定数据集，通过分析特定概念相关的语句及其二进制标签，划分得到正负样本的语句集合；
7、s12、利用正负样本的语句集合，通过计算正负语句激活值的期望，构建得到导向向量。
8、进一步地，所述步骤s11的具体过程为：给定一个数据集xi表示第i个与特定概念相关的样本，yi是对应的二进制标签，采用x+和x-分别表示标签为1和0的样本集合，x+为正样本集合、x-为负样本集合。
9、进一步地，所述步骤s12的具体过程为：将数据集中的所有正样本和负样本输入到大语言模型中，对应得到正样本激活数据集al(x+)和负样本激活数据集al(x-)，其中al表示大语言模型第l层激活的函数，然后分别计算每个激活数据集的平均值，并作差以获得导向向量。
10、进一步地，所述导向向量具体为：
11、
12、其中，vl为大语言模型第l层对应的导向向量，为大语言模型第l层正样本激活数据集的平均值，为大语言模型第l层负样本激活数据集的平均值。
13、进一步地，所述步骤s2具体是将导向向量添加至大语言模型相应的层表示中，并通过调整干预强度参数，以干预大语言模型的推理过程、控制调整大语言模型的输出。
14、进一步地，所述大语言模型的输出具体为：
15、hl′＝hl+αvl
16、其中，hl′为大语言模型的第l层输出，hl表示大语言模型的第l层原始表示，vl表示相应的导向向量，超参数α为干预强度参数，用于控制干预的强度。
17、进一步地，所述实际场景包括聊天机器人、医疗机器人。
18、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述大语言模型的性格定向构造方法。
19、一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述大语言模型的性格定向构造方法。
20、一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述大语言模型的性格定向构造方法。
21、与现有技术相比，本专利技术具有以下优点：
22、本专利技术根据实际应用场景需求，通过在特定数据集上构造导向向量，在大语言模型推理时，使用预先构造的导向向量进行干预，从而定向改变该大语言模型的性格，由此使用基于导向向量的技术低成本地定向改变大模型性格，时间复杂度和成本较低，不需要对模型进行微调，并且能够提升大语言模型的安全能力、得到适用于不同应用场景的更安全的输出结果。
23、本专利技术针对应用场景的特定数据集，通过分析特定概念相关的语句及其二进制标签，以划分正负样本的语句集合，利用这些集合，通过计算正负语句激活值的期望，进而构建一个导向向量，该导向向量在大语言模型推理过程中被添加到相应的层表示中，再通过调整干预强度参数α，能够精确控制模型输出的调整。
本文档来自技高网...【技术保护点】
1.一种大语言模型的性格定向构造方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种大语言模型的性格定向构造方法，其特征在于，所述步骤S1包括以下步骤：
3.根据权利要求2所述的一种大语言模型的性格定向构造方法，其特征在于，所述步骤S11的具体过程为：给定一个数据集xi表示第i个与特定概念相关的样本，yi是对应的二进制标签，采用X+和X-分别表示标签为1和0的样本集合，X+为正样本集合、X-为负样本集合。
4.根据权利要求3所述的一种大语言模型的性格定向构造方法，其特征在于，所述步骤S12的具体过程为：将数据集中的所有正样本和负样本输入到大语言模型中，对应得到正样本激活数据集Al(X+)和负样本激活数据集Al(X-)，其中Al表示大语言模型第l层激活的函数，然后分别计算每个激活数据集的平均值，并作差以获得导向向量。
5.根据权利要求4所述的一种大语言模型的性格定向构造方法，其特征在于，所述导向向量具体为：
6.根据权利要求5所述的一种大语言模型的性格定向构造方法，其特征在于，所述步骤S2具体是将导向向量添加至大
7.根据权利要求6所述的一种大语言模型的性格定向构造方法，其特征在于，所述大语言模型的输出具体为：
8.根据权利要求1所述的一种大语言模型的性格定向构造方法，其特征在于，所述实际场景包括聊天机器人、医疗机器人。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8任一所述的一种大语言模型的性格定向构造方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1～8任一所述的一种大语言模型的性格定向构造方法。
...【技术特征摘要】
1.一种大语言模型的性格定向构造方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种大语言模型的性格定向构造方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求2所述的一种大语言模型的性格定向构造方法，其特征在于，所述步骤s11的具体过程为：给定一个数据集xi表示第i个与特定概念相关的样本，yi是对应的二进制标签，采用x+和x-分别表示标签为1和0的样本集合，x+为正样本集合、x-为负样本集合。
4.根据权利要求3所述的一种大语言模型的性格定向构造方法，其特征在于，所述步骤s12的具体过程为：将数据集中的所有正样本和负样本输入到大语言模型中，对应得到正样本激活数据集al(x+)和负样本激活数据集al(x-)，其中al表示大语言模型第l层激活的函数，然后分别计算每个激活数据集的平均值，并作差以获得导向向量。
5.根据权利要求4所述的一种大语言模型的性格定向构造方法，其特征在于...
【专利技术属性】
技术研发人员：刘东瑞，邵婧，张杰，钱辰，甘子月，乔宇，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。