【技术实现步骤摘要】
本专利技术涉及自然语言处理领域，特别涉及一种基于软提示调优的个性化新闻推荐方法。
技术介绍
1、随着互联网的快速发展，在线新闻门户和平台在人们的日常生活中发挥了重要作用。用户可以随时随地方便地获取各种新闻，在带来便利的同时也带来了严重的“信息超载”问题。针对这些问题，个性化新闻推荐旨在帮助用户从海量的新闻中找到自己最感兴趣的新闻，这是一种有效的用户过滤工具，也是当今网络新闻平台必不可少的功能。
2、新闻推荐的研究范式从深度神经网络发展到预训练语言模型，两者在新闻推荐中都表现出了可观的性能。现有的基于深度神经网络的新闻推荐方法主要集中在学习用户和项目的更高层次和抽象的特征表示，旨在找到用户和项目之间的联系，从而进行个性化推荐。这些方法背后的主要思想是学习不同用户和物品之间的相似性。但是，这些基于深度神经网络的方法主要关注于提取推荐数据集本身的信息，而往往忽略了现实世界大规模语料库中可用的丰富的语义和语言信息。
3、最近，已经有一些将预训练语言模型用于个性化新闻推荐的方法。在这些方法中，引入了一些流行的预训练语言模型(例如bert和roberta)来将下游推荐任务微调到预训练的知识。利用预训练语言模型作为新闻编码器，并利用特定的新闻推荐功能对模型进行训练，与基于深度的方法相比，该方法取得了显著的性能。但是，由于预训练和微调的客观形式存在很大差距，这些微调后的预训练语言模型无法激发大规模预训练模型中分布的丰富知识用于新闻推荐。
技术实现思路
1、本专利技术的目的是
2、本专利技术的目的是这样实现的：一种基于软提示调优的个性化新闻推荐方法，包括以下步骤：
3、1)对每个用户进行建模，引入新闻的附加侧边信息，包括新闻的子类别和摘要，以丰富新闻的特征表示；
4、2)选择合适的预训练语言模型，将训练模型作为主干，构建提示学习中的标签词和模板；
5、3)通过三种优化策略扩展标签词映射器，得到优化后的标签词集；
6、4)在通过各种策略成功构建最终的标签词映射器之后，将每个标签词的预测概率适当地映射到它们各自的类别中，目标函数表示为g。
7、作为本专利技术的进一步限定，所述步骤2)包括：
8、2.1)选择bert模型作为预训练语言模型，使用全词的掩码mask方法学习文本的特征；
9、2.2)给定输入句子x＝{x0,...,xi,...,xh}，首先映射到嵌入中为e(x)＝{e(x0),...,e(xi),...,e(xh)}，则软提示符t由软令牌e(x)和掩码e(mask)的嵌入组成；设[pi]表示模板中的第ith个提示令牌，则软提示t如(1)所示:
10、t＝{[p0],...,[pi],e(x),[pi+1]...,[pn],e(mask)} (1)
11、在实验中使用神经网络来训练软令牌，使用的模板表示为(2)：
12、t＝{h0,...,hi,e(x),hi+1...,hn,e(mask)} (2)
13、其中，hi为嵌入张量，再将bilstm模型作为神经网络引入hi模型，这个过程被形式化为(3)：
14、
15、其中hi为嵌入张量，是双向lstm在时间步i的隐藏向量，和分别表示正向lstm和反向lstm在时间步i的隐藏向量，和分别表示正向lstm和反向lstm单元，h0和分别表示正向lstm的初始隐藏向量和反向lstm的初始隐藏向量。
16、作为本专利技术的进一步限定，所述步骤3)包括：
17、3.1)在标签词的扩展中，和具体的标签相联系的特殊类别vy将被扩展；
18、3.2)为每个类别构建初始概念，v1＝{喜欢，感兴趣}，v2＝{不喜欢，不感兴趣}，然后通过近义词库获取与种子词相关的概念填充到对应的类别词集中；
19、3.3)采用三种额外的策略来优化标签词，每一种策略都抓住了扩展词的不同方面的特征，最后将三种策略都认为是有效的标签词加入最终的标签词集中；包括利用bert预测扩展词填充在mask位置的概率分布、利用概念与类别名称之间的相似性；使用bert获取与"mask"词对应的词汇表的概率分布，并从概率分布中选择前n个词，通过bert的预测能力利用输入句子的上下文信息，预测出与类别最相关的词汇；
20、然后通过相似度计算，使用经典的tf-idf算法来获得单词的向量表示，tf-idf算法倾向于使用与特定文档相关而与其他文档无关的单词作为文档的关键字，并用余弦相似度来衡量这两个词的相似情况、考虑mask位置的上下文信息，并根据结果选择前n个值；其中余弦相似度的表示方法如下：
21、
22、其中n是向量表示的维度，是第i维度的原始向量，第i维度的相似向量；
23、引入上下文信息的方法来进行标签词的扩展，引入预训练语言模型plms通过bert来替代传统的n元语言模型获取上下文信息，在遮蔽词"mask"周围引入了一个大小为c的对称窗口作为上下文，表示遮蔽词w的上下文为w＝…w-c,…w…,wc,…，其中，w中的wi被依次遮蔽并输入bert模型来计算w的损失，损失函数的公式如下：
24、
25、其中v表示词汇中单词的集合，1为指示函数，p(vi＝wi∣w\wi)表示上下文w去除当前词wi后，由bert预测的分布概率，然后通过对每个词的损失平均值来计算上下文的总损失，总损失计算方法如下，然后将所有的扩展词根据其对应的序列损失进行排序，选择损失较低的前n个词；
26、
27、对于每种策略，都取排序靠前的前n＝5个词。
28、作为本专利技术的进一步限定，步骤4)中所述目标函数g表示为：
29、
30、其中|vy|表示与标签y对应的标签词的集合，而|vy|表示vy的基数，函数p([mask]＝v|xp)计算给定输入文本xp的标签词v出现的概率。
31、本专利技术采用以上技术方案，与现有技术相比，有益效果为：1)本专利技术提出了一种基于软提示调优的个性化新闻推荐方法，将提示学习模型与新闻的多个侧边信息相结合进行新闻推荐，并且在经典新闻推荐数据集上的效果都超过了原有的基线方法；
32、2)本专利技术提出了一种包含新闻摘要和新闻子类别的提示调优模型，将新闻的个性化特征纳入模板构建中，更好的融入了新闻的特征。
33、3)本专利技术采用了多种策略来捕获扩展词的不同特征，以进行语言优化，最终通过软提示调优获得更好的推荐性能。
本文档来自技高网...【技术保护点】
1.一种基于软提示调优的个性化新闻推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于软提示调优的个性化新闻推荐方法，其特征在于，所述步骤2)包括：
3.根据权利要求1所述的一种基于软提示调优的个性化新闻推荐方法，其特征在于，所述步骤3)包括：
4.根据权利要求1所述的一种基于软提示调优的个性化新闻推荐方法，其特征在于，步骤4)中所述目标函数g表示为：
【技术特征摘要】
1.一种基于软提示调优的个性化新闻推荐方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于软提示调优的个性化新闻推荐方法，其特征在于，所述步骤2)包括：
3.根据权利...
【专利技术属性】
技术研发人员：朱毅，袁旭，李云，袁运浩，强继朋，
申请(专利权)人：扬州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。