一种基于注意力的多兴趣序列推荐方法及系统技术方案

本发明专利技术公开了一种基于注意力的多兴趣序列推荐方法及系统，提出了一个模型MUIR，该模型使用多个向量表示用户的不同层面的兴趣，并能够为用户提供多样化的推荐结果。采用基于自注意力的方法学习低级层面的表示，并利用上下文信息和辅助信息学习另一更高层级的表示，在不增加太多额外成本的情况下，显著提高了总体综合训练效率。设计了两个基于自注意力的模块，并尝试在学习过程中非侵入地结合辅助信息和会话上下文信息，完成了对传统自注意力模型的性能超越。设计的MLP的融合模块通过考虑最近交互的项来平衡本地级和全局级表示，这个模块能够计算不同兴趣向量的召回数量，并且不需要目标项目的参与，能够在在线服务阶段提高效率。率。率。

【技术实现步骤摘要】
一种基于注意力的多兴趣序列推荐方法及系统


[0001]本专利技术涉及序列推荐推荐
，具体涉及一种基于的自注意力机制的多兴趣序列推荐系统，相关细节技术还包括兴趣融合。

技术介绍

[0002]互联网时代，随着多样化的输出平台和普通人群的使用频率的不断增长，互联网生成的多样化信息内容正在急剧增长，这一现象导致了信息量过载(information overload)的问题，该问题成为了用户获取所需内容、满足自身消费需求的重大阻碍。为解决这一问题，推荐系统应运而生，并成为各大平台中重要的技术工具。通常，这些系统的主要任务是从海量内容中挖掘出用户可能感兴趣的内容，进而提升用户体验，增加使用及消费的可能性。然而，基于传统思路的推荐也存在一些问题，如准确度不高、排序不好、无法适用于频繁迭代的新场景等问题。因此有人提出使用序列建模方法，对用户交互序列中的项目及其关系进行挖掘。序列模型对历史行为中的的有效交互进行注意力分数计算，并采取一些手段来进行序列整体表示的生成，将该序列整体表示与物品编码进行相似度计算，从而完成推荐列表的生成。
[0003]现有序列推荐系统存在一些不足。第一点，这些方法的评估目标往往会趋向于交互概率最大的项目，因此生成的推荐结果可能欠缺多样性、丰富度较低。这些方法通常生成一个相对较大的编码，因为对应的项目编码的维度必须很大，才能表达对应用户的多种兴趣偏好；同时类似SASRec的基于自注意力的方法，如果在过去的互动中，近期有大量相似的项目占主导地位，此类模型倾向于预测与近期交互具有较高相似度的项目，进而忽略那些存在于早期交互序列中的项目，进而影响相似度的计算，将次优结果推荐给用户。
[0004]因此，提出了一个名为MUIR(Learning and Fusing Multiple User Interest Representations for Sequential Recommendation)的序列推荐模型，它可以从不同层面捕捉用户的不同兴趣，并结合向量表示来生成对应的综合兴趣编码，依据对应的兴趣编码来分别召回项目；为了有效地学习用户的局部级别(local
‑
level)和全局级别(global
‑
level)的兴趣表示，应用了两个结合辅助信息和上下文信息的自注意力兴趣提取模块，来学习交互历史中不同项目的权重表示；设计了一个基于多层感知机的融合模块，它能够生成一个权重分数，通过这个权重分数来将两种模块学习到的结果进行加权拼接，这种融合思路是相对较为新颖的；在三个数据集上，设计了对应的实验来实验来评估MUIR模型，对应的结果表明，与一些近年来的在实际生产环境中取得应用的模型相比，提出的方法显优于这些方法，并且降低了运行的开销，提高了效率。

技术实现思路

[0005]在本专利技术中，提出了一个模型MUIR，该模型使用多个向量表示用户的不同层面的兴趣，并解决用户兴趣多样化的问题。每个向量都可以用来独立地检索项目。采用基于自注意力的方法学习低级层面(local
‑
level)的表征，并利用上下文信息和辅助信息学习另一
更高层级(global
‑
level)的表征。因此，在不增加太多额外成本的情况下，显著提高了总体综合训练效率。添加了一个gate模块，这个模块能够计算不同兴趣向量的召回数量。
[0006]本专利技术的主要技术特征总结如下：
[0007]·
提出了一个名为MUIR的新模型，该模型捕获用户的多样化兴趣向量，并将这些向量进行融合，生成召回的依据。
[0008]·
为了有效地学习用户的不同层级兴趣表示，设计了两个基于自注意力的模块，并尝试在学习过程中非侵入地结合辅助信息(如评分)和会话上下文信息，完成了对传统自注意力模型的性能超越。
[0009]·
设计了一个基于MLP的融合模块，通过考虑最近交互的项来平衡本地级(local
‑
level)和全局级(global
‑
level)表示。
[0010]·
在研究文献中广泛采用的三个数据集的基础上进行了实验。实验结果表明，本方法明显优于基线方法。
[0011]在上述模型的实现过程中，具体步骤为：
[0012](1)从用户的行为日志,或相关数据集中提取用户所产生的交互记录，并获取其在这些交互记录上产生的具体行为类型，这些交互记录和对应的行为类型将作为训练数据供后续步骤(2)至步骤(6)使用；
[0013](2)在上一步(1)中得到的数据的基础上，依照序列推荐领域中广泛的通行做法，将这些数据划分为训练集、验证集和测试集；在训练集中的每一条交互记录上，采取推荐系统中广泛使用的切分策略，进行数据扩展，例如将一条交互记录“1、2、3、4”划分为“1、2”，“1、2、3”，“1、2、3、4”，这里的数字编号代表一条交互内容，可以是浏览过的商品或新闻等；通过步骤(1)及步骤(2)分别完成数据的获取与扩展，以供后续步骤(3)至步骤(6)使用；
[0014](3)对于每一条划分的新纪录，尝试获取对应记录的local
‑
level兴趣表示。具体而言，使用了使用基于改进版本的自注意力分数计算+前馈网络+兴趣提取模块的网络结构，来获取用户的多重local
‑
level兴趣表示。在注意力分数计算的过程中，我们提出了使用不含softmax层的自注意力模块来进行相关计算，如公式组(4)的第一个子公式所示，该方法能够提高精度、避免softmax归一化操作所带来的损失以及额外性能开销，这在以往的大部分基于自注意力的序列推荐中没有被尝试过；在前馈网络中，我们使用了变宽的前馈网络来更好的模拟特征之间的交互，该变宽网络的中间层宽度为输入和输出层的2倍，输入和输出层与原始项目编码一致，如公式组(4)的第二个子公式所示，以往的基于自注意力的序列推荐模型没有进行相关尝试；兴趣提取模块中，我们使用了常规的方法，如公式(5)所示，该部分没有进行修改。通过这些计算，最终获得注意力分数矩阵，并生成local
‑
level的兴趣表示的过程如公式(2)和公式(3)所示。通过这种方式获得的local
‑
level表示，具有精度高(即召回结果的准确率高)、运行快(减少了了softmax非线性操作中的对数运算)的特点，与以往的利用自注意力的模型有一些较为明显的不同。本步骤中获取到的兴趣表示将与步骤(4)中获取的兴趣表示一并参与到步骤(5)中的融合。
[0015](4)与步骤(3)并行执行，对于每一条划分的新纪录，尝试或许对应的global
‑
level兴趣表示。具体来说，使用结合全局上下文信息和辅助信息的全局自注意力+前馈网络+兴趣提取模块的网络结构，来获取用户的多重global
‑
level兴趣表示；其中，全局上下文信息的获取方式如公式组(6)的第一个子公式所示，全局上下文信息的使用方式如公式
组(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力的多兴趣序列推荐方法，其特征在于方法包括如下步骤：步骤(1)从用户的行为日志或相关数据集中提取用户所产生的交互记录，并获取其在这些交互记录上产生的具体行为类型；步骤(2)在上一步中得到的数据的基础上，将这些数据划分为训练集、验证集和测试集；在训练集中的每一条交互记录上，采取切分策略进行数据扩展，将一条交互记录“1、2、3、4”划分为“1、2”，“1、2、3”，“1、2、3、4”，数字编号代表一条交互内容，是浏览过的商品或新闻；步骤(3)对于每一条划分的新纪录，尝试获取对应记录的local
‑
level兴趣表示，即使用基于改进版本的自注意力分数计算、前馈、兴趣提取模块的网络结构，来获取用户的多重local
‑
level兴趣表示；步骤(4)与步骤(3)并行执行，对于每一条划分的新纪录，尝试获取对应的global
‑
level兴趣表示，即使用结合全局上下文信息和辅助信息的全局自注意力、前馈、兴趣提取模块的网络结构，来获取用户的多重global
‑
...

【专利技术属性】
技术研发人员：何明，韩天槊，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：