本发明专利技术公开了一种融合评分数据和评论文本的深度学习方法，通过引入辅助信息缓解评分数据稀疏性的影响。利用评论文本可以获取用户的偏好信息和项目特征，而评分数据中又包含了用户和项目之间的潜在关联。现有的融合模型对评分数据的处理大多数都是采用矩阵分解方法，为了更好利用评分数据中的有效信息，本发明专利技术利用卷积神经网络处理评论文本，并引入注意力机制提取评论信息中具有代表性的评论，从而更好的表征用户偏好和项目特征。利用深度神经网络处理评分数据提取其中的深度特征，将特征进行融合来预测出用户对项目的评分。融合来预测出用户对项目的评分。融合来预测出用户对项目的评分。
【技术实现步骤摘要】
一种融合评分矩阵和评论文本的深度学习推荐方法
本专利技术涉及利用深度学习提取文本特征并融合评分数据的推荐模型，属于信息推荐领域。
技术介绍
[0001]随着网络的飞速发展，数据量成指数增长,人们想要从海量的数据中获取有用信息变得越来越困难。推荐系统在解决信息过载方面被证明是有效的，可以帮助人们快速的在海量数据中找到自己需要的信息。
[0002]传统的推荐算法主要有：协同过滤和基于内容的推荐算法。这两种方法都是基于用户的历史行为来进行推荐的。基于内容的推荐算法利用用户对项目的评分信息来确定这些物品之间的共同特征，若是新物品也有这个特征，就会将该物品推荐给用户；协同过滤是利用历史数据找到与该用户喜好相同的用户，然后将找到的这些相似用户过去喜欢的物品推荐给该用户。或者是找到和某一物品具有相同特征的物品，若用户喜欢这一物品则将其他具有相同特征的物品推荐给用户。
[0003]许多成功的协同过滤技术都是基于矩阵分解(Matrix Factorization，MF)算法，利用评分矩阵作为输入，将该矩阵分解成用户矩阵和项目矩阵相乘的形式，即得到用户和项目的隐向量表示，将隐向量在空间中进行表示，距离近的用户和项目表示相似性较高，在进行推荐时把距离相近的项目推荐给目标用户。矩阵分解算法能够在一定程度上缓解数据的稀疏性。
[0004]为了缓解数据稀疏性引入文本信息。在一般的推荐系统中，用户除了可以直接进行评分外还可以写评论信息，一般评论信息中会包含用户给出这个评分的理由，相比于评分而言，评论信息包含的内容更加丰富。一方面可以得到用户给出这个评分的原因，另一方面也可以体现用户的偏好信息或商品的一些特征。
[0005]近年来，深度学习在很多领域被广泛应用，特别是在自然语言处理方面更取得了突破性的进步。利用自然语言在文本内容挖掘方面的优势，将其运用到推荐系统中对评论文本进行处理，这也为推荐系统提供了新的研究方向；目前在推荐系统中使用的深度学习技术主要有CNN、RNN、注意力机制、RBM、编码器等。
[0006]深度学习中的CNN、RNN网络在处理文本信息时能够很好的保留词序信息。ConvMF(Convolution Matrix Factorization)模型将卷积神经网络和概率矩阵分解相结合，利用卷积神经网络处理评论文本信息，从而有效的保留词序信息。但是该模型仅仅利用了项目的评论文本信息，而忽略了用户的评论信息。DeepCoNN(Deep Cooperative Neural Network)模型，该模型利用两个并行的CNN来分别处理项目的评论信息和用户的评论信息，在最后一层利用因子分解机来进行评分预测。NARRE(Neural Attentional Regression Model with Review Level Explanations)模型，将评分矩阵和评论文本作为输入，同时融合评分数据中的隐向量，极大的提高了推荐系统的预测性能。
[0007]上述模型中在与评论文本特征相融合时仅用到了评分的潜在特征，没有对评分数
据进行深度建模，对评分数据进行深度特征学习。因此本专利技术提出了融合评分矩阵和评论文本的深度推荐模型，利用深度学习提取评分中深度特征，并和评论文本信息中提取的用户偏好和项目特征进行融合，通过更好的对用户项目特征进行表示，而提升推荐性能。经过实验证明，该模型能够更好的提取用户和项目特征，有效提高了推荐的准确性。需要解决的问题及达到有益效果：
[0008]本专利技术通过引入辅助信息缓解了评分数据稀疏性的影响，从而提高推荐质量。利用评论文本可以获取用户的偏好信息和项目特征，而评分数据中又包含了用户和项目之间的潜在联系，为了更好利用评分数据中的有效信息，利用神经网络来提取评分中的深度特征，更好的表征用户偏好和项目特征，从而提高推荐质量。
[0009]为了获取文本中的上下文信息，本专利技术在实验中利用卷积神经网络(Convolutional Neural Network,CNN)来提取评论中用户和项目的特征表示。
[0010]评论文本种包含了大量的有用信息，有些评论信息能够准确描述项目的相关特性，而有些评论却和项目没有太大的关联性。不同评论信息所作的贡献是不同的。因此，再实验中引入了注意力机制，来选择更能代表项目特性的评论信息。
[0011]评分数据是用户对项目喜爱程度的一直显性反馈，本专利技术中利用神经网络根据评分数据来获取用户的偏好和项目的特征表示。
[0012]将从评论文本中提取的用户、项目特征分别和评分数据中获取的用户、项目特征进行线性和高阶交互，来获取用户、项目的最终特征表示。
[0013]将得到的用户、项目最终特征表示进行元素积，送入预测层得到最终的预测评分，融合评分矩阵和评论文本的深度学习推荐模型图如图一所示。
技术实现思路
[0014]本专利技术主要设计并实现了融合评分矩阵和评论文本的深度学习推荐方法，通过与多个公开的基线模型对比，以MSE为评价指标，本方法均取得了优于其他模型的效果。
[0015]本专利技术主要的
技术实现思路
如下：
[0016]首先，数据集的选取与处理：
[0017]选取Amazon 6个不同领域的公开数据集来评估本模型，将数据集按照8:1:1比例划分为训练集，验证集和测试集。
[0018]其次，分别从数据集评论文本和评分数据中提取用户和项目的特征，主要工作如下：
[0019](1)分别对用户和项目进行建模，在对用户、项目建模时所用网络结构相同，只有输入不同，项目建模中：
[0020]提取项目评论文本中的特征，主要方法如下：
[0021](1)将给定某个项目的评论信息作为输入，经过embedding层，将每条评论映射成d维的向量，得到固定长度的词嵌入矩阵。
[0022](2)将得到的词嵌入矩阵作为卷积神经网络的输入，得到特征向量。
[0023](3)进入最大池化层，捕获重要的具有高价值的特征，并且将卷积层的输出压缩成一个固定大小的向量
[0024](4)为了选择更能代表项目特征的评论信息，引入了注意力机制，以上述得到的输
出作为输入得到注意力得分，将注意力得分进行归一化处理，得到最终的评论权重。
[0025](5)将上述结果送入到全连接层，得到项目基于评论信息的特征表示
[0026]提取项目评分数据中的特征，主要工作如下：
[0027]以给定项目的评分数据作为输入，送入网络层，在最后一层输出基于评分的项目深度特征表示。
[0028]融合层，得到用户和项目的最终特征表示，具体方法如下：
[0029]将上述在评论文本中和评分数据中得到的项目特征表示进行交互，通过线性和高阶交互建模来获取项目的最终特征。同理和获得用户的最终特征表示。
[0030]评分预测层，通过上述信息，等到最终的评分预测，具体过程如下：
[0031]将上述得到的最终的项目特征表示，和最终的用户特征表示进行元素积操作，得到一个向量，将得到本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种融合评分矩阵和评论文本的深度学习推荐方法，其特征在于：包括以下步骤，S1对数据集中的评论文本进行预处理：加载数据，进行标准化处理，把评论信息中的所有字母统一转成小写；然后过滤评论文本中的标点符号及特殊符号，将文本数据分解成单词并生成标签；去除停用词，然后将文本数据的句子长度转成相同的长度，长度由最长的句子来定义；S2提取评论文本中的特征：给定项目i的评论集{R
i1
,R
i2
…
R
ik
},k表示模型允许输入的最大评论数，经过嵌入层后，每条评论信息被映射为d维的向量，得到固定长度的词嵌入矩阵M
i
；S3提取评分数据中的特征：用户对项目的评分数据是一种显性反馈，直接反映出用户对项目的喜爱程度，不同的评分说明用户对项目的喜好程度不同，因此利用神经网络根据评分数据获取用户的偏好和项目的特征表示；S4特征融合：将在评论文本中得到的特征和评分数据中得到的特征分别进行融合，得到用户和项目的最终特征表示：特征向量I中包含了从评论信息和评分数据中获取的项目特征，其中
⊕
表示拼接，g表示高阶交互建模；借鉴因子分解机中的二阶项来获取高阶特征，首先将因子分解机中的二阶项进行转换：其中表示元素积，<v
i
,v
j
>用来建模第i项和第j项之间的关系，计算任意两维特征之间的交互。在执行sum()之前，就已经包含了二阶交互项的所有信息，将评论信息中得到的特征和评分数据中得到的特征进行拼接利用下面的网络结构来获取高阶特征:g能进一步增强潜在特征的交互，得到用户的最终特征表示U；S5进行评分预测：将得到的用户最终特征U，项目最终特征I进行元素积操作，得到一个向量H＝multiply(U,I)，将其传递到预测层得到预测评分(U,I)，将其传递到预测层得到预测评分在上式中，W代表了预测层的权重参数，b
u
、b
i
分别代表了用户的偏差量、项目的偏差量，b
g
表示全局偏差量。2.根据权利要求1所述的一种融合评分矩阵和评论文本的深度学习推荐方法，其特征在于：S1中，建立一个基于句子的从词到索引的词汇映射，根据词汇表将句子和标签映射到向量，利用1000亿字的Google新闻上训练的300维的word2vec向量来初始化词嵌入，将预处理后的数据集按照8:1:1的比例划分为训练集、验证集与测试集，利用训练集训练模型，在
验证集上进行调参，最后在测试集上验证模型性能。3.根据权利要求1所述的一种融合评分矩阵和评论文本的深度学习推荐方法，其特征在于：S2中，以嵌入层得...
【专利技术属性】
技术研发人员：杜永萍，王艳，彭治，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。