一种基于强化学习的个性化图书推荐方法及系统技术方案

本公开提供了一种基于强化学习的个性化图书推荐方法及系统，所述方案将分层强化学习模型引入数字图书馆的图书推荐任务中，在该任务中，首先对基本推荐模型进行了预训练，然后设计了一个序列修改模块，以过滤掉可能导致该书推荐错误的噪声；同时，为了减少稀疏性问题的影响，通过基于聚类的策略进一步增强了分层强化学习模型，在预训练网络和分层增强网络之间添加了聚类，以便分层增强网络可以更好地分析数据。

【技术实现步骤摘要】
一种基于强化学习的个性化图书推荐方法及系统
本公开属于智能数字图书馆
，尤其涉及一种基于强化学习的个性化图书推荐方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。数字图书馆作为帮助用户获得专业知识和提高其专业水平的最重要方法之一，在许多大学中都受到了广泛的关注。许多大学已经建立了自己的数字图书馆，其数字资源少则上万，多则上百万。虽然数字图书馆比传统图书馆更易于使用和管理。但从如此庞大的馆藏中找到所需的资源(例如书籍，报告和期刊)对用户来说是一个巨大的挑战。为了应对这一挑战，我们使用了推荐系统解决这个挑战，该系统可以利用用户的历史记录来帮助他们快速发现有趣且高质量的信息。数字图书馆中的图书推荐任务是在时间t+1处向一组用户提供图书，这些用户的历史图书借阅记录在时间t之前给出。用户在数字图书馆中的借阅记录为我们提供了一种学习其个人兴趣的有效方法。例如，如果用户借了很多与数学有关的书，我们可以推断出他正在学习数学，因此，我们可以向他推荐与数学有关的书籍。专利技术人发现，当前有关此任务的研究的工作集中在开发推荐算法，这些算法可以以个性化的方式推荐书籍。但他们忽略了校园图书推荐中的重要因素，即噪声数据可能会误导推荐算法。例如，学习计算机科学和技术的用户可能从图书馆借了很少的心理学书籍用于公共选修课或其他用户。向他/她推荐书籍时，我们应主要侧重于推荐与计算机科学相关的书籍，而忽略这些心理书籍的影响。而且，上述所有方法都忽略了用户借阅记录是非常稀疏的，即用户在大学期间只能借少量的图书，这导致学习到的用户兴趣模型不可靠。
技术实现思路
本公开为了解决上述问题，提供了一种基于强化学习的个性化图书推荐方法及系统，所述方案将分层强化学习框架引入到图书推荐任务中，同时提出一种基于聚类的方法来增强层强化学习框架处理用户交互稀疏性的能力，有效提高了图书推荐的合理性。根据本公开实施例的第一个方面，提供了一种基于强化学习的个性化图书推荐方法，包括：获取用户历史图书借阅数据，构建用户借书序列；构建基于聚类的分层强化学习网络模型，将所述用户借书序列输入预训练的网络模型中，输出推荐图书的预测结果；其中，所述基于聚类的分层强化学习网络模型的训练过程包括：利用所述用户借书序列对基础推荐模型进行训练，利用聚类模型对获得的图书特征进行聚类；基于聚类后的图书特征，利用分层强化学习模型修改用户借书序列；将修改后的用户借书序列输入到基本推荐模型中，并获得预测结果；迭代上述步骤，直至满足迭代终止条件。进一步的，所述基于聚类的分层强化学习网络模型包括基础推荐模型、序列修改模型和聚类模型。进一步的，所述基础推荐模型通过基于注意力的神经网络对用户和图书的偏好进行建模，在表示用户的借书序列时通过引入注意力机制，对用户借书序列中的每个元素添加一个关注因子，来表明用户对每本书的兴趣。进一步的，所述序列修改模型基于分层强化学习网络实现，通过分层强化学习网络过滤掉用户借书序列中存在误导推荐的噪声。进一步的，利用所述分层强化学习网络，将修改用户借书记录的过程描述为层次马尔可夫决策过程，分为两个步骤：高级任务和低级任务；其中，高级任务确定是否需要修改整个序列；如果需要修改，则转入低级任务，低级任务确定是否应删除序列中的各个元素。进一步的，所述确定是否修改整个序列，是根据序列中每个借用记录的特征向量和目标书的特征向量之间的平均余弦相似度和平均逐元素积来进行判断；所述确定是否应删除序列中的各个元素，是根据当前借用序列与目标书的特征向量之间的余弦相似度进行判断。进一步的，所述聚类模型采用mini-batchK-means算法对图书特征进行聚类，在进行特征聚类后，通过对基本推荐模型训练的特征和聚类模型聚类后的特征进行映射，实现基本推荐模型中的特征在分层强化学习模型修改为聚类后的特征。根据本公开实施例的第二个方面，提供了一种基于强化学习的个性化图书推荐系统，包括：数据获取单元，其用于获取用户历史图书借阅数据，构建用户借书序列；图书推荐单元，其用于构建基于聚类的分层强化学习网络模型，将所述用户借书序列输入预训练的网络模型中，输出推荐图书的预测结果；其中，所述基于聚类的分层强化学习网络模型的训练过程包括：利用所述用户借书序列对基础推荐模型进行训练，利用聚类模型对获得的图书特征进行聚类；基于聚类后的图书特征，利用序列修改模型修改用户借书序列；将修改后的用户借书序列输入到基本推荐模型中，并获得预测结果；迭代上述步骤，直至满足迭代终止条件。根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于强化学习的个性化图书推荐方法。根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于强化学习的个性化图书推荐方法。与现有技术相比，本公开的有益效果是：(1)本公开所述方案将HRL-NAIS模型引入数字图书馆的图书推荐任务中，在该任务中，首先对基本推荐模型进行了预训练，然后设计了一个序列修改模块，以过滤掉可能导致该书推荐错误的噪声；(2)为了减少稀疏性问题的影响，本公开所述方案通过基于聚类的策略进一步增强了HRL-NAIS模型，在预训练网络和分层增强网络之间添加了聚类，以便分层增强网络可以更好地分析数据；本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为本公开实施例一中所述的基于强化学习的个性化图书推荐模型的基本架构；图2为本公开实施例一中所述的基于强化学习的个性化图书推荐模型的工作流程图；图3为本公开实施例一中所述的聚类过程示意图。具体实施方式下面结合附图与实施例对本公开做进一步说明。应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。实施例一：本实施例的目的是提供一种基于强化学习的个性化图书推荐方法。一种基于强化学习的个性化图书推荐方法，包括：获取用户历史图书借阅数据本文档来自技高网...

【技术保护点】
1.一种基于强化学习的个性化图书推荐方法，其特征在于，包括：/n获取用户历史图书借阅数据，构建用户借书序列；/n构建基于聚类的分层强化学习网络模型，将所述用户借书序列输入预训练的网络模型中，输出推荐图书的预测结果；/n其中，所述基于聚类的分层强化学习网络模型的训练过程包括：利用所述用户借书序列对基础推荐模型进行训练，利用聚类模型对获得的图书特征进行聚类；基于聚类后的图书特征，利用序列修改模型修改用户借书序列；将修改后的用户借书序列输入到基本推荐模型中，并获得预测结果；迭代上述步骤，直至满足迭代终止条件。/n

【技术特征摘要】
1.一种基于强化学习的个性化图书推荐方法，其特征在于，包括：
获取用户历史图书借阅数据，构建用户借书序列；
构建基于聚类的分层强化学习网络模型，将所述用户借书序列输入预训练的网络模型中，输出推荐图书的预测结果；
其中，所述基于聚类的分层强化学习网络模型的训练过程包括：利用所述用户借书序列对基础推荐模型进行训练，利用聚类模型对获得的图书特征进行聚类；基于聚类后的图书特征，利用序列修改模型修改用户借书序列；将修改后的用户借书序列输入到基本推荐模型中，并获得预测结果；迭代上述步骤，直至满足迭代终止条件。


2.如权利要求1所述的一种基于强化学习的个性化图书推荐方法，其特征在于，所述基于聚类的分层强化学习网络模型包括基础推荐模型、序列修改模型和聚类模型。


3.如权利要求1所述的一种基于强化学习的个性化图书推荐方法，其特征在于，所述基础推荐模型通过基于注意力的神经网络对用户和图书的偏好进行建模，在表示用户的借书序列时通过引入注意力机制，对用户借书序列中的每个元素添加一个关注因子，来表明用户对每本书的兴趣。


4.如权利要求1所述的一种基于强化学习的个性化图书推荐方法，其特征在于，所述序列修改模型基于分层强化学习网络实现，通过分层强化学习网络过滤掉用户借书序列中存在误导推荐的噪声。


5.如权利要求4所述的一种基于强化学习的个性化图书推荐方法，其特征在于，所述序列修改模型利用所述分层强化学习网络，将修改用户借书记录的过程描述为层次马尔可夫决策过程，分为两个步骤：高级任务和低级任务；其中，高级任务确定是否需要修改整个序列；如果需要修改，则转入低级任务，低级任务确定是否应删除序列中的各个元素。


6.如权利要求5所述的一...

【专利技术属性】
技术研发人员：王新华，王雨辰，郭磊，姜浩然，徐长棣，刘方爱，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37