一种基于深度强化学习的图书采访方法技术

本发明专利技术提供了一种基于深度强化学习的图书采访方法，应用于图书馆的图书采访工作，提高图书采访效率和质量。首先，获取历史书单数据、历史订单数据和历史借阅数据；然后对这些数据进行预处理，包括格式转换和统一、空值填充、去除冗余和错误等，然后将对应数据进行匹配和标记；接下来构建应用于图书采访的深度强化学习模型，将历史书单中包含的图书的信息转化为向量的表示形式；再利用历史书单中图书的状态、动作及奖赏对预先构建的深度强化学习模型进行训练；最后将待处理图书的信息转换后，输入训练好的深度强化学习模型，得到针对待处理图书的图书采访结果。本发明专利技术的方法可以利用构建的深度强化学习模型对图书进行图书采访决策，可以提高图书采访效率和准确性。可以提高图书采访效率和准确性。可以提高图书采访效率和准确性。

【技术实现步骤摘要】
一种基于深度强化学习的图书采访方法


[0001]本专利技术属于深度学习中推荐算法领域，尤其涉及一种基于深度强化学习的图书采访方法。

技术介绍

[0002]图书馆的采访工作,是指图书书籍的采购与访视，是图书馆征集图书的工作，其中“采”是指通过各种渠道进行广泛采集，“访”是指广泛、系统地进行研究调查。图书馆的藏书建设的好坏,与图书采访工作有直接重大的关系。图书采访工作的好坏,决定了图书馆藏书质量的高低。
[0003]现有图书采访工作主要存在以下问题：
[0004](1)经费有限，需要有效利用经费进行馆藏资源建设；
[0005](2)现有的图书采访模式主要由学科专家荐购和采访人员凭经验选购相结合，人工方式的采访效率较低，并且具有较大的主观性；
[0006](3)依赖人工的经验进行采集，对于采访人员的知识、经验、技能有较高要求，并且容易忽略一些信息，导致采集的信息不全面，进而影响制定采购计划的准确性。由此可知，现有技术中的方法存在效率较低和准确性不高的技术问题。

技术实现思路

[0007]为了解决上述技术问题，本专利技术提出了一种基于深度强化学习的图书采访方法。该方法使用历史数据训练出一个深度强化学习模型，训练得到的模型可用于模拟图书采访人员的图书采访工作，可以提高图书采访效率和准确性。
[0008]本专利技术旨在利用深度学习的方法完成图书采访的工作，使得到的模型可以达到图书馆图书采访人员的工作水平。
[0009]为达上述目的，本专利技术提出了一种基于深度强化学习的图书采访方法，其特征在于，所述方法包括：
[0010]步骤S1：获取图书馆历史书单数据、历史订单数据、历史借阅记录数据，并对上述数据进行预处理；
[0011]步骤S2：将历史书单数据与历史订单数据及历史借阅记录数据进行匹配，根据匹配结果将历史书单数据中的图书标记为未购买或购买n本后预定时间内总借阅的册次k；
[0012]步骤S3：将历史书单数据中图书的信息转化为向量的表示形式；
[0013]步骤S4：设计用于图书采访的深度强化学习模型，确定深度强化学习训练过程中的状态、动作、奖赏、惩罚及训练参数；
[0014]步骤S5：用步骤S3中处理好的数据对深度强化学习模型进行训练，更新、存储深度强化学习模型参数，得到训练好的深度强化学习模型；
[0015]步骤S6：将待处理书单中图书的信息转换后，输入训练好的深度强化学习模型，得到待处理图书的采购推荐结果。
[0016]在一种实施方式中，步骤S1具体包括：
[0017]步骤S1.1：获取图书馆历史书单数据、历史订单数据、历史借阅记录数据；
[0018]步骤S1.2：对上述数据进行预处理，包括格式转换和统一、空值填充、去除冗余和错误等。
[0019]在一种实施方式中，步骤S2具体包括：
[0020]步骤S2.1：将历史书单数据与历史订单数据及历史借阅记录数据进行匹配；
[0021]步骤S2.2：如果历史书单数据中包含的图书出现在历史订单数据中，则继续匹配历史借阅记录数据，将历史书单数据中包含的图书标记为购买n本后预定时间内总借阅册次k，否则，将历史书单数据中包含图书的类别标记为未购买。
[0022]在一种实施方式中，步骤S3具体包括：
[0023]步骤S3.1：将历史书单数据中图书的信息进行分词，再得到每个词向量；
[0024]步骤S3.2：将历史书单数据中每一本图书的信息转换为特征向量。
[0025]在一种实施方式中，步骤S4具体包括：
[0026]步骤S4.1：根据图书采访目标及输入和输出数据维度等信息，并结合控制端的计算能力，确定用于图书采访的深度强化学习的具体模型；
[0027]步骤S4.2：设计深度强化学习模型中神经网络的结构、尺寸、神经元激活函数、损失函数及训练方法等；
[0028]步骤S4.3：根据图书馆的特征、图书采访目标及深度强化学习模型，确定训练过程中的状态、动作、奖赏和惩罚，确定神经网络的初始权值、学习率和学习率衰减值等训练参数。
[0029]在一种实施方式中，步骤S5具体包括：
[0030]步骤S5.1：将历史书单数据中图书的特征向量及标记购买借阅情况转换为深度强化学习模型的状态、采取的动作及奖赏或惩罚；
[0031]步骤S5.2：使用采集到并处理好的数据对深度强化学习模型采用离线的方式进行训练，同时更新和存储深度强化学习模型参数。
[0032]在一种实施方式中，步骤S6具体包括：
[0033]步骤S6.1：将待处理书单中图书的信息转换为深度强化学习模型的状态，输入深度强化学习模型；
[0034]步骤S6.2：深度强化学习模型根据训练得到的策略对输入的状态选择对应的动作。
[0035]本专利技术的上述技术方案，至少具有以下一种或多种技术效果：
[0036]本专利技术提供的一种基于深度强化学习的图书采访方法，首先，获取历史书单数据、历史订单数据和历史借阅记录数据；然后将历史书单数据与历史订单数据、历史借阅记录数据进行匹配，根据匹配结果将历史书单数据中的图书标记为未购买和购买n本后一定时间内借阅册次为k册次；接下来将历史书单数据中包含的图书的信息转化为向量的表示形式；再利用处理好的数据对预先构建的深度强化学习模型进行训练；最后将待处理图书的信息转换后，传入训练好的深度强化学习模型，得到待处理图书的图书采访结果。
[0037]本专利技术将深度学习技术引入到图书采访技术中，提供了一种基于深度强化学习的图书采访方法，首先根据历史书单数据与历史订单数据、历史借阅记录数据的匹配情况，对
历史书单数据进行标记，用于后续模型的训练，并将历史书单数据中包含的图书的信息转化为向量的表示形式，然后利用处理好的数据对预先构建的深度强化学习模型进行训练；最后则可以利用训练好的深度强化学习模型进行图书采访决策，一方面，本专利技术提供的方法中通过深度强化学习模型来进行图书采访决策，可以提高效率，另一方面，由于模型是根据历史书单数据与历史订单数据、历史借阅数据匹配后进行标记，并通过对标记后的数据进行训练而得到的，因此可以得到效果较好的深度强化学习模型，从而可以提高图书采访决策的准确性。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为深度强化学习模型图；
[0040]图2为实验流程框架图；
[0041]图3为数据处理过程图。
具体实施方式
[0042]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的图书采访方法，其特征在于，包括：步骤S1：获取图书馆历史书单数据、历史订单数据、历史借阅记录数据，并对上述数据进行预处理；步骤S2：将历史书单数据与历史订单数据及历史借阅记录数据进行匹配，根据匹配结果将历史书单数据中的图书标记为未购买或购买n本后预定时间内总借阅的册次k；步骤S3：将历史书单数据中图书的信息转化为向量的表示形式；步骤S4：设计用于图书采访的深度强化学习模型，确定深度强化学习训练过程中的状态、动作、奖赏、惩罚及训练参数；步骤S5：用步骤S3中处理好的数据对深度强化学习模型进行训练，更新、存储深度强化学习模型参数，得到训练好的深度强化学习模型；步骤S6：将待处理书单中图书的信息转换后，输入训练好的深度强化学习模型，得到待处理图书的采购推荐结果。2.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S1具体包括：步骤S1.1：获取图书馆历史书单数据、历史订单数据、历史借阅记录数据；步骤S1.2：对上述数据进行预处理，包括格式转换和统一、空值填充、去除冗余和错误。3.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S2具体包括：步骤S2.1：将历史书单数据与历史订单数据及历史借阅记录数据进行匹配；步骤S2.2：如果历史书单数据中包含的图书出现在历史订单数据中，则继续匹配历史借阅记录数据，将历史书单数据中包含的图书标记为购买n本后预定时间内总借阅册次k，否则，将历史书单数据中包含图书的类别标记为未购买。4.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S3具体包括：步骤S3.1：将历史书单数据中图书的信息进行分词，再得到每个词向量；步骤S3.2：将历史书单数据中每一本图书的信息转换为特征向量。5.如权利要求1所述的一种基于深度强化学习的图书采访方法，其特征在于，步骤S4具体包括：步骤S4.1：根据图书采访目标及输入和输出数据维度信息，...

【专利技术属性】
技术研发人员：谭小彬，秦川，周国华，杨坚，郑烇，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：