融合信息年龄和动态图神经网络的内容推荐系统及方法技术方案

本发明专利技术公开了一种融合信息年龄和动态图神经网络的内容推荐系统及方法，所述系统包括时间特征学习模块、结构特征学习模块和偏好计算模块；所述时间特征学习模块用于从每个用户的历史请求数据中提取其时间信息，并基于信息年龄筛选出可用信息，通过设置多头注意力机制及前馈网络与门控循环单元完成长期特征提取操作；所述结构特征学习模块利用图注意力机制得到包含时间特征和结构特征的节点嵌入表示；所述偏好计算模块利用多层感知机计算结构特征学习模块输出的节点嵌入表示的偏好程度。本发明专利技术实现了使用融合信息年龄的注意力机制完成历史信息的选择与聚合的工作，充分提取历史信息中包含的时间特性，提高了网络整体性能。提高了网络整体性能。提高了网络整体性能。

【技术实现步骤摘要】
融合信息年龄和动态图神经网络的内容推荐系统及方法


[0001]本专利技术属于无线通讯
，尤其涉及一种融合信息年龄和动态图神经网络的内容推荐系统及方法。

技术介绍

[0002]随着网络技术的发展和网络设备的快速增长，以视频为代表的内容数据与人工智能服务的AI数据会发生爆炸式的增长。数据量的激增不可避免地造成传输时延的增加，为了最大限度满足人们对低延时服务的需求，信息中心网络等新兴网络体系结构提出将部分受欢迎的内容缓存于靠近用户侧的网络边缘。如何在数量繁多的内容中准确筛选出值得被缓存的内容是我们首要解决的问题。传统的缓存算法以及一些基于神经网络的预测缓存策略，往往只是简单地利用内容请求的历史数据，只对数据中包含的时间特征和结构特征中的一个进行学习。而要实现对内容流行度的可靠预测，就需要实现对数据中包含的时间特征与结构特征的联合充分提取。
[0003]在现有的对内容的缓存预测算法中，最常见的策略是使用LRU(least recently used，最近最少使用)或LFU(least frequently used，最近最频繁使用)算法，都是通过统计分析得到数据请求的简单规律；而一些使用基于循环神经网络的流行度预测的方案，虽然可以充分学习到数据的时间特征，但是忽视了用户之间的结构关系；基于图神经网络的方案则可以充分利用用户间的相互作用，但它依然难以同时提取时间特征。所以需要一种可以兼顾时间和结构特征的流行度预测算法帮助我们进行内容的缓存。

技术实现思路

[0004]针对现有技术不足，本专利技术公开了一种基于结合信息年龄的动态图神经网络的内容推荐系统及方法。
[0005]为实现上述专利技术目的，本专利技术的技术方案为：本专利技术提出了一种融合信息年龄和动态图神经网络的内容推荐系统，包括动态图神经网络和偏好计算模块；所述动态图神经网络包括时间特征学习模块和结构特征学习模块；所述时间特征学习模块用于从每个用户的历史请求数据中提取其时间信息，并基于信息年龄筛选出可用信息，通过设置多头注意力机制及前馈网络与门控循环单元完成长期特征提取操作；所述结构特征学习模块利用图注意力机制得到包含时间特征和结构特征的节点嵌入表示；所述偏好计算模块利用多层感知机计算结构特征学习模块输出的节点嵌入表示的偏好程度，根据该偏好程度，完成内容推荐。
[0006]本专利技术提出了一种融合信息年龄和动态图神经网络的内容推荐方法，包括以下步骤：
[0007](1)采集每个用户的历史请求数据集合以及每个节点的被请求数据集合；
[0008](2)利用时间特征学习模块提取历史请求数据集合中的时间信息，再计算用户可采纳的历史数据的年龄阈值，筛选出小于该阈值的可用数据，并对该可用数据的时间戳进
行平滑处理；
[0009](3)利用时间特征学习模块对步骤(2)平滑处理得到的数据中的时间信息进行编码，将编码信息与步骤(1)采集的原始信息进行拼接，得到消息信息向量；设置多头注意力机制对消息信息向量中的进行聚合，得到短期特征的表达；利用前馈网络和门控循环单元对聚合历史进行更新提取长期特征；
[0010](4)将步骤(3)得到的长期特征输入结构特征学习模块，利用图注意力机制得到包含时间特征和结构特征的节点嵌入表示；
[0011](5)对步骤(4)得到的节点嵌入表示计算偏好程度，根据该偏好程度，完成内容推荐，并按需存储至存储服务器中。
[0012]本专利技术总体的技术思路为：本专利技术首先利用注意力机制结合时间编码函数对历史请求数据进行聚合，同时为了避免数据过于久远可能带来的负面影响，并增大临近信息的影响权重，我们引入通信中的“信息的年龄”概念，分别为每条信息计算其年龄，并基于这些年龄计算出阈值，筛选出新鲜度与影响力较高的信息，利用注意力机制将它们聚合为新的表示向量，实现时间特征的提取；最后将此包含时间特征的向量作为图神经网络的输入以提取数据整体的结构特征，分别得到用户和内容节点的向量表示，并使用MLP(multi
‑
layer perceptron，多层感知机)完成用户与内容的偏好度计算，基于偏好度完成缓存。
[0013]本专利技术的有益效果为：本专利技术方法实现了使用注意力机制完成历史信息的聚合的工作，充分提取历史信息中包含的时间特性，提高了网络整体性能。本专利技术在注意力机制使用的过程中引入信息年龄概念，不仅完成对历史信息数量的动态筛选，也避免了信息太过久远可能带来的负面作用，使得余下的有效信息在聚合时得到更大的权值，更充分有效地提取出时间特征。最后将上述模型应用于信息中心网络的内容推荐缓存任务中，本专利技术方案带来相较于传统策略在缓存命中率上的显著提升。
附图说明
[0014]图1为缓存命中率对比结果图；
[0015]图2为基于信息年龄的动态注意力图网络结构图。
具体实施方式
[0016]下面结合实施例和附图对本专利技术做进一步阐述。
[0017]本专利技术提出了一种融合信息年龄和动态图神经网络的内容推荐系统，如图2所示，包括本专利技术提出的动态图神经网络ABTAGNN和偏好计算模块；所述动态图神经网络ABTAGNN包括时间特征学习模块和结构特征学习模块；所述时间特征学习模块用于从每个用户的历史请求数据中提取其时间信息，并基于信息年龄筛选出可用信息，通过设置多头注意力机制及前馈网络与门控循环单元完成长期特征提取操作；所述结构特征学习模块用于利用图注意力机制得到包含时间特征和结构特征的节点嵌入表示；所述偏好计算模块用于利用多层感知机计算结构特征学习模块输出的节点嵌入表示的关联度。
[0018]本专利技术公开了一种融合信息年龄和动态图神经网络的内容推荐方法，具体包括以下子步骤：
[0019](1)对数据进行预处理：整理出每个用户的历史请求数据集合以及每个节点的被
请求数据集合，得到用于动态图神经网络的二分图数据集合。
[0020](2)利用时间特征学习模块提取历史请求数据集合中的时间信息，并以用户为单位，计算用户可采纳的历史数据的年龄阈值，用于筛选出小于该阈值的可用数据，并对筛选出的该可用数据的时间戳进行平滑处理，以减小误差。具体包括以下子步骤：
[0021](2.1)提取历史请求数据集合中的时间信息，通过计算公式Δ(t)＝t
‑
B(t)为每条请求计算出它的年龄，其中Δ(t)代表信息的年龄，t代表当前时刻时间，B(t)为请求产生时刻时间。
[0022](2.2)通过一个多层感知机计算年龄阈值：将其每个用户的历史请求数据集合以及每个节点的被请求数据集合(即二分图数据集合)作为输入，使用一个三层的感知机，通过行为模式的简单学习，输出每组数据的阈值thre
t
，其计算方法如下：
[0023]thre
t
＝ReLu(W3·
ReLu(W2·
ReLu(W1·
Δ(t)+b1)+b2)+b3))
[0024]其中，W1，W2，W3与b1，b2，b3分别为该多层感知机中1...

【技术保护点】

【技术特征摘要】
1.一种融合信息年龄和动态图神经网络的内容推荐系统，其特征在于，包括动态图神经网络和偏好计算模块；所述动态图神经网络包括时间特征学习模块和结构特征学习模块；所述时间特征学习模块用于从每个用户的历史请求数据中提取其时间信息，并基于信息年龄筛选出可用信息，通过设置多头注意力机制及前馈网络与门控循环单元完成长期特征提取操作；所述结构特征学习模块利用图注意力机制得到包含时间特征和结构特征的节点嵌入表示；所述偏好计算模块利用多层感知机计算结构特征学习模块输出的节点嵌入表示的偏好程度，根据该偏好程度，完成内容推荐。2.一种应用权利要求1所述系统的融合信息年龄和动态图神经网络的内容推荐方法，其特征在于，包括以下步骤：(1)采集每个用户的历史请求数据集合以及每个节点的被请求数据集合；(2)利用时间特征学习模块提取历史请求数据集合中的时间信息，再计算用户可采纳的历史数据的年龄阈值，筛选出小于该阈值的可用数据，并对该可用数据的时间戳进行平滑处理；(3)利用时间特征学习模块对步骤(2)平滑处理得到的数据中的时间信息进行编码，将编码信息与步骤(1)采集的原始信息进行拼接，得到消息信息向量；设置多头注意力机制对消息信息向量中的进行聚合，得到短期特征的表达；利用前馈网络和门控循环单元对聚合历史进行更新提取长期特征；(4)将步骤(3)得到的长期特征输入结构特征学习模块，利用图注意力机制得到包含时间特征和结构特征的节点嵌入表示；(5)对步骤(4)得到的节点嵌入表示计算偏好程度，根据该偏好程度，完成内容推荐，并按需存储至存储服务器中。3.根据权利要求2所述的融合信息年龄和动态图神经网络的内容推荐方法，其特征在于，所述步骤(2)包括以下子步骤：(2.1)提取历史请求数据集合中的时间信息，公式如下：Δ(t)＝t
‑
B(t)其中，Δ(t)代表信息的年龄，t代表当前时刻时间，B(t)为请求产生时刻时间；(2.2)将每个用户的历史请求数据集合以及每个节点的被请求数据集合作为输入，使用一个三层的感知机，通过行为模式的简单学习，输出每组数据的阈值thre
t
，筛选得到小于该阈值的可用数据。公式如下：thret＝ReLu(W3·
ReLu(W2·
ReLu(W1·
Δ(t)+b1)+b2)+b3)其中，W1，W2，W3与b1，b2，b3分别为该多层感知机中1
‑
3层各层对应的权重矩阵与偏置矩阵，其下标为其所对应的层数；(2.3)对步骤(2.2)筛选出的可用数据的时间戳进行平滑处理，公式如下：t
′
＝t
·
σ(100*(Δ(t)
‑
thre
t
))其中，t为记录的原始时间数据，t
′
为平滑处理后的时间数据，σ为sigma函数。4.根据权利要求2所述的融合信息年龄和动态图神经网络的内容推荐方法，其特征在于，所述步骤(3)包括以下子步骤：(3.1)对步骤(2)平滑处理得到的数据中的时间信息进行编码处理，所述时间编码函数采用如下公式计算得到：
其中，t为该条记录的发生时间，ω1，...，ω
d
为用于对时间编码的神经网络的待训练权重参数，d
T
为总的编码维度；(3.2)将步骤(3.1)得到的编码信息与步骤(1)采集的原始信息进行拼接得到消息信息向量，公式如下：Msg
jn
＝[R
jn
||Φ(t
n
)]其中，R
jn
为用户j的第n条原始信息，Φ(t
n
)为该消息的时间编码信息，||为拼接操作符；(3.3)使用多头注意力机制对消息信息向量中的小于信息年龄阈值的历史请求信息进行聚合，得到短期特征的表达；(3.4)在完成聚合操作后，将多头注意力机制的输出与最近一条交互的原始信息R
j0
进行拼接；(3.5)采用前馈网络和门控循环单元对聚合历史进行更...

【专利技术属性】
技术研发人员：朱建行，李荣鹏，赵志峰，张宏纲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：