基于数据血缘特征和行为语义特征的自注意力推荐方法、装置及设备制造方法及图纸

本申请公开了一种基于数据血缘特征和行为语义特征的自注意力推荐方法，包括：利用用户的历史交互序列信息以及涉及产品的数据血缘关系信息基于神经网络训练出产品推荐模型，所述的产品推荐模型包括数据血缘特征提取模块、行为语义建模模块和自注意力解码器；获取目标用户的历史交互序列信息以及涉及产品的数据血缘关系信息并输入训练好的产品推荐模型，输出对应的目标推荐产品。本发明专利技术同时还提供了基于数据血缘特征和行为语义特征的自注意力推荐装置及设备。本方法的推荐方法训练出的产品推荐模型，能够进一步利用数据血缘特征和用户行为语义特征，因此能够更加准确地进行物品推荐。物品推荐。物品推荐。

【技术实现步骤摘要】
基于数据血缘特征和行为语义特征的自注意力推荐方法、装置及设备


[0001]本专利技术涉及序列推荐领域，尤其涉及一种基于数据血缘特征和行为语义特征的自注意力推荐方法及装置。

技术介绍

[0002]随着基于社交网络服务的快速发展，海量的数据已被用于挖掘用户的行为模式从而实现个性化产品推荐。推荐任务旨在通过用户的历史行为和产品的基本信息为其推荐可能感兴趣的产品，既能提高用户体验，也能为社交网络运营商和商业实体带来潜在的收入。
[0003]公开号为CN114529364A的中国专利文献公开了一种基于注意力机制的商品序列推荐方法，包括：获取用户的商品历史数据集并进行数据预处理；利用多头注意力机制来捕捉用户最近历史行为中物品与物品的之间的关系依赖，得到用户短期兴趣偏好向量；将用户与项目在隐式空间的的相似度系数加入注意力机制的权重中，为长期兴趣分配不同的权重，得到长期偏好的最终表示。最后加权融合长短期偏好得到用户最终的兴趣偏好。然后将其与候选集中每一个物品进行交互，在预测层得到该相关性分数值，然后将所得到的分数值按照由高到低排序得到推荐序列，相关性的分数越高就代表用户下一项交互的可能性越大。
[0004]公开号为CN114218475A的中国专利文献公开了一种通过迭代堆叠有效训练深度序列推荐模型的方法及装置，包括：先使用部分数据在浅层序列推荐模型训练，然后通过迭代堆叠的方式，将前面浅层模型的网络结构块的参数作为新的顶层结构块的初始化，构造两倍深度的序列推荐模型，并加入新数据对新的模型进行微调，达到加速模型训练、节约训练时间成本的效果。通过这种迭代堆叠的方法，可根据需求逐渐从浅层序列推荐模型拓展为理想深度的序列推荐模型。
[0005]现有技术中，无法有效捕获用户与产品的交互中表现出的长短期依赖，且仅通过简单的拼接和堆叠的方式来处理产品信息，而尚未深入挖掘产品信息特征，导致利用现有技术的方法的推荐效果并不理想。
[0006]因此，如何利用用户与产品的长短期依赖，如何深入挖掘产品信息特征，以及如何提高推荐模型的物品推荐的准确度，是本领域技术人员目前需要解决的技术问题。

技术实现思路

[0007]本专利技术提供了一种基于数据血缘特征和行为语义特征的自注意力推荐方法，能够提高自注意力推荐的准确度；本专利技术还提供了一种基于数据血缘特征和行为语义特征的自注意力推荐装置，亦具有上述有益效果。
[0008]本专利技术的技术方案如下：
[0009]一种基于数据血缘特征和行为语义特征的自注意力推荐方法，包括：
[0010]利用用户的历史交互序列信息以及涉及产品的数据血缘关系信息基于神经网络
训练出产品推荐模型，所述的产品推荐模型包括数据血缘特征提取模块、行为语义建模模块和自注意力解码器；
[0011]获取目标用户的历史交互序列信息以及涉及产品的数据血缘关系信息并输入训练好的产品推荐模型，输出对应的目标推荐产品。
[0012]所述的产品推荐模型包括：
[0013]数据血缘特征提取模块，根据用户的历史交互序列中所涉及产品的血缘链路图，通过多层图卷积层得到产品的数据血缘特征；
[0014]行为语义建模模块，根据用户的历史交互序列提取用户的行为语义特征；
[0015]自注意力解码器，将数据血缘特征和行为语义特征转换成目标推荐产品的概率分布。
[0016]通过数据血缘特征提取模块提取数据血缘特征的过程包括：
[0017]根据产品的数据血缘链路图初始化产品链路节点的特征矩阵；
[0018]通过堆叠多层图卷积层，将特征矩阵的信息逐层高阶传递，得到产品的数据血缘特征。
[0019]进一步的，通过以下步骤提取产品的数据血缘特征：
[0020](A1)定义数据血缘链路图为其中，为图中的数据血缘节点，为节点之间的关系；令数据血缘链路图的度矩阵、邻接矩阵分别为令为包含共个节点的特征向量的矩阵，其中每一行是节点v
i
的特征向量；
[0021](A2)通过首层图卷积层得到产品链路节点的初始化特征矩阵，计算公式为：
[0022][0023]式中，为首层图卷积层输出的初始化特征矩阵；ρ为激活函数；W0为权重矩阵；为归一化对称自相关矩阵；
[0024](A3)通过多层图卷积层依次将初始化特征矩阵的信息逐层高阶传递，得到产品的数据血缘特征，计算公式为：
[0025][0026]其中，和Wj分别为第j层特征矩阵和权重矩阵；
[0027](A4)至此，得到用户的历史交互序列中涉及产品的数据血缘特征
[0028][0029]其中，GCN为j层图卷积网络，X为个节点的特征向量的矩阵，[
·
]为切片操作。
[0030]通过行为语义建模模块提取用户的行为语义特征的过程包括：
[0031]针对用户的历史交互序列中涉及的产品集合生成固定长度的产品嵌入矩阵；
[0032]为用户的历史交互序列中的每项产品生成独热编码，并对独热编码与产品嵌入矩阵做矩阵乘法，获得用户交互序列嵌入矩阵；
[0033]将用户交互序列嵌入矩阵与对应的时间编码融合，获得用户的行为语义特征。
[0034]进一步的，通过以下步骤提取用户的行为语义特征：
[0035](B1)定义用户历史交互序列用户历史交互序列中产品的集合为产品嵌入矩阵，对于历史交互序列中的每个产品l
k
的嵌入向量为E
l
l
k
，其中是产品l
k
对应的独热向量；
[0036](B2)利用位置编码对交互的时间进行编码，由下式计算时间特征嵌入E
t
：
[0037][0038]其中，i∈{1,2,
…
,d
m
}表示时间嵌入的维度，t
k
表示交互活动发生的时间戳；
[0039](B3)则用户历史交互序列的历史交互嵌入矩阵由下式计算：
[0040][0041]其中，表示产品l
k
的独热向量的集合，表示转置操作；
[0042]历史交互嵌入矩阵即为行为语义特征。
[0043]通过自注意力解码器将数据血缘关系特征和行为语义特征转换成目标推荐产品的概率分布包括：
[0044]所述的自注意力解码器包括多头注意力模块、前馈神经网络和多层感知器；
[0045]通过分配自注意力分数对历史交互序列中产品之间的依赖关系进行建模；
[0046]通过多头注意力模块提取多重映射空间下的高维特征；
[0047]通过前馈神经网络和多层感知器将所述高维特征转换成概率分布。
[0048]通过自注意力解码器获得标推荐产品的概率分布包括以下步骤：
[0049](C1)将数据血缘特征和行为语义特征进行广播相加，得到融合血缘特征和行为语义特征的表示矩阵
[0050][0051](C2)通过以下公式计算注意力输出
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据血缘特征和行为语义特征的自注意力推荐方法，其特征在于，包括：利用用户的历史交互序列信息以及涉及产品的数据血缘关系信息基于神经网络训练出产品推荐模型，所述的产品推荐模型包括数据血缘特征提取模块、行为语义建模模块和自注意力解码器；获取目标用户的历史交互序列信息以及涉及产品的数据血缘关系信息并输入训练好的产品推荐模型，输出对应的目标推荐产品。2.根据权利要求1所述的基于数据血缘特征和行为语义特征的自注意力推荐方法，其特征在于，所述的产品推荐模型包括：数据血缘特征提取模块，根据用户的历史交互序列中所涉及产品的血缘链路图，通过多层图卷积层得到产品的数据血缘特征；行为语义建模模块，根据用户的历史交互序列提取用户的行为语义特征；自注意力解码器，将数据血缘特征和行为语义特征转换成目标推荐产品的概率分布。3.根据权利要求2所述的基于数据血缘特征和行为语义特征的自注意力推荐方法，其特征在于，通过数据血缘特征提取模块提取数据血缘特征的过程包括：根据产品的数据血缘链路图初始化产品链路节点的特征矩阵；通过堆叠多层图卷积层，将特征矩阵的信息逐层高阶传递，得到产品的数据血缘特征。4.根据权利要求3所述的基于数据血缘特征和行为语义特征的自注意力推荐方法，其特征在于，通过以下步骤提取产品的数据血缘特征：(A1)定义数据血缘链路图为其中，为图中的数据血缘节点，为节点之间的关系；令数据血缘链路图的度矩阵、邻接矩阵分别为令为包含共个节点的特征向量的矩阵，其中每一行是节点v
i
的特征向量；(A2)通过首层图卷积层得到产品链路节点的初始化特征矩阵，计算公式为：式中，为首层图卷积层输出的初始化特征矩阵；ρ为激活函数；W0为权重矩阵；为归一化对称自相关矩阵；(A3)通过多层图卷积层依次将初始化特征矩阵的信息逐层高阶传递，得到产品的数据血缘特征，计算公式为：其中，和W
j
分别为第j层特征矩阵和权重矩阵；(A4)至此，得到用户的历史交互序列中涉及产品的数据血缘特征(A4)至此，得到用户的历史交互序列中涉及产品的数据血缘特征其中，GCN为j层图卷积网络，X为个节点的特征向量的矩阵，[
·
]为切片操作。5.根据权利要求2所述的基于数据血缘特征和行为语义特征的自注意力推荐方法，其特征在于，通过行为语义建模模块提取用户的行为语义特征的过程包括：
针对用户的历史交互序列中涉及的产品集合生成固定长度的产品嵌入矩阵；为用户的历史交互序列中的每项产品生成独热编码，并对独热编码与产品嵌入矩阵做矩阵乘法，获得用户交互序列嵌入矩阵；将用户交互序列嵌入矩阵与对应的时间编码融合，获得用户的行为语义特征。6.根据权利要求5所述的基于数据血缘特征和行为语义特征的自注意力推荐方法，其特征在于，通过以下步骤提取用户的行为语义特征：(B1)定义用户历史交互序列用户历史交互序列中产品的集合中产品的集合为产品嵌入矩阵，对于历史交互序列中的每个产品l
k
的嵌入向量为E
/
l
k
，其中是产品l
k
对应的独热向量；(B2)利用位置编码对交互的时间进行编码，由下式计算时间特征嵌入E
t
：其中，i∈{1,2,
…

【专利技术属性】
技术研发人员：潘晓华，金泳，高扬华，王欣锋，沈诗婧，朱心洲，尹建伟，
申请(专利权)人：浙江中烟工业有限责任公司，
类型：发明
国别省市：