基于RNN神经网络的在线动态视频推荐方法技术

本发明专利技术提出了一种基于RNN神经网络的在线动态视频推荐方法。发明专利技术采用了动态递归的RNN神经网络为基础框架。由于视频的具体内容是进行视频推荐的最直接的分析材料，本发明专利技术还将视频的描述信息与视频内的图像特征进行鲁棒的多模态表示，以更好的实现视频特征提取。在用户对视频的兴趣方面，本发明专利技术将用户历史行为和视频语义之间进行交互，使得它们不再是孤立的。即用户历史行为可以映射到公共兴趣空间来表示用户当前的兴趣，视频也可以映射到同一空间来表示用户的实时兴趣。因此，递归神经网络进行用户视频推荐更具有可解释性。最后，本发明专利技术充分利用了用户之间的关联，通过挖掘相似用户，使得RNN网络能充分联系兴趣相似的用户。使得RNN网络能充分联系兴趣相似的用户。使得RNN网络能充分联系兴趣相似的用户。

【技术实现步骤摘要】
基于RNN神经网络的在线动态视频推荐方法


[0001]本专利技术属于多模态数据处理推荐算法领域，尤其涉及基于RNN神经网络的在线动态视频推荐方法。

技术介绍

[0002]日益兴起的短视频应用，其如何更好的针对用户的兴趣推荐相应的视频，是关系其用户满意度和进一步发展的重要方面。尽管相关领域发展迅速，但在线的视频推荐仍是一个需要进一步研究的领域。
[0003]个性化视频推荐是通过分析用户在在线社交网络中留下的各种可用信息，例如浏览记录与评分情况，来分析用户的偏好和兴趣。通常，视频推荐算法可分为基于协作过滤的方法、基于内容的方法或混合方法。基于协作过滤的方法用于预测用户的评分，且根据其他用户的偏好播放视频。基于内容的方法是计算视频和用户历史观看视频之间的相似性，以供推荐。混合方法通常将上述两种方法结合在一个更复杂的框架中。虽然这些算法在各种设置下的个性化视频推荐领域表现出了良好的性能，但大多数方法都假设用户兴趣是静态的。事实上，随着时间的推移，静态假设不足以反映用户的动态兴趣，尤其是在视频内容发生剧烈变化、用户兴趣在不同主题上频繁改变的在线视频推荐场景中。因此，利用动态用户兴趣进行在线视频推荐是至关重要的。

技术实现思路

[0004]针对现有技术中的不足，本专利技术提出了一种动态推荐视频的框架，其由三部分组成，分别是视频语义嵌入、用户兴趣建模和用户相关性挖掘。所提出的视频推荐框架综合考虑三个因素来学习用户的动态偏好，最终通过将各个因素损失最小化作为一个整体来进行模型训练。
[0005]本专利技术所采用的具体技术方案如下：
[0006]步骤1，视频语义嵌入。对于视频的视觉特征提取，我们分别采用了经典的VGG19卷积网络模型，并使用其FC6层的4096维度的特征以及C3D卷积网络模型的FC6层的4096维度的特征。使用均值池的方式将他们连接在一起，最终生成8192维度的特征向量。而文本描述信息则是预先使用CNN句子模型的最后一个卷积层生成的特征。
[0007]我们假设视觉元素和文本元素具有相似的语义，可以在公共空间中共同学习。为了将视觉和文本内容投射到公共语义空间中，我们设计了两个转换矩阵和其中D
v
、D
t
和D
e
分别表示视觉特征、文本特征和嵌入特征的维数。视频v的嵌入表示可以通过v
e
＝T
v
v和v
e
＝T
t
t获得。通过最小化下式(1)定义的对比损失以优化语义嵌入。
[0008][0009]其中，Λ
e
和Γ
e
分别是归一化的视觉嵌入向量和文本嵌入向量。t
’
e
是对于视觉嵌入v
e
的负文本嵌入。同样的，v
’
e
是对于文本嵌入t
e
的负视觉嵌入。τ1是对比边界，它使正的视觉和文本嵌入之间的距离小于负的视觉和文本嵌入之间的距离。在训练阶段，从训练集中随机选择负样本，并在每个迭代中重新采样。
[0010]在线社交视频的大部分文本内容都是用户提供的，可能具有迷惑性且不完整。此外，视觉内容又非常多样，难以理解。因此，很难将给定视频的视觉和文本内容投射到同一个语义空间中。然而，由于两种内容之间的相关性，我们可以使用上式使视觉嵌入(或文本嵌入)更接近其相应的内容。视觉和文本嵌入可以相互增强和补充，以获得更好的视频表示，这对视频推荐至关重要。使用更多的数据进行训练，学习到的语义空间将更加健壮。
[0011]步骤2，用户兴趣建模。尽管视频具有语义信息，但它们不能直接反映用户的广泛兴趣。为了在公共空间中表示视频和用户的兴趣，我们共同学习视频语义嵌入和用户感兴趣的主题之间的相关性。具体来说，我们首先对所有用户的历史行为，例如视频观看历史和浏览历史，进行一些在线主题建模方法，以构建共享的用户主题空间，并了解每个用户的主题分布。然后，我们整合每个用户实时行为流的主题分布，以导出当前时间用户感兴趣的主题表示，其中时间衰减用于对行为流进行加权。因此，用户感兴趣的话题可以定义为如下表达式。
[0012][0013]其中，m
i
表示用户对第i个主题的感兴趣程度，B
u
是用户的历史行为，|t
‑
t
i
|指示用户行为i的当前时间与历史时间的差值。N
u
是正则化系数，λ是时间衰减参数。
[0014]为了将视频语义嵌入和用户感兴趣的主题也投射到一个公共空间中，我们采用了两个变换矩阵，即和其中D
u
是学习到的用户主题表示维度。为了度量视频语义嵌入和用户感兴趣主题之间的相关性，一种直接的方法是计算它们之间的距离。我们在下式(3)中整合了用户观看列表的视频语义嵌入，在等式(4)中定义了距离损失：
[0015][0016][0017]其中，和分别是用户u观看视频的视觉和文本嵌入向量。|t
‑
t
e
|指示了用户观看的特定视频从目前到上一次观看的时间差。N
e
是正则化系数，
⊕
表示向量的串联。
[0018]步骤3，用户相关性挖掘。我们通过使用用户观看历史之间的重叠来表示不同用户的兴趣相关性，对于给定用户i，我们使用L
i
表示他的观看列表。对于两个用户观看列表的相关性Rel(i,j)，我们采用如下的方式(5)定义：
[0019][0020]考虑到这些相关性关系，我们的模型可以通过捕获相关用户的共同兴趣来实现更健壮的视频推荐功能。在我们的框架中，我们使用RNN的最后一个状态来衡量用户相关性，其中采用对比损失进行优化。具体来说，我们使用经典的GRU作为RNN的基本单元，它可以捕获序列建模中的长期依赖关系。GRU层的前向传播公式可以表示如下：
[0021]z
t
＝σ(U
z
x
t
+W
z
h
t
‑1)(6)
[0022]τ
t
＝σ(U
r
x
t
+W
r
h
t
‑1)(7)
[0023][0024][0025]其中，t是当前时间，z
t
和r
t
分别是更新门和复位门。x
t
表示输入，是当前的隐藏状态，h
t
是GRU的输出。对于给定的用户i，我们使用其观看序列的最后一层的GRU作为其全局兴趣表示。用户的相关性损失定义如下：
[0026][0027]其中，三元组(h
i
,h
p
,h
n
)采用了统一的量纲。h
i
为给定的用户兴趣表示，h
p
和h
n
是对应的正表示和负表示。在训练阶段，随机选择负样本，并在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于RNN神经网络的在线动态视频推荐方法，其特征在于，包括以下步骤：步骤1、提取视频视觉特征与文本特征；步骤2、用户兴趣建模；步骤3、用户相关性挖掘；步骤4、联合统一框架。2.根据权利要求1所述的基于RNN神经网络的在线动态视频推荐方法，其特征在于：所述步骤1中对于视频的视觉特征提取，采用经典的VGG19卷积网络模型，并使用其FC6层的4096维度的特征以及C3D卷积网络模型的FC6层的4096维度的特征，使用均值池的方式将两个特征连接在一起，最终生成8192维度的特征向量；使用CNN句子模型的最后一个卷积层生成文本特征。3.根据权利要求2所述的基于RNN神经网络的在线动态视频推荐方法，其特征在于，通过两个转换矩阵和将视频中视觉和文本特征投射到公共语义空间中，其中D
v
、D
t
和D
e
分别表示视觉特征、文本特征和嵌入特征的维数，视频v的嵌入表示可以通过v
e
＝T
v
v和v
e
＝T
t
t获得，通过下面最小化下式(1)定义的对比损失以优化语义嵌入：其中，Λ
e
和Γ
e
分别是归一化的视觉嵌入向量和文本嵌入向量，t
′
e
是对于视觉嵌入v
e
的负文本嵌入，v
′
e
是对于文本嵌入t
e
的负视觉嵌入，τ1是对比边界。4.根据权利要求1所述的基于RNN神经网络的在线动态视频推荐方法，其特征在于，所述步骤2中通过整合每个用户实时行为流的主题分布，导出当前时间用户感兴趣的主题表示，其中时间衰减用于对行为流进行加权，将用户感兴趣的话题定义为如下表达式：其中，m
i
表示用户对第i个主题的感兴趣程度，B
u
是用户的历史行为，|t
‑
t
i
|指示用户行为i的当前时间与历史时间的差值。N
u
是正则化系数，λ是时间衰减参数。5.根据权利要求4所述的基于RNN神经网络的在线动态视频推荐方法，其特征在于：采用两个变换矩阵和将视频语义嵌入和用户感兴趣的主题投射到一个公共空间中，其中D
u
是学习到的用户主题表示维度。6.根据权利要求1所述的基于RNN神经网络的在线动态视频推荐方法，其特征在于：采用式(3)和等式(4)计算视频语义嵌入和用户感兴趣主题之间的距离，下式(3)中整合用户观看列表的视频语义嵌入，在等式(4)中定义距离损失：在等式(4)中定义距离损失：其中，和分别是用户u观看视频的视觉和文本嵌入向量，|t
‑
t
e
...

【专利技术属性】
技术研发人员：魏轲，魏辉辉，
申请(专利权)人：江苏创亿信息科技有限公司，
类型：发明
国别省市：