一种基于混合神经网络的信息优选模型及装置制造方法及图纸

本发明专利技术涉及一种基于混合神经网络的信息优选模型及装置。本发明专利技术通过构建用户互行为图，利用图神经网络模型对用户历史行为进行建模，在提高用户表征能力的同时缓解交互数据稀疏问题；构建信息优选策略初始化模块，基于用户

【技术实现步骤摘要】
一种基于混合神经网络的信息优选模型及装置


[0001]本专利技术属于人工智能与信息查询
，具体涉及一种基于混合神经网络的信息优选模型及装置。

技术介绍

[0002]伴随着大数据时代的来临，数字经济逐渐改变人类的生产生活方式，给人们的生活带来了极大的便利。然而，无论是在搜索引擎中进行网页搜索，还是在个人计算机系统中进行文件查找，其业务本质都是在海量信息中快速优选和用户信息需求匹配的内容和服务，这些都和信息查询与优选技术密切相关。
[0003]信息查询与优选的主要目标是根据用户的查询语句，从大规模异构数据集中找出能够满足用户信息需求的信息，并通过排序策略进行优选，本质上主要包括信息召回和信息排序。国内外的科研人员针对信息查询模型做了很多探索。根据发展的历程，将其划分为传统基于规则的信息查询模型、基于机器学习的查询排序方法和基于深度学习的查询排序方法。传统的信息查询模型使用人工设计的特征和函数构建查询模型，难以融合更多的参数到文档评分函数；基于机器学习的查询排序方法，利用机器学习算法从大量的数据集和标签中学习排序函数，能够融合大量的特征构建查询模型，从而提升查询的精度；基于深度学习的神经排序方法利用神经网络构建复杂的查询模型，通过学习文本的语义信息，改善了前两种方法中的词汇不匹配的问题。当前，很多搜索引擎公司在提供搜索服务时大多仍依赖于基于机器学习的排序学习模型，虽然相关性搜索的准确性相对于传统信息查询模型有所提升，但是人工设计的特征耗时耗力，且难以保证所选择的特征的完整性。深度学习作为一种基于表示学习的方法，具有从大规模训练数据中发掘对预测任务有用的隐藏结构和特征的能力，因此，它可以较好的缓解基于机器学习的查询方法的局限性。
[0004]近年来，以神经网络为核心的深度学习凭借强大的表示学习能力，已经被成功应用于语音识别、计算机视觉以及自然语言处理领域的多种任务中。考虑到深度学习在这些领域的成功应用，如何利用深度学习提升信息查询中相关性计算的准确性成为当下研究的热点问题。但是现有方法仍存一些不足：
①
用户与信息的交互行为数据具有严重的稀疏性，影响对用户和信息特征表示，进而降低信息查询中信息优选效果；
②
未充分利用用户的历史行为、随时序变化的偏好以及热度信息等会对用户的喜好产生影响等综合信息，用户信息偏好模型表达需进一步优化；
③
信息内容规模大、更新速度快，信息查询优选的空间较大，影响了信息查询的效率和准确率。

技术实现思路

[0005]本专利提出了一种基于混合神经网络的信息优选模型及装置，用于解决信息查询与优选中存在用户反馈数据稀疏、用户偏好动态变化和信息空间过大等问题。
[0006]为实现上述技术目的，本专利技术采用的技术方案为：一种基于混合神经网络的信息优选模型，所述模型包含如下模块：
[0007]用户行为特征表达模块:基于图卷积神经网络对用户与信息交互的大规模历史行为进行特征学习与建模，构建用户初始的兴趣信息表征，用于信息优选策略初始化模块；
[0008]信息优选策略初始化模块:根据用户行为特征表达模块的学习结果，利用全连接网络得到信息的节点表示以及信息的初始价值(用户对信息的兴趣价值)，根据该信息的初始价值指导信息优选初始化策略；
[0009]动态更新模块：基于循环神经网络对用户与推送信息之间的交互行为进行建模，用于优选候选集筛选模块更新候选集，便于模型持续学习用户的动态兴趣变化；
[0010]优选候选集筛选模块:基于用户行为特征表达模块或/和动态更新模块得到的信息的节点表示来进行动态聚类，生成候选集。
[0011]信息优选排序模块：对候选集筛选模块的输出结果进行排序，生成信息优选结果。
[0012]进一步地，所述用户行为特征表达模块基于知识图谱G＝(E,R)，对用户与信息交互的历史行为以及信息的属性用进行建模，通过将用户交互历史中的信息节点与用户节点相连、将信息的属性节点与信息相连，得到包含用户行为信息的图，即行为图G'＝(E',R')；
[0013]利用行为图G'和混合神经网络去学习用户和信息的特征表示；首先，对于每一个候选信息初始化其向量表示i
t
∈R
d
，其中d表示向量表示的维度，然后，利用图卷积神经网络(GCN)对图G'中的节点信息进行传播，从而获得更好的信息特征表示。
[0014]进一步地，所述用户行为特征表达模块利用多层图卷积神经网络来学习图G'中的节点表示，每一层的计算步骤如下：首先，对于每一个节点，计算其邻居表示：
[0015][0016]式(1)中，N(h)表示节点h的邻居，表示第k层GCN网络第i个节点向量。之后，利用邻居表示对节点本身的表示进行更新：
[0017][0018]式(2)中，W
k
和B
k
是可学习的网络参数，σ是激活函数，通过多层的图卷积神经网络计算后，最后一层图卷积神经网络输出的节点向量即为图G'上信息的节点表示i
t
和用户的节点表示u
t
，t表示时刻；
[0019]进一步地，所述激活函数为RELU激活函数，公式为RELU＝max(0,x)。
[0020]进一步地，所述信息优选策略初始化模块在用户行为特征表达模块的基础上，使用全连接网络根据用户的历史行为学习用户对信息的兴趣：
[0021]L＝σ(W
l
concat(i
t
,u
t
)+b
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0022]V＝σ(W
v
L+b
v
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0023]式中，L是全连接层输出向量，W
l
表示全连接网络的参数，利用行为图表示模块生成的的用户的表示节点u
t
和信息的表示节点i
t
，得到某一信息的初始价值V，并根据该初始价值为信息优选与推送提供初始化策略。
[0024]所述优选候选集筛选模块使用在用户行为特征表达模块或/和用户行为特征表达模块得到的信息的节点表示进行动态聚类包括：在整个信息优选流程中每排序优选τ次，对整个信息空间进行重新聚类，本次聚类的初始化类中心为τ
‑
1次聚类的聚类中心；
[0025]完成聚类后，将类中心的表示以及用户的节点表示输入到策略初始化模块中得到用户对于每一个簇的兴趣价值，选择兴趣价值最高的簇作为用户的基本候选集。
[0026]进一步地，选择兴趣价值最高的簇作为用户的基本候选集，同时，还从该簇之外的其它簇中随机进行采样一定数量的信息加入基本候选集中得到最终候选集，根据最终候选集生成信息优选结果。
[0027]进一步地，所述信息优选排序模块，使用全连接网络对候选集中的信息节点向量进行卷积计算，计算信息之间的关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合神经网络的信息优选模型，其特征在于，所述模型包含如下模块：用户行为特征表达模块:基于图卷积神经网络对用户与信息交互的大规模历史行为进行特征学习与建模，构建用户初始的兴趣信息表征；信息优选策略初始化模块:根据用户行为特征表达模块的学习结果，利用全连接网络得到信息的节点表示以及信息的初始价值，根据信息的初始价值指导信息优选初始化策略；动态更新模块：基于循环神经网络对用户与推送信息之间的交互行为进行建模；优选候选集筛选模块:基于用户行为特征表达模块或/和动态更新模块得到的信息的节点表示进行动态聚类，生成候选集；信息优选排序模块：对候选集筛选模块的输出结果进行排序，生成信息优选结果。2.根据权利要求1所述的一种基于混合神经网络的信息优选模型，其特征在于，所述用户行为特征表达模块基于图G＝(E,R)，对用户与信息交互的历史行为以及信息的属性进行建模，通过将用户交互历史中的信息节点与用户节点相连、将信息的属性节点与信息相连，得到包含用户行为信息的行为图G'＝(E',R')；对于每一个候选信息初始化其向量表示i
t
∈R
d
，其中d表示向量表示的维度，然后，利用图卷积神经网络对图G'中的节点信息进行传播，获得信息特征表示。3.根据权利要求2所述的一种基于混合神经网络的信息优选模型，其特征在于，所述用户行为特征表达模块利用图卷积神经网络学习图G'中的节点表示，每一层的计算步骤如下：对于每一个节点，计算其邻居表示：式中，N(h)表示节点h的邻居，表示第k层GCN网络第i个节点向量；之后，利用邻居表示对节点本身的表示进行更新：式中，W
k
和B
k
是可学习的网络参数，σ是激活函数，通过多层的图卷积神经网络计算后，最后一层图卷积神经网络输出的节点向量即为图G'上信息的节点表示i
t
和用户的节点表示u
t
。4.根据权利要求3所述的一种基于混合神经网络的信息优选模型，其特征在于，所述激活函数为RELU激活函数，公式为RELU＝max(0,x)。5.根据权利要求3所述的一种基于混合神经网络的信息优选模型，其特征在于，所述信息优选策略初始化模块在用户行为特征表达模块的基础上，使用全连接网络根据用户的历史行为学习用户对信息的兴趣：L＝σ(W
l
concat(i
t
,u
t
)+b
l
)
ꢀꢀꢀꢀ
(3)V＝σ(W
v
L+b
v
)
ꢀꢀꢀꢀ
(4)式中，L是全连接层输出向量，W
l
表示全连接网络的参数，利用行为图表示模块生成的用户的表示节点u
t
和信息的表示节点i
t
，某一信息的初始价值V，并根据该初始价值指导信息优选初始化策略。
6.根据权利要求2所述的一种基于混合神经网络的信息优选模型，其特征在于，所述优选候选集筛选模块基于用户行为特征表达模块或/和用户行为特征表达模块得到的信息的节点表示进行动态聚类包括：在整个信息优选流程中每排序优选τ次，对整个信息空间进行重新聚类，本次聚类的初始化类中心为τ
‑
1次聚类的聚类中心；完成聚类后，将类中心的表示以及用户的节点表示输入到策略初始化模块中得到用户对于每一个簇的兴趣价值，选择兴趣价值最高的...

【专利技术属性】
技术研发人员：方旭东，李红梅，肖文华，
申请(专利权)人：中国人民解放军军事科学院战争研究院，
类型：发明
国别省市：