一种基于多模态的深度兴趣网络推荐方法技术

本发明专利技术提供一种基于多模态的深度兴趣网络推荐方法，步骤包括：数据采集、数据预处理、网络模型训练、模型在线推理。本发明专利技术利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型，满足用户个性化阅读，解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响，从而提高排序推荐模型的效果。序推荐模型的效果。序推荐模型的效果。

【技术实现步骤摘要】
一种基于多模态的深度兴趣网络推荐方法


[0001]本专利技术涉及智能推荐
，具体涉及一种基于多模态的深度兴趣网络推荐方法。

技术介绍

[0002]与传统的机器学习模型相比，深度学习的表达能力更强，能够挖掘出更多数据中潜藏的模型，目前主流的深度学习推荐模型有AutoRec、DeepCross、PNN、NeuralCF、FNN、NFM、Wide&Deep、DeepFM、AFM、DIN、DIEN。但是，这些深度学习推荐模型都没有考虑到图像、文字、声音、动画等多种模态形式的特征对模型的影响，导致推荐效果不够理想。事实上图像、文字、声音、动画这样的形式很容易影响用户的选择。
[0003]因此，现有技术存在缺陷，需要进一步改进。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供一种基于多模态的深度兴趣网络推荐方法。通过采集图像、文字、声音、动画等多种模态形式的特征，从而提高排序推荐模型的效果。
[0005]为实现上述目的，本专利技术的具体方案如下：
[0006]本专利技术提供一种基于多模态的深度兴趣网络推荐方法，包括如下步骤：
[0007]S1，数据采集；
[0008]S2，数据预处理；
[0009]S3，网络模型训练；
[0010]S4，模型在线推理。
[0011]进一步地，步骤S1，数据采集具体包括根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。
[0012]进一步地，步骤S2，数据预处理具体包括读取hive原始数据集，进行数据预处理，样本清洗，去重，缺失值处理，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。
[0013]进一步地，步骤S3，网络模型训练具体包括使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型。
[0014]进一步地，步骤S4，模型在线推理具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务，对用户召回的微博资源进行排序。
[0015]进一步地，步骤S2具体包括如下步骤：
[0016]S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；
[0017]S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理；
[0018]S23：将用户关系图经过node2vec得到每个用户的embedding向量特征；
[0019]S24：将步骤S21、S22、S23输出结果进行concat，然后输入2层全连接层网络模型中；
[0020]S25：将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取；
[0021]S26：将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中；
[0022]S27：将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中；
[0023]S28：将步骤S24、S26、S27的模型输出结果进行concat，经过单个神经元之后使用sigmod函数处理。
[0024]进一步地，步骤S27中FM模型函数公式为：
[0025][0026]其中，
[0027]表示FM模型的运行结果；
[0028]X表示特征向量；
[0029]w0是常数项系数，表示FM模型的偏置；
[0030]n是所有特征的个数，
[0031]w
i
x
i
表示第i个特征向量和特征值的相乘；
[0032]v
i
是第i个特征的向量表示，
[0033]<v
i
,v
j
>表示第i个特征向量和第j个特征向量的内积表示特征交叉；
[0034]x
i
,x
j
表示两个互异特征组合的二阶特征。
[0035]采用本专利技术的技术方案，具有以下有益效果：
[0036]本专利技术提供一种基于多模态的深度兴趣网络推荐方法，步骤包括：数据采集，数据预处理，网络模型训练，模型在线推理。利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型，满足用户个性化阅读，解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响，从而提高排序推荐模型的效果。
附图说明
[0037]图1是本专利技术具体实施方式的总体流程图；
[0038]图2是本专利技术具体实施方式的提取微博数据处理的流程图；
[0039]图3是本专利技术具体实施方式的处理微博数据的示意图。
具体实施方式
[0040]以下结合附图和具体实施例，对本专利技术进一步说明。
[0041]结合图1
‑
图3对本专利技术进行具体说明，
[0042]本专利技术提供一种基于多模态的深度兴趣网络推荐方法，包括如下步骤：
[0043]S1、数据采集
→
S2、数据预处理
→
S3、网络模型训练
→
S4、模型在线推理。
[0044]具体内容如下：
[0045]S1、数据采集：根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。
[0046]S2、数据预处理：读取hive原始数据集，进行数据预处理：样本清洗，去重，缺失值处理等，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。
[0047]S3、网络模型训练：使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型；
[0048]S4、模型在线推理：训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型预测服务，对用户召回的微博资源进行排序。
[0049]本方案新模型的特点：
[0050](1)多模态利用：使用Resnet34网络模型得到图像的embedding特征和使用GRU对微博文本进行序列号特征提取，这样新模型就可以学习图片和文字这样的形态特征信息；
[0051](2)学习用户深度兴趣：根据用户历史行为经过Attention网络进行用户兴趣特征提取，然后放入新模型中，可以学习到用户中长期兴趣；
[0052](3)深度神经网络和FM结合：使用深度神经网络和FM结合，能提高整个模型的记忆能力和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的深度兴趣网络推荐方法，其特征在于包括如下步骤：S1，数据采集；S2，数据预处理；S3，网络模型训练；S4，模型在线推理。2.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S1具体包括根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。3.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S2具体包括读取hive原始数据集，进行数据预处理，样本清洗，去重，缺失值处理，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。4.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S3具体包括使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型。5.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S4具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务，对用户召回的微博资源进行排序。6.根据权利要求3所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S2具体包括如下步骤：S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序...

【专利技术属性】
技术研发人员：万振民，胡彬，
申请(专利权)人：万汇互联深圳科技有限公司，
类型：发明
国别省市：