一种基于深度多行为网络的广告点击率预测方法技术

本发明专利技术属于广告点击率预测领域，具体涉及一种基于深度多行为网络的广告点击率预测方法，包括：获取用户和广告的相应数据信息，该相应数据信息包括用户与广告基本信息数据、广告曝光数据以及用户行为日志数据；对相应数据信息数据信息进行预处理；提取预处理后数据信息的特征，该特征包括序列特征、用户特征、广告特征以及上下文特征；将数据信息特征输入到训练好后的基于深度多行为网络的广告点击率预测模型中，得到广告点击率预测结果；本发明专利技术提出了基于动态Dropout的兴趣融合模块，该模块能够捕捉到用户行为分布的差异，有效地对用户兴趣进行融合，避免模型过拟合至某类行为表征。避免模型过拟合至某类行为表征。避免模型过拟合至某类行为表征。

【技术实现步骤摘要】
一种基于深度多行为网络的广告点击率预测方法


[0001]本专利技术属于广告点击率预测领域，具体涉及一种基于深度多行为网络的广告点击率预测方法。

技术介绍

[0002]现如今社会处于一个信息爆炸的时代，琳琅满目的商品往往让用户难以抉择，尤其是在手机上选择商品时，在海量的商品中选出心仪的商品显得尤为重要。因此，通过点击率(Click through rate，简称CTR)预估来向用户推荐商品成为了一个重要的技术。
[0003]现有的序列模型在将用户行为引入CTR预估之后，虽然取得了较传统推荐算法更好的预测准确率，但是现有的技术往往引入的用户行为序列类型比较单一，往往只引入用户的历史点击行为序列，并且对于用户行为的建模方法也有一定的改进空间。

技术实现思路

[0004]为解决以上现有技术存在的问题，本专利技术提出了一种基于深度多行为网络的广告点击率预测方法，该方法包括：获取用户和广告的相应数据信息，该相应数据信息包括用户与广告基本信息数据、广告曝光数据以及用户行为日志数据；对相应数据信息数据信息进行预处理；提取预处理后数据信息的特征，该特征包括序列特征、用户特征、广告特征以及上下文特征；将数据信息特征输入到训练好后的基于深度多行为网络的广告点击率预测模型中，得到广告点击率预测结果；
[0005]对基于深度多行为网络的广告点击率预测模型进行训练的过程包括：
[0006]S1：获取用户历史广告点击数据，并数据进行预处理；其中用户历史广告点击数据包括用户行为序列特征、广告特征、用户特征以及环境特征；
[0007]S2：将户行为序列特征、广告特征、用户特征以及环境特征输入到特征嵌入层，生成户行为序列特征向量表示、广告特征向量表示、用户特征向量表示以及环境特征向量表示；
[0008]S3：将户行为序列特征向量表示输入到深度多行为网络中，提取用户的行为特征；
[0009]S4：将所有的用户行为特征输入到多行为融合模块中，得到用户行为融合特征；
[0010]S5：将广告特征向量表示、用户特征向量表示以及环境特征向量表示输入到深度交叉网络中，得到广告上下文融合特征；
[0011]S6：将用户行为融合特征和广告上下文融合特征进行融合，得到广告点击率预测结果；
[0012]S7：根据广告点击率预测结果计算模型的损失函数，并采用Adam优化算法对模型的参数进行优化，当损失函数收敛时完成模型的训练。
[0013]优选的，户行为序列特征包括长期点击后行为序列、长期点击行为序列、短期点击行为序列以及短期曝光行为序列。
[0014]优选的，深度多行为网络包括长期点击后行为序列建模模块、长期点击行为序列
建模模块、短期点击行为序列建模模块以及短期曝光新闻个序列建模模块；
[0015]长期点击后行为序列建模模块对输入数据进行处理的过程包括：长期点击后行为序列与候选广告特征向量输入到稀疏多头注意力层进行注意力特征提取；将提取的特征与输入序列金加和以及归一化处理；将归一化处理的数据输入到全连接层，得到融合特征；将融合特征与输入特征进行加和归一化处理，得到用户长期点击兴趣表征；
[0016]长期点击行为序列建模模块处理输入数据包括：将短期点击行为序列输入到编码器中进行编码处理，将编码后的数据联合候选广告特征向量输入到解码器中进行解码，得到长期点击后兴趣表征；
[0017]短期曝光行为序列建模模块对输入数据进行处理的过程包括：将短期序列和候选广告特征向量输入到多头注意力层，对多头注意力层的输出结果与输入数据进行加和归一化处理；将归一化处理结果输入到多层二维卷积网络，得到短期曝光兴趣表征；
[0018]短期点击行为序列建模模块对输入数据进行处理的过程包括：将长期点击后行为序列和候选广告特征向量输入到稀疏多头注意力层进行注意力特征提取；将提取的特征与输入序列金加和以及归一化处理；将归一化处理的数据输入到全连接层，得到融合特征；将融合特征与输入特征进行加和归一化处理，得到短期点击兴趣表征。
[0019]优选的，多行为融合模块对用户行为特征进行融合的过程包括：将用户长期点击兴趣表征、长期点击后兴趣表征、短期点击兴趣表征和短期曝光兴趣表征分别输入到四个Dropout层中，并融合类型嵌入向量；将融合类型嵌入向量的特征输入到全连接层，生成最终的融合兴趣向量。
[0020]进一步的，Dropout层的单调函数表达为：
[0021][0022]其中，S为序列的真实长度，θ1,θ2为控制单调性和斜率的超参数，p(S)为所得Dropout比例。
[0023]本专利技术的有益效果：
[0024]本专利技术考虑引入多种不同的用户行为序列，针对不同的行为序列，设计优化的transformer结构，分别通过引入不同的优化后transformer结构设计出长期点击行为序列建模模块、短期点击行为序列建模模块、短期曝光行为序列建模模块、长期点击后行为序列建模模块；对于长期点击行为序列和长期点击后行为序列，考虑到序列长度对模型性能的影响，引入了稀疏注意力机制，在不损失模型效果的前提下提高了模型的性能；对于短期曝光行为序列，考虑到曝光数据中噪声比例大，引入二维卷积网络去曝光行为序列表征进行去噪，进一步提高序列建模的效果；本专利技术提出了基于动态Dropout的兴趣融合模块，该模块能够捕捉到用户行为分布的差异，有效地对用户兴趣进行融合，避免模型过拟合至某类行为表征。
附图说明
[0025]图1为本专利技术的基于深度多行为网络的广告点击率预测方法流程图；
[0026]图2为本专利技术的整体系统框架结构图；
[0027]图3为本专利技术的输入输出模块图；
[0028]图4为本专利技术的长期点击后行为序列建模模块图；
[0029]图5为本专利技术的长期点击行为序列建模模块图；
[0030]图6为本专利技术的短期曝光行为序列建模模块图；
[0031]图7为本专利技术的短期点击行为序列建模模块图；
[0032]图8为本专利技术的多行为融合模块图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]一种基于深度多行为网络的广告点击率预测方法，如图1所示，该方法包括：获取用户和广告的相应数据信息，该相应数据信息包括用户与广告基本信息数据、广告曝光数据以及用户行为日志数据；对相应数据信息数据信息进行预处理；提取预处理后数据信息的特征，该特征包括序列特征、用户特征、广告特征以及上下文特征；将数据信息特征输入到训练好后的基于深度多行为网络的广告点击率预测模型中，得到广告点击率预测结果。
[0035]对基于深度多行为网络的广告点击率预测模型进行训练的过程包括：
[0036]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度多行为网络的广告点击率预测方法，其特征在于，包括：获取用户和广告的相应数据信息，该相应数据信息包括用户与广告基本信息数据、广告曝光数据以及用户行为日志数据；对相应数据信息数据信息进行预处理；提取预处理后数据信息的特征，该特征包括序列特征、用户特征、广告特征以及上下文特征；将数据信息特征输入到训练好后的基于深度多行为网络的广告点击率预测模型中，得到广告点击率预测结果；对基于深度多行为网络的广告点击率预测模型进行训练的过程包括：S1：获取用户历史广告点击数据，并数据进行预处理；其中用户历史广告点击数据包括用户行为序列特征、广告特征、用户特征以及环境特征；S2：将户行为序列特征、广告特征、用户特征以及环境特征输入到特征嵌入层，生成户行为序列特征向量表示、广告特征向量表示、用户特征向量表示以及环境特征向量表示；S3：将户行为序列特征向量表示输入到深度多行为网络中，提取用户的行为特征；S4：将深度多行为网络的输出的多种用户行为特征输入到多行为融合模块中，得到用户行为融合特征；S5：将广告特征向量表示、用户特征向量表示以及环境特征向量表示输入到深度交叉网络中，得到广告上下文融合特征；S6：将用户行为融合特征和广告上下文融合特征进行融合后输入到全连接层，得到广告点击率预测结果；S7：根据广告点击率预测结果计算模型的损失函数，并采用Adam优化算法对模型的参数进行优化，当损失函数收敛时完成模型的训练。2.根据权利要求1所述的一种基于深度多行为网络的广告点击率预测方法，其特征在于，户行为序列特征包括长期点击后行为序列、长期点击行为序列、短期点击行为序列以及短期曝光行为序列。3.根据权利要求1所述的一种基于深度多行为网络的广告点击率预测方法，其特征在于，对数据进行预处理包括：将数据中的点击后行为按照映射改为<浏览，加购，喜欢，购买，
…
><1,2,3,4,...>；将数据中的连续型特征经过分桶处理改为离散型特征。4.根据权利要求1所述的一种基于深度多行为网络的广告点击率预测方法，其特征在于，深度多行为网络包括长期点击后行为序列建模模块、长期点击行为序列建模模块、短期点击行为序列建模模块以及短期曝光新闻个序列建模模块；长期点击后行为序列建模模块对输入数据进行处理的过程包括：长期点击后行为序列与候选广告特征向量输入到稀疏多头注意力层进行注意力特征提取；将提取的特征与输入序列金加和...

【专利技术属性】
技术研发人员：孙开伟，宣立德，刘虎，冉雪，李彦，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：